OpenQuestCapture (App เก็บข้อมูล และเรนเดอร์ฉาก 3D ด้วย Meta Quest 3)

โปรแกรม OpenQuestCapture

OpenQuestCapture (App เก็บข้อมูล และเรนเดอร์ฉาก 3 มิติ ด้วย Meta Quest 3) : แอปพลิเคชัน OpenQuestCapture เป็นโปรเจกต์ที่ใช้สำหรับแปลง Meta Quest 3 ให้กลายเป็นอุปกรณ์เก็บข้อมูลโลกจริง โดยมันเป็นแอปพลิเคชันที่รันบนเฮดเซต Meta Quest 3 / 3S เพื่อจับ และบันทึกข้อมูลจากเซ็นเซอร์ต่าง ๆ ของตัวแว่น ไม่ว่าจะเป็นกล้อง หรือข้อมูลภายในอื่น ๆ เพื่อนำไปใช้สร้างโมเดลโลก 3 มิติ แบบละเอียด เช่น งาน 3D Gaussian Splatting หรือ 3D Reconstruction รูปแบบต่าง ๆ

ตัวแอปพลิเคชัน OpenQuestCapture ถูกพัฒนาด้วย Unity และปล่อยบน GitHub ทำให้สามารถนำไปใช้, ดัดแปลง หรือนำไปเป็นส่วนหนึ่งของโปรเจกต์ส่วนตัว หรือเชิงพาณิชย์ได้อย่างอิสระ โดยจุดเด่นสำคัญคือ มันอนุญาตให้ "ดึงข้อมูลดิบ" จากแว่นออกมาได้ ต่างจากฟีเจอร์ Hyperspace / Hyperscape Capture ของ Meta ที่ให้แค่แชร์ลิงก์ห้องเสมือน แต่ไม่ให้เข้าถึงไฟล์ข้อมูลจริง เช่น Point Cloud, PLY หรือข้อมูล Capture ดิบ ๆ ที่จำเป็นต่อการประมวลผลภายนอก

ในเชิงการใช้งาน แอปพลิเคชัน OpenQuestCapture ทำตัวเป็นแอปพลิเคชันบน Meta Quest 3/3S ที่เมื่อรันแล้วจะเก็บข้อมูลเซ็นเซอร์ และข้อมูลเกี่ยวกับกล้องของตัวเฮดเซต ข้อมูลพวกนี้สำคัญมากสำหรับการทำ 3D Reconstruction เพราะมันระบุว่า "กล้องในตัวแว่นมองโลกยังไง" เช่น มุมมอง, เลนส์, การบิดเบี้ยวของภาพ ฯลฯ เมื่อนำข้อมูลเหล่านี้ไปรวมกับเฟรมภาพ หรือข้อมูลเซ็นเซอร์ที่บันทึกไว้ ก็จะสามารถนำไปป้อนให้กับ Pipeline ด้านคอมพิวเตอร์กราฟิก/วิชัน เช่น Gaussian Splatting หรือ NeRF เพื่อสร้างฉาก 3 มิติ ที่สมจริงจากโลกจริงได้

ถ้าคุณเป็นสายวิจัยคอมพิวเตอร์วิชัน, 3D Graphics, XR หรือสาย Dev ที่อยากใช้ Meta Quest 3 เป็นเครื่องมือสแกน / เก็บข้อมูลโลกจริงเอง แอปพลิเคชัน OpenQuestCapture จะช่วยให้ผู้ใช้บันทึกข้อมูลจากแว่นแล้วเอาออกมาประมวลผลบนคอมพิวเตอร์ภายนอกได้ ไม่ต้องรอให้ Meta เปิด ส่วนต่อประสานโปรแกรมประยุกต์ (API) อย่างเป็นทางการสำหรับ Raw Capture หรือการส่งออกโมเดลสามมิติ (Export 3D Model) เพราะระบบของ Meta ในตอนนี้เน้นแค่การแชร์ประสบการณ์ในรูปแบบห้อง / ลิงก์ให้คนเข้าไปดูร่วมกันได้ แต่ไม่ได้เปิดไฟล์ดิบสำหรับรันโมเดล หรือเทคนิค Reconstruction ภายนอก แอปพลิเคชัน OpenQuestCapture จึงเหมือนเป็นสิ่งที่ช่วยปลดล็อกศักยภาพของ Quest 3 ให้กลายเป็นอุปกรณ์จับข้อมูลสำหรับงาน 3D และวิจัยด้าน Spatial Computing ได้มากขึ้น

คุณสมบัติ และความสามารถของ โปรแกรม OpenQuestCapture

• บันทึกตำแหน่งของ HMD (เฮดเซต) และคอนโทรลเลอร์ในระบบพิกัดของ Unity
• จับภาพแบบ Passthrough ในรูปแบบ YUV จากกล้องทั้งด้านซ้าย และขวา
• บันทึก Logs ของ API Camera2 และข้อมูลรูปแบบภาพที่ใช้
• จัดเก็บแผนที่ความลึก (Depth Maps) และตัวบรรยายความลึก (Depth Descriptors) จากทั้งสองกล้อง
• รองรับการจับภาพแบบซิงก์ พร้อมปรับอัตราเฟรมได้ สำหรับข้อมูลความลึก และภาพจากกล้อง 
• จัดการเวลาให้ตรงกันอย่างสมบูรณ์ระหว่างภาพจากกล้อง และแผนที่ความลึก
• การแสดงผลแบบ Point Cloud ของข้อมูลความลึกแบบเรียลไทม์
  • ใช้ระบบอนุภาค (Particle System) เพื่อแสดงพื้นที่ที่กล้องสามารถจับความลึกได้
  • มีการให้ฟีดแบ็กด้วยสีต่าง ๆ แสดงถึงมุมที่จุดข้อมูลถูกจับได้ โดยสีขาวหมายถึงมุมตรง (Head-On) ส่วนสีสดแสดงถึงมุมเฉียง (Grazing Angles)
• จัดระเบียบไฟล์ล็อกโดยอัตโนมัติเป็นโฟลเดอร์ที่มีการตั้งชื่อด้วยเวลา บนพื้นที่เก็บข้อมูลภายในของอุปกรณ์
• และความสามารถอื่น ๆ อีกมากมาย

เงื่อนไขการใช้งาน โปรแกรม OpenQuestCapture

โปรแกรม OpenQuestCapture เป็นซอฟต์แวร์ ฟรี (Free) ที่พัฒนาแบบ โอเพ่นซอร์ส (Open-Source) ที่อยู่ภายใต้เงื่อนไขการใช้งานแบบ MIT License ซึ่งหมายความว่าผู้ใช้สามารถใช้งาน, ดัดแปลง, แจกจ่าย และเข้าถึง โค้ดต้นฉบับ (Source Code) ได้อย่างเสรี ภายใต้เงื่อนไขที่กำหนด

หากต้องการค้นหาข้อมูลเพิ่มเติม สามารถติดต่อกับทางผู้พัฒนาโปรแกรมนี้ได้ผ่านทางช่องทางเว็บไซต์ (Website) : https://github.com/samuelm2/OpenQuestCapture (ภาษาอังกฤษ) ได้เลย

คำบรรยายภาษาอังกฤษ (English Descriptions)

OpenQuestCapture is a project designed to transform the Meta Quest 3 into a real-world data capture device. It’s an application that runs directly on the Meta Quest 3 or 3S headset, enabling the collection and recording of sensor data including camera feeds and internal device metrics for use in generating detailed 3D models, such as those required for 3D Gaussian Splatting or various forms of 3D reconstruction.

Developed in Unity and released on GitHub, OpenQuestCapture is open-source and freely available for use, modification, or integration into personal or commercial projects. Its key advantage lies in allowing users to extract raw data directly from the headset unlike Meta’s Hyperspace/Hyperscape Capture feature, which only provides virtual room links without access to actual data files like point clouds, PLY formats, or raw capture streams essential for external processing.