นักวิจัยพัฒนา EgoExplorer เก็บข้อมูลมนุษย์ 100 ชั่วโมง หวังเพิ่มทักษะการเคลื่อนไหวให้หุ่นยนต์ฮิวแมนนอยด์
นักวิจัยพัฒนา EgoExplorer เก็บข้อมูลมนุษย์ 100 ชั่วโมง หวังเพิ่มทักษะการเคลื่อนไหวให้หุ่นยนต์ฮิวแมนนอยด์
ระบบสวมใส่บันทึกทั้งภาพ การเคลื่อนไหว และการสัมผัส
อุปกรณ์ประกอบด้วยกล้อง GoPro HERO13 ที่ติดตั้งบนศีรษะ อุปกรณ์ VIVE Ultimate Tracker จำนวน 5 ตัว ถุงมือ MANUS Metagloves หรือ Wuji ที่ติดตั้งเซนเซอร์ รวมถึงอุปกรณ์ยึดและสายรัดที่ออกแบบขึ้นโดยเฉพาะ กล้องจะบันทึกภาพจากมุมมองของผู้สวมใส่ ขณะที่ตัวติดตามจะตรวจจับตำแหน่งและทิศทางของศีรษะ มือทั้งสองข้าง และข้อเท้า ส่วนถุงมือจะบันทึกการเคลื่อนไหวของนิ้วมือ โดยถุงมือ Wuji ยังสามารถเก็บข้อมูลสัมผัสได้ด้วย จากนั้น นักวิจัยนำข้อมูลทั้งหมดมาประมวลผลด้วยกระบวนการที่เรียกว่า Calibrate-Complete-Constrain เพื่อสร้างประมาณการการเคลื่อนไหวของร่างกายทั้งตัว แม้บางส่วนจะไม่ได้รับการติดตามจากเซนเซอร์โดยตรง พร้อมตรวจสอบให้การเคลื่อนไหวที่สร้างขึ้นมีความต่อเนื่องและสอดคล้องกับข้อมูลจริงลดข้อผิดพลาดในการติดตามการเคลื่อนไหว 71.9%
ผลการประเมินพบว่า วิธีดังกล่าวช่วยลดข้อผิดพลาดของตำแหน่งจุดต่าง ๆ บนร่างกายได้ 71.9% เมื่อเทียบกับวิธีพื้นฐานที่ใช้ในการทดลอง นอกจากนี้ การสร้างข้อมูลวิดีโอ การเคลื่อนไหว และการสัมผัสร่วมกันยังให้ผลการเรียนรู้ที่ดีกว่าการสร้างข้อมูลแต่ละประเภทแยกจากกันในการทดลองเบื้องต้น ทีมวิจัยยังฝึกตัวควบคุมสำหรับหุ่นยนต์ฮิวแมนนอยด์ Unitree G1 ในสภาพแวดล้อมจำลอง โดยใช้ลำดับการเคลื่อนไหวจากข้อมูลสาธิตของมนุษย์ 2 ชุด ผลการทดลองพบว่าหุ่นยนต์สามารถทำตามลำดับการเคลื่อนไหวได้โดยไม่ล้ม อย่างไรก็ตาม ผลการทดลองยังไม่ยืนยันว่าหุ่นยนต์สามารถหยิบจับหรือโต้ตอบกับวัตถุได้อย่างแม่นยำ รวมถึงยังไม่ได้ทดสอบการทำงานบนหุ่นยนต์จริง
