NVIDIA เปิดตัวโอเพ่นซอร์สโมเดลแอนิเมชัน Audio2Face

NVIDIA เปิดตัวโอเพ่นซอร์สโมเดลแอนิเมชัน Audio2Face

ในปัจจุบัน NVIDIA ได้เปิดซอร์สโมเดล Audio2Face และ SDK เพื่อให้นักพัฒนาเกมและแอป 3D ทุกคนสามารถสร้างและปรับใช้ตัวละครที่มีความเที่ยงตรงสูงพร้อมแอนิเมชันสุดล้ำ NVIDIA ยังได้เปิดซอร์สเฟรมเวิร์กการฝึก Audio2Face เพื่อให้ทุกคนสามารถปรับแต่งและปรับแต่งโมเดลที่มีอยู่แล้วให้เหมาะกับการใช้งานเฉพาะของตนได้

NVIDIA Audio2Face เร่งการสร้างตัวละครดิจิทัลที่สมจริงด้วยการสร้างแอนิเมชันใบหน้าแบบเรียลไทม์และการลิปซิงค์ที่ขับเคลื่อนด้วย AI เชิงสร้างสรรค์ Audio2Face ใช้ AI เพื่อสร้างแอนิเมชันใบหน้าที่สมจริงจากอินพุตเสียง ระบบทำงานโดยการวิเคราะห์คุณสมบัติทางเสียง เช่น หน่วยเสียงและน้ำเสียง เพื่อสร้างสตรีมข้อมูลแอนิเมชัน ซึ่งจะถูกแมปเข้ากับท่าทางใบหน้าของตัวละคร ข้อมูลนี้สามารถแสดงผลแบบออฟไลน์สำหรับเนื้อหาที่เขียนสคริปต์ไว้ล่วงหน้า หรือสตรีมแบบเรียลไทม์สำหรับตัวละครแบบไดนามิกที่ขับเคลื่อนด้วย AI เพื่อให้ได้การลิปซิงค์และการแสดงออกทางอารมณ์ที่แม่นยำ

โมเดล Audio2Face ถูกนำไปใช้อย่างกว้างขวางในอุตสาหกรรมเกม สื่อและบันเทิง และการบริการลูกค้า ผู้พัฒนาซอฟต์แวร์อิสระ (ISV) และผู้พัฒนาเกมจำนวนมากใช้ประโยชน์จาก Audio2Face ในแอปพลิเคชันของตน ผู้พัฒนาเกม ได้แก่ Codemasters, GSC Games World, NetEase, Perfect World Games ขณะที่ ISV ได้แก่ Convai, Inworld AI, Reallusion, Streamlabs และ UneeQ