אנבידיה הכריזה על פתיחת קוד המקור של Audio2Face, מודל הבינה המלאכותית המתקדם של החברה המגיע כחלק מ-NVIDIA ACE.
המודל מיועד להנפשת פנים וסנכרון שפתיים עבור דמויות תלת-ממדיות, ומסוגל ליצור אנימציות פנים ריאליסטיות בזמן אמת מקלט אודיו בלבד.
הפתרון משתמש בטכנולוגיית AI גנרטיבית לניתוח צלילים ויצירת ביטויים רגשיים מדויקים.
הפיכת מודל ה-Audio2Face לפרויקט קוד פתוח תחת רישיון MIT מגיעה בעקבות הצלחה רחבה של הטכנולוגיה בתעשיות המשחקים, המדיה והבידור.
ההחלטה לפתוח את הקוד נועדה להאיץ את אימוץ הטכנולוגיה בקרב מפתחי משחקים, יוצרי תוכן ויישומים תלת-ממדיים, כאשר קהילת המפתחים תוכל לבנות ולשפר את הטכנולוגיה עבור שימושים מגוונים נוספים.
יכולות מרכזיות של Audio2Face
כפי שהשם רומז, מודל ה-Audio2Face מיועד להמיר שמע לתנועות פנים של דמויות וירטואליות בצורה טבעית ומציאותית.
המודל מציע מספר יכולות מבוססות על ניתוח אקוסטי מתוחכם:
- הנפשה מאודיו בלבד – יצירת אנימציות פנים ריאליסטיות המבוססות אך ורק על קלט אודיו, ללא צורך בצילום וידיאו או חיישנים נוספים.
- סנכרון שפתיים מדויק – ניתוח צלילי דיבור (פונמות) ואינטונציה ליצירת תנועות שפתיים מדויקות המתואמות לצלילי הדיבור.
- זיהוי רגשות – המודל מסוגל לזהות מצב רגשי מקלט האודיו וליצור ביטויי פנים מתאימים.
- עיבוד בזמן אמת – יכולת לייצר אנימציות בזמן אמת עבור דמויות דינמיות ובלתי תלויות בתסריט מוכן.
אימוץ נרחב בתעשיית המשחקים
הטכנולוגיה כבר אומצה על ידי חברות מובילות בתעשייה, כולל Convai, Codemasters, Inworld AI, NetEase ו-Perfect World Games.
בחברת Reallusion, המפתחת פלטפורמה ליצירת דמויות תלת-ממדיות, הפתרון שולב בכלים הקיימים ליצירת אנימציות פנים רב-לשוניות ואקספרסיביות מאודיו.
Survios, מפתחי המשחק Alien: Rogue Incursion, הצליחו להאיץ את תהליכי האנימציה ולספק חוויות דמות איכותיות יותר.
The Farm 51, יוצרי סדרת המשחקים Chernobylite, ציינו כי השילוב של Audio2Face במשחק Chernobylite 2 הביא לרמת ריאליזם חדשה לדמויות.
השלכות לתעשיית הבידור והגיימינג
פתיחת קוד המקור של Audio2Face צפויה להאיץ את פיתוח האווטארים החכמים ולהנגיש טכנולוגיות אנימציה מתקדמות למעגל רחב יותר של יוצרים.
המודל יכול לשפר משמעותית את חוויית המשתמש במשחקי וידיאו, שירותי לקוחות אוטומטיים ויישומי מציאות מדומה.
