⭐ נקודות עיקריות
- NitroGen הוא מודל בסיס חדש לפיתוח סוכני AI כלליים למשחקי וידאו.
- האימון התבסס על כ-40,000 שעות וידאו מיותר מ-1,000 משחקים שונים.
- המודל לומד פעולות בקר מתוך סרטונים ציבוריים עם שכבת תצוגת קלט.
- הפרויקט זמין כקוד פתוח, כולל המודל, מערכי הנתונים וכלי הסימולציה.
חוקרים מאנבידיה, בשיתוף עם אוניברסיטאות סטנפורד, Caltech ואחרות, הציגו את NitroGen, מודל בסיס (Foundation Model) חדש המיועד ליצירת סוכני בינה מלאכותית המסוגלים לשחק במגוון רחב של משחקי וידאו.
בניגוד למודלים קודמים שהתמקדו במשחק בודד או דרשו אימון ייעודי מורכב, NitroGen מציע גישה כללית המבוססת על למידה מתוך מאגר נתונים עצום של סרטוני משחק מהאינטרנט.
מאפיינים עיקריים וחדשנות
האתגר המרכזי בפיתוח סוכני AI למשחקים הוא המחסור בנתונים מתויגים המקשרים בין מה שרואים על המסך לפעולה שיש לבצע בבקר המשחק.
הפתרון של החוקרים מתבסס על איסוף סרטונים מהאינטרנט שכוללים “שכבת קלט” (Input Overlay) – תצוגה ויזואלית של הבקר והכפתורים כפי שלוחצים עליהם בזמן אמת, תכונה נפוצה בקרב יוצרי תוכן וקהילות ספיד-ראנינג (Speedrunning) המנסים לסיים את המשחק בזמן הקצר ביותר.
באמצעות טכנולוגיית ראייה ממוחשבת, המערכת מזהה את שכבת הבקר בסרטון, מפענחת את הכפתורים שנלחצו ומסנכרנת אותם עם המתרחש על המסך.
שיטה זו אפשרה לחוקרים לבנות את מערך הנתונים הגדול והמגוון ביותר עד כה בתחום, ללא צורך באיסוף נתונים ידני יקר או בגישה לקוד המקור של המשחקים.
ביצועים ויכולות
המודל אומן על 40,000 שעות של וידאו מתוך יותר מ-1,000 משחקים שונים. המאגר כולל ייצוג נרחב לז’אנרים כמו משחקי תפקידים (Action-RPG), פלטפורמה (Platformers) והרפתקאות.
בניסויים שערכו החוקרים, NitroGen הדגים יכולת התמודדות עם משימות מגוונות כמו קרבות בזמן אמת במשחקי תלת-ממד, תנועה מדויקת במשחקי דו-ממד וניווט בעולמות שנוצרו פרוצדורלית.
אחת התוצאות הבולטות במחקר היא יכולת ההכללה של המודל למשחקים שלא נראו במהלך האימון.
כאשר ביצעו התאמה עדינה (Fine-tuning) של המודל למשחק חדש, נרשם שיפור של עד 52% בשיעורי ההצלחה בהשוואה למודל שאומן מאפס.
נתון זה מעיד כי המודל מצליח ללמוד עקרונות משחק בסיסיים הניתנים להעברה בין כותרים שונים.
טכנולוגיה וסימולציה
המערכת כוללת “סימולטור אוניברסלי” המאפשר לשלוט בכל משחק מסחרי דרך ממשק תכנות אחיד (Gymnasium API), ללא צורך בשינוי קוד המשחק עצמו.
ארכיטקטורת המודל מבוססת על דיפוזיה (Diffusion Transformer) ומשתמשת בטכניקת Flow Matching כדי לחזות רצפי פעולות עתידיים על בסיס התמונה הנוכחית.
המודל מעבד את הקלט החזותי באמצעות מקודד SigLIP 2 ומפיק פקודות בקר סטנדרטיות.
זמינות
החוקרים שחררו את NitroGen כקוד פתוח הזמין ב-GitHub ו-Hugging Face.
