חברת Runway הכריזה על Gen-4.5, מודל ה-AI החדש שלה להפקת וידאו מטקסט, המציג שיפורים משמעותיים בדיוק הפיזיקלי, בעקביות ויזואלית ובמציאות החזותית.
המודל החדש מחזיק כיום במקום הראשון במבחן הביצועים של Artificial Analysis לווידאו מטקסט עם 1,246 נקודות Elo, ומציע יכולות שעלולות להפוך את ההבחנה בין תוכן אמיתי לתוכן שנוצר ב-AI לאתגר גדול עוד יותר.
ההכרזה על Gen-4.5 מגיעה כשמונה חודשים לאחר מודל ה-Gen 4 שהוכרז מוקדם יותר השנה וכשנתיים לאחר ש-Runway השיקה את Gen-1, מודל הווידאו הראשון שהיה זמין לציבור הרחב.
המודל החדש מתחרה ישירות במודל Sora 2 של OpenAI שהושק לאחרונה, כאשר שתי החברות מתמקדות בשיפור הפיזיקה והמציאותיות של הווידאו שנוצר.
דיוק פיזיקלי גבוהה במיוחד
לפי החברה, Gen-4.5 משיג רמת דיוק פיזיקלי ויזואלי שלא נראתה בעבר במודלים מסוג זה. אובייקטים נעים עם משקל, תנע וכוח ריאליסטיים, נוזלים זורמים עם דינמיקה נכונה, ופרטי משטח מוצגים ברמת נאמנות גבוהה.
המודל מסוגל לשמור על עקביות של פרטים עדינים כמו קצוות שיער ומרקם חומרים לאורך התנועה והזמן.
בנוסף, המודל מציע שליטה סגנונית רחבה ועקביות ויזואלית, כאשר הוא מסוגל להתמודד עם מגוון אסתטיקות – מפוטוריאליסטי וקולנועי ועד אנימציה מסוגננת, תוך שמירה על שפה ויזואלית קוהרנטית.
Runway טוענת שתוצאות פוטוריאליסטיות שנוצרו עם Gen-4.5 יכולות להיות “בלתי ניתנות להבחנה מצילומים אמיתיים”.
הובלה במבחני ביצועים
Gen-4.5 קבע סטנדרטים חדשים במבחני הביצועים של מודלי יצירת וידאו, כאשר המודל החדש מציג ציון של 1,246 נקודות Elo והוביל את כל המודלים המתחרים בשוק.
המבחן מעריך שלושה פרמטרים מרכזיים: איכות תנועה, עמידה בהנחיות הטקסט (prompt adherence) ונאמנות ויזואלית.
מודל ה-Veo 3 נמצא במקום השני עם ציון של 1,226 נקודות ואילו Sora 2 של OpenAI נמצא רק במקום השביעי עם ציון של 1,206 נקודות.
פיתוח ותשתית
Gen-4.5 פותח במלואו על גבי המאיצים הגרפיים של אנבידיה לאורך כל תהליך המחקר והפיתוח, מהאימון הראשוני ועד להפקת הווידאו עצמו.
Runway שיתפה פעולה באופן נרחב עם אנבידיה כדי לדחוף את הגבולות של אופטימיזציה במודלי דיפוזיה לווידאו, מיעילות האימון ועד מהירות ההפקה. המודל עצמו רץ על מעבדי Hopper ו-Blackwell של אנבידיה.
מגבלות ידועות
למרות הקפיצה ביכולות, המודל עדיין מציג מספר מגבלות שמאפיינות מודלי יצירת וידאו. אלו כוללות בעיות עם הגיון סיבתי (אפקטים שמתרחשים לפני הסיבה שלהם, כמו דלת שנפתחת לפני שהידית נלחצה), קביעות אובייקט (אובייקטים שנעלמים או מופיעים באופן לא צפוי בין פריימים), והטיית הצלחה (פעולות שמצליחות באופן לא פרופורציונלי).
מודל Gen-4.5 החדש של Runway מתחיל להגיע באופן הדרגתי למשתמשים, ויהיה זמין לכולם בימים הקרובים.
סרטון ההסבר על מחולל הוידאו החדש:
