מודל Ray3 Modify של Luma AI – עריכת וידאו מבוססת AI עם שליטה מלאה

Ray3 Modify (מקור Luma AI) Ray3 Modify (מקור Luma AI)

⭐ נקודות עיקריות

  • מודל Video-to-Video המתמקד בעריכת וידאו קיים במקום יצירה מאפס.
  • שומר על תנועה, הבעות ותזמון של הביצוע המקורי גם לאחר שינויי סצנה.
  • כולל שליטה מדויקת באמצעות Keyframes ועקביות דמויות עם Character Reference.
  • מיועד לייעול שלבי הפוסט-פרודקשן והפחתת צורך בצילומים חוזרים.

חברת Luma AI הכריזה על Ray3 Modify, מודל בינה מלאכותית (AI) חדש המיועד לשנות ולערוך סרטונים קיימים תוך שמירה על הביצוע המקורי של הדמויות.

בניגוד לכלים גנרטיביים היוצרים וידאו מאפס על בסיס טקסט (Text-to-Video), המודל החדש מתמקד בשינוי של תוכן קיים (Video-to-Video) ומציע ליוצרים שליטה גבוהה יותר על התוצאה הסופית.

מאפיינים עיקריים וחדשנות

המודל מציע שלוש יכולות ליבה שנועדו לאפשר עריכה מדויקת יותר עבור יוצרי תוכן ואולפנים:

  • Modify Video – יכולת המאפשרת שינוי אלמנטים ויזואליים בסרטון (כגון בגדים, סביבה או תאורה) תוך שמירה על הלוגיקה הפיזית והלכידות הנרטיבית. המודל משמר את התנועה המקורית, התזמון, כיוון המבט והבעות הפנים של השחקן, מה שמאפשר לשמור על האותנטיות של הביצוע האנושי גם לאחר שינויים משמעותיים בסצנה.
  • Modify with Keyframes – פיצ’ר המעניק למשתמשים שליטה על מסגרות ההתחלה והסיום של הסרטון. אפשרות זו מסייעת ביצירת מעברים חלקים ושמירה על רציפות מרחבית, ומתאימה במיוחד לתיקון סצנות מורכבות או יצירת אפקטים ויזואליים, תוך הגדרת נקודות ביניים לתהליך הגנרטיבי.
  • Character Reference – פונקציה המאפשרת להחיל זהות דמות ספציפית על הביצוע המקורי. כלי זה פותר את אחד האתגרים המרכזיים בתחום ה-AI בווידאו , חוסר עקביות, ומאפשר “לנעול” את מראה הדמות והתלבושת לאורך הקליפ, או להפוך שחקן אנושי לדמות בדיונית תוך שימור המשחק המקורי.

שינוי תהליך העבודה

הגישה של Ray3 Modify מציעה שינוי בתהליכי ההפקה המסורתיים. היכולת לשמר את התנועה והכוונה המקורית של השחקן מייתרת במקרים מסוימים את הצורך בצילומים חוזרים (Reshoots) יקרים.

במקום להחזיר צוות הפקה לסט בגלל שינוי במיקום או בתלבושת, ניתן לבצע את השינויים בשלב הפוסט-פרודקשן על גבי הצילום הקיים.

גישה זו מאפשרת לביים את הסצנה פיזית פעם אחת, ולבצע איטרציות ויזואליות מרובות באמצעות המודל.

אמית ג’יין, מייסד שותף ומנכ”ל Luma AI, אמר (בתרגום חופשי לעברית):

מודלים גנרטיביים לסרטונים הם אקספרסיביים מאוד אך גם קשים לשליטה. היום אנו גאים להציג את Ray3 Modify שמשלב את העולם האמיתי עם האקספרסיביות של AI תוך מתן שליטה ליוצרים. צוותים יכולים לצלם ביצועים עם מצלמה ולשנות אותם מיד לכל מיקום אפשרי או לשנות תלבושות, בלי ליצור מחדש את הצילום הפיזי.

זמינות

המודל החדש, Ray3 Modify, זמין כעת לשימוש עבור המשתמשים דרך פלטפורמת Dream Machine של Luma AI.

השוואת מפרטים