⭐ נקודות עיקריות
- בייטדאנס (ByteDance) חשפה לאחרונה את Seedance 2.0, מודל וידאו המתמקד בשליטה מולטי-מודאלית.
- המערכת מאפשרת הזנת 9 תמונות, 3 סרטוני וידאו ו-3 קבצי אודיו במקביל ליצירת רפרנס מדויק.
- המודל מציג יכולות פיזיקליות משופרות, סנכרון אודיו-ויזואלי מובנה ויצירת קליפים באורך 15 שניות.
בייטדאנס (ByteDance), המוכרת כחברה העומדת מאחורי טיקטוק (TikTok), ממשיכה להרחיב את פעילותה בשוק הבינה המלאכותית עם Seedance 2.0, הדור הבא של מודל יצירת הווידאו מתוצרתה.
המודל החדש מנסה לשנות את כללי המשחק בתחום הוידאו הגנרטיבי, בעיקר באמצעות מתן שליטה “במאית” למשתמשים על התוצר הסופי.
המודל, שנכנס לזירה צפופה מול מתחרים כמו Kling, Sora ו-Veo, מציע ארכיטקטורה מאוחדת (Unified Multi-modal Architecture) המשלבת יצירת וידאו ואודיו בתהליך אחד.
Seedance 2.0 – המהפכה החדשה ביצירת וידאו
החידוש המרכזי ב-Seedance 2.0 הוא מערכת הקלט המכונה “All-round reference”. בניגוד למודלים סטנדרטיים המסתמכים על טקסט ותמונה בודדת, בייטדאנס מאפשרת כעת להזין למערכת כמות נרחבת של נתונים ליצירת קונטקסט מדויק: עד 9 תמונות רפרנס לקיבוע דמויות וקומפוזיציה, 3 סרטוני וידאו להגדרת תנועת המצלמה והדינמיקה, ו-3 קבצי אודיו לסנכרון הקצב והאווירה.
כדי לנהל את המידע הזה, המודל משתמש במערכת תיוג (“@ Mention System”). המשתמש יכול לכתוב הנחיה ולציין במפורש: “השתמש ב-Image1@ עבור הדמות, ב-Video1@ עבור תנועת המצלמה וב-Audio1@ עבור הפסקול”. רמת שליטה זו נועדה לפתור את בעיית האקראיות המאפיינת מחוללי וידאו רבים.
כפי שאפשר לראות בדוגמאות המצורפת בכתבה, Seedance 2.0 מסוגל לייצר וידאו באיכות גבוהה במיוחד בהשוואה למודלים קיימים, דבר שגרם כבר למספר חברות בהן דיסני לשלוח מכתב הפסקת פעילות (Cease and Desist) לבייטדאנס לאור יכולת הפרת זכויות היוצרים של המודל.
ביצועים
בייטדאנס שמה דגש מיוחד על מנוע הפיזיקה של המודל. בהדגמות ששוחררו, המודל מציג יכולת להתמודד עם אינטראקציות מורכבות בין גופים תוך שמירה על חוקי הכבידה,מומנטום ומניעת עיוותים נפוצים.
בצד האודיו, המודל מציע סאונד סטריאו עם סנכרון אודיו-ויזואלי מובנה, המאפשר יצירת דיבוב (Lip-sync) מדויק, אפקטים קוליים (SFX) המותאמים למתרחש במסך (כמו צעדים או נקישות), ומוזיקת רקע המשתלבת עם הקצב הויזואלי.
יכולות נוספות
מעבר ליצירה מאפס, Seedance 2.0 מציע סט כלים לעריכה ושיפור תוכן קיים:
- עקביות דמויות: היכולת “לנעול” דמות ולשמור על המראה שלה לאורך סצינות שונות, קריטי ליצירת סרטים עלילתיים.
- עריכה סמנטית: שינוי אלמנטים בודדים בוידאו (למשל, החלפת בגד או חפץ) באמצעות פקודת טקסט, מבלי לפגוע בשאר הפריים.
- Video Extension: הארכת סרטונים קיימים בצורה חלקה, המאפשרת יצירת רצפים ארוכים יותר מ-15 שניות באמצעות חיבור מספר מקטעים.
- Multi-shot Generation: יצירת סרטון אחד הכולל בתוכו מספר זוויות צילום (Cuts) ערוכות, המדמות עבודה של במאי ועורך אנושי.
השוואה למודלי וידאו מתחרים
להלן השוואה טכנית בין Seedance 2.0 למתחרים המובילים בשוק, כפי שעולה מהמפרטים שפורסמו:
| מאפיין | Seedance 2.0 | Kling 3.0 | Sora 2 | Veo 3.1 |
|---|---|---|---|---|
| מפתח | ByteDance | Kuaishou | OpenAI | |
| משך מקסימלי | 15 שניות | 10 שניות | 12 שניות | 8 שניות |
| קלט תמונות | עד 9 | 1-2 | 1 | 1-2 |
| קלט וידאו | עד 3 | ללא | ללא | 1-2 |
| קלט אודיו | עד 3 | ללא | ללא | ללא |
| חוזקה עיקרית | שליטה מולטי-מודאלית | איכות תנועה | דיוק פיזיקלי | איכות קולנועית |
זמינות
המודל זמין כעת לשימוש הקהל הרחב בסין ובפלטפורמות גלובליות נבחרות (דוגמת Jimeng ו-Doubao), כאשר החברה מציעה גם גישת API למפתחים.
