⭐ נקודות עיקריות
- שיאומי הכריזה על מודלי השפה MiMo-V2.5 ו-MiMo-V2.5-Pro תחת רישיון קוד פתוח מלא (MIT).
- המודלים מבוססים על ארכיטקטורת MoE וכוללים חלון הקשר של עד מיליון אסימונים.
- דגם ה-Pro מיועד למשימות פיתוח מורכבות (Agents), בעוד שדגם הבסיס מתמקד ביכולות מולטימודאליות.
- המודלים זמינים להורדה חופשית ולשימוש דרך ממשק ה-API של החברה.
שיאומי (Xiaomi) הכריזה על ה-MiMo-V2.5 וה-MiMo-V2.5-Pro, צמד מודלי שפה גדולים (LLMs) בקוד פתוח המיועדים לטיפול במשימות מורכבות, תכנות והבנה מולטימודאלית.
המודלים החדשים מתוכננים לפעול כסוכנים חכמים המסוגלים לבצע פעולות רב-שלביות באופן עצמאי, כגון פיתוח פרויקטים שלמים בקוד וביצוע משימות דיגיטליות עבור המשתמש.
הכירו את MiMo-V2.5
המודלים החדשים של שיאומי מבוססים על ארכיטקטורת מומחים מעורבים (Mixture of Experts). דגם הבסיס, ה-MiMo-V2.5, כולל 310 מיליארד פרמטרים שמהם 15 מיליארד פרמטרים פעילים בכל רגע נתון.
הוא מציע תמיכה מובנית בהבנת טקסט, תמונה ושמע יחד עם חלון הקשר המסוגל להכיל עד מיליון אסימונים (tokens).
דגם ה-MiMo-V2.5-Pro תוכנן ספציפית עבור משימות פיתוח מורכבות (סוכנים), והוא כולל 1.02 טריליון פרמטרים שמהם 42 מיליארד פעילים בכל פעולה.
גרסה זו מתמקדת בשמירה על עקביות בטווח הפעולה הארוך, במטרה לאפשר ניהול של אלפי קריאות עוקבות לכלים שונים (Tool calls) מבלי לאבד את הקשר המשימה המקורי.
ביצועים
לדברי החברה, דגם ה-Pro מציג יעילות גבוהה במשימות אוטונומיות הכוללות ממשקים חיצוניים, עם שימוש בכמות אסימונים הנמוכה בכ-40 עד 60 אחוזים בהשוואה למודלים מתחרים בתעשייה, תוך שמירה על אחוזי הצלחה גבוהים בביצוע המשימה.
שיאומי מציינת כי במסגרת מבחני פיתוח פנימיים, מודל ה-Pro הצליח לכתוב מהדר (Compiler) מלא בשפת Rust בתוך כ-4.3 שעות בלבד.
במקרה אחר, המודל פיתח תוכנת עריכת וידאו הכוללת מעל ל-8,000 שורות קוד בתוך 11.5 שעות של עבודה אוטונומית הכוללת מעל 1,800 קריאות לכלים השונים.
יכולות נוספות
ההבדל ביכולות של שני המודלים נובע ישירות ממסלול האימון שלהם. בעוד דגם ה-MiMo-V2.5 עבר אימון ששם דגש על התאמה ועיבוד של קלט מולטימודאלי (הבנת סביבה, ראייה ושמיעה), דגם ה-Pro עבר אימון שנועד למטב את מרחב הפעולה שלו בתוך הקשרי טקסט ארוכים.
הדגם המתקדם תוכנן להקצות משאבי קשב (Attention) גבוהים יותר לחלקים הרלוונטיים ביותר בזיכרון הפעולה שלו.
חלוקה זו מאפשרת לו לסרוק כמויות עצומות של מידע בחלון ההקשר תוך שמירה על מיקוד בקוד ספציפי הדורש אופטימיזציה או תיקון, מה שמעניק לו יכולת “תיקון עצמי” במהלך ריצה של סקריפטים.
זמינות
מודלי ה-MiMo-V2.5 זמינים להורדה מיידית למפתחים דרך פלטפורמת Hugging Face.
