Mistral AI (מיסטרל) הצרפתית מרחיבה את סדרת מודלי ה-Mistral 3, עם מודל ה-Mistral Large 3 המוביל של החברה מבבוסס על ארכיטקטורת MoE עם 675 מיליארד פרמטרים.
לצד המודל הגדול ניתן למצוא גם שלושה מודלי Ministral 3 קומפקטיים בגודל של 3, 8 ו-14 מיליארד פרמטרים, המיועדים לעבוד על מגוון רחב של מכשירים.
כלל המודלים מגיעים תחת רישיון Apache 2.0 הפתוח, המאפשר שימוש מסחרי ללא הגבלות.
אוסף מודלי ה-Mistral 3 החדש מצטרף למודלי ה-Mistral Small 3.1 ו-Mistral Medium 3 שהוכרזו מוקדם יותר השנה.
מדובר בצעד משמעותי עבור החברה מול חברות הענק בתחום, בהן OpenAI, גוגל ואנתרופיק, כאשר היא מבדלת את עצמה מהן על ידי יצירת מודלים פתוחים שזמינים לשימוש כללי.
Mistral Large 3 – מודל הדגל
מודל הדגל של המשפחה הוא ה-Mistral Large 3, המבוסס על ארכיטקטורת “מומחים מעורבים” MoE (ר”ת Mixture of Experts) עם 41 מיליארד פרמטרים אקטיביים מתוך מאגר כולל של 675 מיליארד פרמטרים.
המודל מסוגל לעבד טקסט ותמונות, תומך בחלונות הקשר של עד 256,000 טוקנים, ואומן עם דגש מיוחד על שפות שאינן אנגלית.
המודל השיג מקום שני בקטגוריית מודלים פתוחים ללא יכולות חשיבה במצבת LMArena, ומציג ביצועים המתחרים במודלים הסגורים הטובים ביותר, במיוחד בשיחות רב-לשוניות.
משפחת Ministral 3 למכשירי קצה
לצד מודל ה-Mistral Large 3 הגדול, החברה הציגה את סדרת מודלי ה-Ministral 3 הכוללת שלושה מודלים קומפקטיים בגודל של 14 מיליארד, 8 מיליארד ו-3 מיליארד פרמטרים, כאשר עבור כל אחד מהם החברה תציע מודל בסיס (base), הוראות (instruct) והיגיון (reasoning).
כל גרסה משרתת מטרה נפרדת: מודלי בסיס להתאמה נרחבת, מודלים מותאמים להוראות לצ’אט כללי וביצוע משימות, ומודלים מותאמים לחשיבה להיגיון מורכב הדורש שיקול צעד אחר צעד.
המודלים הקטנים ביותר של Ministral 3 יכולים לפעול על מכשירים עם 4 ג’יגה-בייט זיכרון וידאו בלבד באמצעות קוונטיזציה של 4 ביטים – מה שהופך יכולות AI מתקדמות לנגישות על מחשבים ניידים סטנדרטיים, סמארטפונים ומערכות משובצות ללא צורך בתשתית ענן יקרה או אפילו חיבור אינטרנט.
יחס עלות-ביצועים משופר
מדען הראשי והמייסד השותף של Mistral, גיום למפל (Guillaume Lample), מדגיש את היתרון של מודלי ה-Ministral 3 הקטנים (בתרגום חופשי לעברית):
במעל 90% מהמקרים, מודל קטן יכול לעשות את העבודה, במיוחד אם הוא מכוונן מדויק. זה לא חייב להיות מודל עם מאות מיליארדי פרמטרים, רק מודל של 14 מיליארד או 24 מיליארד פרמטרים. אז זה לא רק הרבה יותר זול, אלא גם מהיר יותר, בתוספת כל היתרונות: לא צריך לדאוג לגבי פרטיות, חביון, אמינות וכן הלאה.
החברה מדווחת כי לקוחות ארגוניים רבים פנו אליה לאחר שבנו אב-טיפוס עם מודלים סגורים יקרים, רק כדי לגלות שעלויות ההטמעה אינן ישימות בקנה מידה.
מודלי Ministral משיגים את יחס העלות-ביצועים הטוב ביותר מכל מודל פתוח, כאשר במקרים רבים הם מייצרים פחות טוקנים בסדר גודל אחד לעומת מודלים דומים תוך השגת ביצועים דומים או טובים יותר.
זמינות
משפחת Mistral 3 זמינה כבר היום תחת רישיון קוד פתוח Apache 2.0, כאשר ניתן להוריד את מודלי ה-Ministral 3 ו-Mistral Large 3 דרך Hugging Face ופלטפורמות נוספות.
