xAI, חברת הבינה המלאכותית של אילון מאסק, מנכ”ל טסלה, SpaceX והבעלים של ????, הכריזה על מודלי ה-Grok-1.5 ו-Grok-1.5V, גרסאות חדשות למודל הבינה המלאכותית Grok (“גרוק”), המגיעות עם יכולת הרצה של עד 128 אלף טוקנים, המאפשרים למודלים להציג שיפור ביצועים ניכר לעומת המודל המקורי עם ביצועים דומים יותר למודלי AI מתחרים ותיקים יותר בשוק.
חברת xAI הציגה את הגרסה הראשונה של גרוק בסוף 2023 כפתרון המתחרה שלה למודלים ותיקים יותר, דוגמת GPT-4 של OpenAI, כאשר בניגוד לגרסה הקודמת של המודל, Grok 1.5 מתחלק לשני מודלים:
- מודל השפה הגדול Grok-1.5 המיועד לשימוש טקסטואלי בעיקר.
- מודל ה-Grok-1.5V המולטי מודאלי (multimodal) החדש, המיועד לשימוש עם סוגי קלט ויזואליים יותר.
מודל ה-Grok-1.5
השינוי הגדול ביותר בין Grok-1.5 החדש ומודל ה-Grok המקורי הוא הגדלת חלון הקלט שלו לעד 128 אלף טוקנים (Tokens), מה שמכפיל את נפח הזיכרון המודל לעד פי 16 מהדור הקודם, עם יכולת הבנת תוכן והסקת מסקנות טובים יותר, דבר שניתן לראות במבחני הביצועים אותם הציגה החברה.
המודל החדש מציג שיפור ניכר לעומת Grok-1, עם ביצועים הקרובים לאלו של GPT-4 ו-Gemini 1.5 Pro המתחרים ברוב מבחני הביצועים ואף טוב מהם במבחן ה-HumanEval, הבודק יכולת יצירת קוד ופתרון בעיות.
השוואת מודל ה-Grock-1.5 למודלי AI אחרים:
| מבחן ביצועים | Grok-1 | Grok-1.5 | Mistral Large | Claude 2 | Claude 3 Sonnet | Gemini Pro 1.5 | GPT-4 | Claude 3 Opus |
|---|---|---|---|---|---|---|---|---|
| MMLU | 73% | 81.3% | 81.2% | 75% | 79% | 83.7% | 86.4% | 86.8% |
| MATH | 23.9% | 50.6% | - | - | 40.5% | 58.5% | 52.9% | 61% |
| GSM8K | 62.9% | 90% | 81% | 88% | 92.3% | 91.7% | 92% | 95% |
| HumanEval | 63.2% | 74.1% | 45.1% | 70% | 73% | 71.9% | 67% | 84.9% |
מודל ה-Grok-1.5V
יחד עם מודל ה-Grok-1.5 הרגיל, xAI הציגה גם את Grok-1.5V, המודל המולטי מודאלי הראשון של החברה, המסוגל להתמודד בצורה טובה יותר עם קלט ויזואלי הכולל תמונות, תרשימים, צילומי מסך ועוד, לצד יכולת הבנה טובה יותר של העולם מסביב.
בין הדוגמאות ליכולות הויזואליות של המודל החדש אפשר למצוא (בתרגום חופשי לעברית):
- בהינתן התמונה, לאיזה כיוון קרדינלי פונה הדינוזאור?
- האם אתה יכול לתרגם את התרשים לקוד פייתון?
- כמה קלוריות יש ב-5 חתיכות של הדבר הזה?
את השאלות האלה פתר Grok-1.5V, עם תשובות ודוגמאות נוספות שניתן לראות בבלוג הרשמי של החברה.
השוואת מודל ה-Grock-1.5V למודלים ויזואליים אחרים:
| מבחן ביצועים | Grok-1.5V | GPT-4V | Claude 3 Sonnet | Claude 3 Opus | Gemini Pro 1.5 |
|---|---|---|---|---|---|
| MMMU רב תחומי | 53.6% | 56.8% | 53.1% | 59.4% | 58.5% |
| Mathvista מתמטיקה | 52.8% | 49.9% | 47.9% | 50.5% | 52.1% |
| AI2D דיאגרמות | 88.3% | 78.2% | 88.7% | 88.1% | 80.3% |
| TextVQA קריאת טקסט | 78.1% | 78.0% | - | - | 73.5% |
| ChartQA טבאלות | 76.1% | 78.5% | 81.1% | 80.8% | 81.3% |
| DocVQA מסמכים | 85.6% | 88.4% | 89.5% | 89.3% | 86.5% |
| RealWorldQA הבנת העולם האמיתי | 68.7% | 61.4% | 51.9% | 49.8% | 67.5% |
מודלי ה-Grok-1.5 ו-Grok-1.5V החדשים של xAI צפויים להיות זמינים בזמן הקרוב למשתמשי Grok.
