גוגל (Google) הכריזה על גרסת 2 מיליארד פרמטרים חדשה של Gemma 2 (“ג’מה”), מודל ה-AI הקל והפתוח של החברה, שהיה זמין עד כה בגרסת 7 ו-27 מיליארד פרמטרים. בנוסף למודל ה-Gemma 2 2B עצמו, החברה הציגה גם את מודל ShieldGemma המבוסס עליו ומשמש כפתרון הגנה בפני קלט/פלט פוגעני ואת מודל ה-Gemma Scope המיועד לחוקרים, להבנה טובה יותר של אופן פעולת המודלים עצמם.
מודל ה-Gemma 2 2B החדש מרחיב את סדרת מודלי השפה הטקסטואליים Gemma 2 שהוכרזה בחודש הקודם וכללה גרסאות 9B ו-27B פרמטרים כדור הבא של מודלי ה-Gemma הפתוחים של החברה, אותם היא מפתחת במקביל לסדרת מודלי ה-Gemini הסגורים.
היתרון הגדול ביותר של מודלים זעירים דוגמת ה-Gemma 2 2B הוא ביכולת שלהם לרוץ בצורה מקומית על גבי מגוון רחב של מכשירים בזכות גודל של 2 מיליארד פרמטרים בלבד, דבר שלא פוגע בביצועים של מודל ה-AI, עם ביצועים טובים יותר במבחן הצ’אטבוט Arena Elo בהשוואה ל-Mixtral, GPT 3.5 ו-Llama 2.
מודלי ה-ShieldGemma ו-Gemma Scope
לצד מודל ה-Gemma 2 2B הסטנדרטי, גוגל הציגה צמד מודלים יעודיים חדש, בהם מודל ה-ShieldGemma שנועד להגן על המשתמשים ומודלי ה-AI עצמם מתוכן מזיק ולסנן דברי שנאה, הטרדה, תוכן מיני ותוכן מסוכן אחר. מודל זה מציג ביצועים טובים יותר בסינון תכנים מסוג זה בהשוואה ל-LlamaGuard של מטא, GPT-4 ו-OpenAI Mod API של OpenAI.
בעבור חוקרים החברה הציגה את מודל ה-Gemma Scope, המשמש כסוג של “מיקרוסקופ” המאפשר לחוקרים לעקוב באופן שקוף יותר אחר תהליך קבלת ההחלטות במודל ה-Gemma 2 באמצעות מעל ל-400 SAEs (ר”ת sparse autoencoders) המכסים את כלל השכבות של מודל ה-Gemma 2 בגרסאות ה-2B ו-9B.
מודלי ה-Gemma 2, בהם גרסת ה-2B החדשה, זמינים באתר Hugging Face יחד עם גרסאות ה-ShieldGemma ו-Gemma Scope החדשות והיעודיות.
