אנבידיה (nvidia) הציגה את ה-Mistral-NeMo-Minitron 8B, מודל שפה קטן SLM (ר”ת Small Language Model) המסוגל לרוץ בצורה מקומית על מחשבים ותחנות עבודה ברמת דיוק גבוהה בהשוואה למודלי AI מתחרים בקטגוריה שלו.
מודל ה-Mistral-NeMo-Minitron 8B החדש של אנבידיה מגיע כגרסה ממוזערת למודל ה-Mistral-NeMo 12B אותו הציגה החברה בחודש הקודם, כאשר החברה השתמשה בטכניקה של “גיזום וזיקוק” (Pruning and distillation) על מנת לייצר מודל SLM בעל ביצועים דומים למודל ה-LLM המקורי עם צריכת משאבים נמוכה יותר, המאפשרת להפעיל אותו באופן מקומי על כרטיסי ה-RTX של החברה.
הצהרת החברה כי מודל של 8 מיליארד פרמטרים מסוגל להציג ביצועים קרובים למודל הגדול ממנו ב-50% מדגימה את חשיבות פיתוח מודלי ה-AI עצמם, כאשר האפטימיזציה שהמודל עבר מאפשרת לו להציג יתרון בביצועים ב-8 מתוך 9 מבחני ביצועים בהשוואה למודלי ה-Mistral-7B ו-LLaMa-3.1-8B המתחרים.
מלבד צריכת המשאבים הנמוכה יותר להרצה של מודל SLM באופן מקומי בהשוואה למודל LLM בענן, השימוש ב-SLM מקומי מגיע עם מגוון יתרונות, בהם רמת אבטחה מוגברת, מאחר שאין שום צורך להעביר מידע לענן מרוחק כלשהו וכלל החישובים מתבצעים באופן מקומי.
???? The best 8B Base model via pruning and distillation!
???? Introducing Mistral-NeMo-Minitron-8B-Base model we derived from the recent Mistral-NeMo-12B.
Our recipe: finetune teacher on 100B tokens, prune to 8B params, run teacher-student distillation on <400B tokens.
Result: the… pic.twitter.com/DWrXJEd3tY— Pavlo Molchanov (@PavloMolchanov) August 21, 2024
מודל ה-Mistral-NeMo-Minitron 8B החדש זמין ב-Hugging Face ובפלטפורמת ה-NVIDIA NIM.
