שוויץ הופכת למדינה הראשונה בעולם שמשיקה מודל בינה מלאכותית לאומי עם Apertus, מודל שפה גדול (LLM) בקוד פתוח שפותח על ידי מוסדות ממשלתיים כחלופה למודלים מסחריים כמו ChatGPT ו-Claude.
המודל שמגיע בגודל של 8 ו-70 מיליארד פרמטרים פותח על ידי המכון הפדרלי הטכנולוגי בלוזאן (EPFL), ETH ציריך ומרכז המחשוב העל הלאומי השוויצרי (CSCS), כולם מוסדות ציבוריים.
שם המודל, Apertus, נגזר מהמילה הלטינית “פתוח” ומבטא את הפילוסופיה שמאחוריו – שקיפות מלאה בכל שלבי הפיתוח.
בניגוד למודלים מסחריים שמסתירים את תהליכי האימון שלהם, Apertus מציע גישה מלאה לקוד המקור, למערכי הנתונים שבהם נעשה שימוש ולתיעוד המפורט של תהליך הפיתוח.
מודל רב-לשוני עם דגש על שוויץ
המודל עבר אימון על 15 טריליון טוקנים ביותר מ-1,000 שפות, כאשר 40% מהנתונים הם בשפות שאינן אנגלית.
זה כולל שפות שפחות מיוצגות במודלי AI אחרים, כמו גרמנית שוויצרית ורומנש. הגישה הרב-לשונית הזו מקנה למודל יתרון משמעותי בהבנת תוכן מקומי ותרבותי.
אחד היתרונות המרכזיים של המודל השוויצרי הוא ההקפדה על סטנדרטים אתיים גבוהים. המודל עבר אימון רק על נתונים זמינים לציבור, תוך כיבוד בקשות של אתרים לא להיכלל במאגר הנתונים.
זה עומד בניגוד לחברות כמו Perplexity שהואשמה בעבר בעקיפת פרוטוקולים שנועדו לחסום את הכלים שלהן.
ביצועים
מודל ה-Apertus (8B ו־70B) מוגדר כמקביל בביצועים למודל ה-Llama 3 של מטא מ-2024, אך הוא עדיין מצליח להציג ביצועים תחרותיים ביחס למודלים פתוחים אחרים.
הוא מוביל במבחנים רב-לשוניים (כולל שפות דלות משאבים כמו רומאנש, אחת מהשפות הרשמיות בשוויץ) ואף עוקף את Llama-3.3-70B בתרגום, שומר על דיוק גבוה בקונטקסטים ארוכים (עד 64K טוקנים), ומצטיין בהבנת הוראות ובידע תרבותי.
לצד זאת, ביצועיו חלשים יותר במתמטיקה ותכנות בהשוואה למודלים שעברו חיזוק ייעודי, אך הוא עדיין מהווה אחד המודלים הפתוחים החזקים ביותר כיום.
מודל ה-Apertus זמין להורדה בקוד פתוח דרך Hugging Face ומיועד למחקרים מדעיים, פיתוח יישומים חינוכיים, מערכות תרגום ועוד.
