⭐ נקודות עיקריות
- רספברי פיי משיקה את AI HAT+ 2 המאפשר הרצת בינה מלאכותית יוצרת (GenAI) ומודלי שפה (LLMs) באופן מקומי.
- שבב Hailo-10H מספק ביצועים של 40TOPS וכולל 8GB זיכרון ייעודי להתמודדות עם מודלים כבדים.
- מותאם להרצת מודלים כגון Llama 3.2 ו-DeepSeek-R1, תוך שמירה על פרטיות מלאה ללא תלות בענן.
- הלוח זמין לרכישה במחיר של 130 דולר ותואם באופן מלא למצלמה של ה-Raspberry Pi 5.
קרן Raspberry Pi הבריטית, המפתחת את מחשבי הלוח הזעירים בעלי השם הזהה, הכריזה על לוח ה-Raspberry Pi AI HAT+ 2 בשיתוף עם חברת היילו (Hailo) הישראלית.
הלוח החדש נועד להביא יכולות של בינה מלאכותית יוצרת (Generative AI) ישירות למחשב הלוח הזעיר, ה-Raspberry Pi 5.
הדגם החדש מחליף את לוח ה-Raspberry Pi AI Kit המקורי שהוצג ב-2024 ומגיע עם חומרה משודרגת המאפשרת הרצת מודלי שפה גדולים (LLMs) באופן מקומי.
הפתרון נועד לספק למשתמשים פרטיות מידע, אבטחה וחיסכון בעלויות הכרוכות בשירותי ענן, ללא תלות בחיבור לרשת.
הכירו את AI HAT+ 2
ה-AI HAT+ 2 מבוסס על שבב ה-Hailo-10H המציע קפיצת מדרגה בביצועים, ומאפשר למכשיר להתמודד עם עומסי עבודה של בינה מלאכותית יוצרת בצורה חלקה.
בניגוד לקודמו שהתמקד בזיהוי אובייקטים וניתוח תמונה בסיסי, הדגם החדש פותח במטרה ספציפית: הנגשת תחום ה-GenAI למפתחים וחובבים המשתמשים בפלטפורמת ה-RPi.
הלוח מתחבר ל-Raspberry Pi 5 ומשתלב באקו-סיסטם הקיים של החברה, מה שמאפשר מעבר חלק יחסית למשתמשים שכבר עובדים עם כלי התוכנה של ה-AI HAT המקורי.
הפתרון החדש שומר על יכולות הראייה הממוחשבת של קודמו, אך מוסיף עליהן את היכולת להריץ מודלים מורכבים של טקסט וקוד.
ארכיטקטורה וטכנולוגיה
בלב הלוח נמצא שבב ה-Hailo-10H, המספק ביצועי הסקה (Inferencing) של 40TOPS ב-INT4.
נתון זה מהווה שדרוג משמעותי לעומת דגמי ה-Hailo-8 וה-Hailo-8L הקודמים שהציעו ביצועים של עד 13TOPS או 26TOPS בהתאם לדגם.
החידוש המשמעותי ביותר בארכיטקטורה הוא שילוב של 8GB זיכרון ייעודי על גבי הלוח עצמו.
תוספת זיכרון זו היא קריטית, שכן היא מאפשרת למאיץ לטעון ולעבד מודלים גדולים הרבה יותר מאלו שהתאפשרו בעבר.
שילוב הזיכרון הייעודי יחד עם הארכיטקטורה המעודכנת מאפשר הרצה של מודלי שפה (LLMs) ומודלי שפה-ראייה (VLMs) ביעילות.
ביצועים ויכולות GenAI
היתרון הגדול מגיע ביישומי GenAI, שם הזיכרון המוגדל מאפשר הרצת מודלים פופולריים באופן מקומי.
עם ההשקה, הלוח תומך בהתקנת מודלים כגון DeepSeek-R1-Distill, Llama 3.2 ו-Qwen2.5 בנפחים של 1 עד 1.5 מיליארד פרמטרים.
דוגמאות לשימושים כוללות צ’אטבוטים מקומיים באמצעות Open WebUI, עזרי תכנות (Coding Assistants) ותרגום שפות בזמן אמת, כאשר כל העיבוד מתבצע על הלוח ללא שליחת מידע לענן.
שימושים ופיתוח
ה-AI HAT+ 2 תומך בביצוע Fine-tuning (כיוונון עדין) למודלים, מה שמאפשר למשתמשים להתאים אותם לצרכים ספציפיים.
בדומה ליכולת לאמן מחדש מודלים ויזואליים בדור הקודם, כעת ניתן לבצע התאמה של מודלי שפה באמצעות טכניקת LoRA (ר”ת Low-Rank Adaptation).
שיטה זו מאפשרת התאמה אישית יעילה של מודלים מאומנים מראש תוך הקפאת רוב הפרמטרים במודל הבסיס.
המשתמשים יכולים לקמפל מתאמים (Adapters) למשימות הספציפיות שלהם באמצעות ה-Hailo Dataflow Compiler ולהריץ אותם על הלוח.
מחירים וזמינות
לוח ה-Raspberry Pi AI HAT+ 2 החדש זמין לרכישה במחיר של 130 דולר (כ-480 ש”ח).
