חברת אנבידיה (nvidia) שחררה דמו רשמי ל-Chat with RTX, פתרון בינה מלאכותי חדש המאפשר למשתמשים להפעיל צ’אטבוט AI טקסטואלי חכם דמוי ChatGPT באופן מקומי על גבי המחשב האישי שלהם, במידה והם מחזיקים בכרטיס גרפי GeForce RTX תואם.
מרוץ החימוש הגדול בתחום ה-AI הצליח להפחי חיים במגוון פתרונות בינה מלאכותיים שונים, החל מצ’אטבוטים דוגמת ChatGPT של שהזניק את המרוץ, דרך מחוללי תמונות שונים דוגמת Stable Diffusion ועוד מגוון פתרונות רבים, כאשר המשותף לרובם זו העובדה שהם פועלים על גבי שרתים חזקים בענן.
עם זאת, המרוץ בתחום הזניק גם את ההשקעה של יצרני מעבדים, שהחלו לשלב פתרונות NPU יעודיים במעבדים שלהם על מנת לאפשר הפעלת פתרונות AI שונים באופן מקומי, כאשר לצד המעבד חלק מהמשתמשים מחזיקים גם בכרטיס מסך יעודי וחזק בהרבה במיוחד לשימוש על ידי AI.
פתרון ה-Chat With RTX החדש של אנבידיה נועד לתת למשתמשים יכולת להריץ צ’אטבוט טקסטואלי מתקדם על גבי כרטיסי ה-GeForce RTX הגרפיים שמיועדים לרוב למשחקים, אך יכולים לשמש גם להפעלה מקומית של מודלי AI שונים, כאשר ה-Chat With RTX משתמש בפרויקט RAG (מידע ב-GitHub) ותוכנת ה-TensorRT-LLM של החברה.
הדמו של Chat With RTX מאפשר למשתמשים להזין בו מידע מקבצים שונים, דוגמת קבצי טקסט (txt, pdf, doc, doc, xml), ואף להזין בו כתובות של סרטוני יוטיוב מהם הוא יוכל לשאוב מידע ולספק מענה רלוונטי למשתמש.
דוגמה אחת שהציגה אנבידיה כוללת יכולת לקבל המלצות נסיעה בהתבסס על תוכן מוידאו של משפיען רשת, כל זאת יבצוע מקומית על המחשב ללא שליחת מידע לשרת חיצוני.
דרישות המינימום לדמו ה-Chat with RTX:
- מערכת הפעלה – ווינדוס 11.
- זיכרון – 16GB ומעלה.
- כרטיס גרפי – מסדרת ה-GeForce RTX 3000/4000 עם 8GB זיכרון לפחות.
- דרייבר גרפי – 535.11 ומעלה.
ניתן ללמוד עוד על Chat with RTX של אנבידיה באתר הרשמי של החברה, ממנו ניתן להוריד גם את הדמו הרשמי (קישור ישיר להורדה).
הדגמה של Chat with RTX:
