מיקרוסופט (Microsoft) מודה בגלוי כי סוכני ה-AI אותם היא משלבת בווינדוס 11 עלולים “להזות”, להתנהג בצורה בלתי צפויה, ואף להיפול לסוגים חדשים של מתקפות סייבר.
למרות האזהרות שלה עצמה, החברה ממשיכה לקדם את התכונות האלו כחלק מעתיד מערכת ההפעלה.
לאחר שהכריזה בחודש הקודם על הפיכת מערכת הווינדוס לפלטפורמת AI עם סוכנים חכמים ו-Copilot, מיקרוסופט פרסמה מסמך תמיכה מעודכן שמזהיר משתמשים כי “מודלי AI עדיין מתמודדים עם מגבלות תפקודיות באופן שבו הם מתנהגים… ומכניסים סיכוני אבטחה חדשים… שעלולים להוביל לפעולות לא מכוונות כמו גניבת מידע או התקנת תוכנות זדוניות.”
מה הן ההזיות של מודלי AI?
המונח “הזיות” (Hallucinations) בהקשר של בינה מלאכותית מתייחס למצבים שבהם מודל ה-AI מייצר מידע שגוי או בדוי, תוך שהוא מציג אותו באופן שנראה מהימן.
במקרה של סוכני ה-AI בווינדוס 11, ההזיות יכולות להתבטא בביצוע פעולות שגויות או לא רצויות במחשב, כמו העתקת קבצים למיקומים שגויים או שינוי הגדרות שלא כהוראה.
מיקרוסופט מציינת במפורש בתיעוד הרשמי שהסוכנים “מתמודדים עם מגבלות תפקודיות באופן שבו הם מתנהגים ולעיתים עלולים להזות ולייצר פלטים בלתי צפויים.”
סיכוני אבטחה: מתקפות Cross Prompt Injection
אחד הסיכונים המרכזיים שעליהם מזהירה מיקרוסופט הוא Cross Prompt Injection (XPIA) – סוג של מתקפה שבה תוכן זדוני שמוטמע באלמנטי ממשק משתמש, במסמכים או באפליקציות יכול להטעות את סוכן ה-AI.
התוכן הזדוני עלול לגרום לסוכן לבצע פעולות מזיקות כמו העתקת קבצים רגישים או דליפת מידע.
החברה מתארת את הבעיה כך:
תוכן זדוני שמוטמע באלמנטי ממשק או במסמכים יכול לעקוף את הוראות הסוכן, ולהוביל לפעולות לא מכוונות כמו גניבת מידע או התקנת תוכנות זדוניות.
איך מיקרוסופט מנסה להתמודד עם הסיכונים
למרות האזהרות, מיקרוסופט ממשיכה לקדם את תכונות סוכני ה-AI בווינדוס 11. כדי להתמודד עם הסיכונים, החברה פיתחה מערכת בשם Agent Workspace – סביבה מקבילה של Windows שמספקת למשתמש חשבון נפרד, שולחן עבודה משלו ועץ תהליכים נפרד.
הסוכנים מקבלים גישה מוגבלת רק לשישה תיקיות “ידועות”: Documents, Downloads, Desktop, Videos, Pictures ו-Music. כל שאר התיקיות בפרופיל המשתמש חסומות, אלא אם המשתמש נותן הרשאה מפורשת.
מיקרוסופט משתמשת בפרוטוקול Model Context Protocol (MCP) כגשר סטנדרטי בין הסוכנים לאפליקציות, מה שמאפשר לווינדוס לפקח ולתעד כל פעולה.
בשלב הנוכחי, התכונות האג’נטיות הניסיוניות כבויות כברירת מחדל. עם זאת, קשה להתעלם מהסכנות שמיקרוסופט עצמה מתארת, לפחות ללא שימוש באמצעי אבטחה מתאימים.
