חברת CloudFlare, המוכרת יותר דרך שירות ההגנה שלה לאתרים נגד מתקפות DDoS, הכריזה על ה-AI Labyrinth (“מבוך AI”), טכניקת הגנה חדשה עבור אתרי אינטרנט המשמשת כנגד בוטי “סקרייפינג” (Scarping) האחראים למעל 50 מיליארד בקשות מידע מדי יום לפי החברה.
בשביל להבין מה בדיוק מבוך ה-AI החדש של CloudFlare עושה, צריך להסביר בקצרה מהו מה זה סקרייפינג או “גרידת תוכן”. בצורה הפשוטה ביותר, מדובר על פעולה של קצירת תוכן מאתרים ברשת, תוכן שמשמש לעיתים קרובות לפרסום מחדש, אימון AI ועוד.
באופן כללי, אתרי אינטרנט מסתמכים על קובץ robots.txt יעודי שנשמר באתרים על מנת לתת הנחיות לבוטי האינטרנט השונים, בהם בוטי סקרייפינג, קובץ שיכול להכיל הנחיות כמו “איסור גרידת תוכן” אליו בוטים לגיטימיים צריכים להתייחס, אך עם זאת ישנן חברות שמתעלמות מהבקשה שלא לקצור את המידע.
Let's dive into how Cloudflare uses generative AI to slow down, confuse, and waste the resources of AI Crawlers and other bots that don’t respect “no crawl” directives. https://t.co/krCSPaAUsf #SecurityWeek
— Cloudflare (@Cloudflare) March 19, 2025
AI Labyrinth
מבוך ה-AI החדש לוקח את הביטוי “להילחם באש עם אש” צעד אחד קדימה. במקרה ש-CloudFlare מזהה בקשה לא לגיטימית מבוט, במקום לחסום אותה האתר מנתב אותה לעמוד שמיוצר על ידי בינה מלאכותית הנועד להכניס את הבוט ל”מבוך” דפי אינטרנט שאינם קשורים לאתר ממנו הוא מנסה לקצור מידע.
הצעד הזה לא פותר את בעיית הבוטים בעבור אתרים, אלא נועד לשרוף משאבים ולהעמיס במידע לא רלוונטי בוטים המנסים להשיג את התוכן של האתר האמיתי.
מדובר בפתרון מעניין למדי לבעיית קצירת התוכן, כאשר פיצ’ר ה-AI Labyrinth החדש של CloudFlare יהיה זמין לשימוש על ידי כלל מנויי החברה, כולל החינמיים.
