נמצא כי סוכני הAI המרכזיים פגיעים לפשיטות, על פי מחקר

חלק מעוזרות הAI הנמצאות בשימוש הרחב ביותר של Microsoft, Google, OpenAI ו-Salesforce ניתנות להשתלטות על ידי מתקיפים בלי הרבה או בכלל ללא אינטראקציה מצד המשתמש, על פי מחקר חדש של Zenity Labs.

התוצאות שהוצגו בכנס Black Hat USA לאבטחת מידע, מראות שהאקרים יכולים לגנוב מידע, לשנות את תהליכי העבודה ואף להתחזות למשתמשים. במקרים מסוימים, התוקפים יכולים לרכוש "התמדה בזיכרון", מה שמאפשר להם שליטה וגישה לטווח ארוך.

"הם יכולים לשנות הוראות, להרעיל מקורות ידע, ולשנות לחלוטין את התנהגות הסוכן," אמר גרג זמלין, מנהל שיווק מוצרים ב-Zenity Labs, לCybersecurity Dive. "זה פותח את הדלת להרס, לשיבוש הפעלה, ולמידע שגוי לטווח הארוך, במיוחד בסביבות בהן נעשה שימוש בסוכנים לקבלת החלטות חשובות או לתמיכה בהן."

החוקרים הדגימו שרשראות התקפה מלאות על מספר פלטפורמות תוכנה מרכזיות. במקרה אחד, הסוכן ChatGPT של OpenAI הוחרם דרך הזרקת בקשה באמצעות דוא"ל, מה שאפשר גישה לנתונים של Google Drive המחוברים.

נמצא שסטודיו Copilot של Microsoft מזיף מסדי נתונים של CRM, עם יותר מ-3,000 סוכנים פגיעים שהוזהו באינטרנט. פלטפורמת Einstein של Salesforce הותאמה לניתוב מחדש של תקשורת הלקוחות לחשבונות דוא"ל שנשלטים על ידי המתקיף.

בינתיים, ניתן היה להפוך את Gemini של Google ו-Copilot של Microsoft 365 לאיומים מבפנים, מסוגלים לגנוב שיחות רגישות ולהפיץ מידע שקרי.

בנוסף, הצליחו מחקרים לרמות את המלאך Gemini של Google כך שהוא שלט במכשירים חכמים לבית. הפריצה כיבתה את האורות, פתחה את התריסים, והפעילה מקירור ללא פקודות מהתושבים.

Zenity חשפה את ממצאיה, דבר שגרם לחברות מסוימות להוציא תיקונים. "אנו מעריכים את העבודה של Zenity באיתור ודיווח אחראי על השיטות האלו," אמר דובר Microsoft ל-Cybersecurity Dive. Microsoft הביעה כי ההתנהגות שדווחה "לא עובדת עוד" וכי לסוכני Copilot יש מנגנוני הגנה.

OpenAI אישרה שהיא תיקנה את ChatGPT ומריצה תוכנית פרסים למציאת באגים. Salesforce הכריזה שתיקנה את הבעיה שדווחה. Google אמרה שהיא הפעילה "הגנות משוכבת חדשות" והדגישה ש"יש חשיבות רבה לאסטרטגיה משוכבת של הגנה נגד התקפות של הזרקת הוראות", כפי שדווח על ידי Cybersecurity Dive.

הדוח מדגיש את החששות הביטחוניים המתרקמים כאשר סוכני AI הופכים להיות נפוצים יותר במקומות עבודה ומוענקת להם אמון לטפל במשימות רגישות.

בחקירה חדשה נוספת, דווח כי האקרים יכולים לגנוב מטבעות דיגיטאליים מסוכנים של Web3 AI על ידי הטמעת זיכרונות מזויפים שדורסים את ההגנות הרגילות.

הפגיעה באבטחה קיימת ב-ElizaOS ובפלטפורמות דומות שכן המתקיפים יכולים להשתמש בסוכנים שנפגעו כדי להעביר כספים בין פלטפורמות שונות. האופי הקבוע של עסקאות הבלוקצ'יין הופך את האפשרות לאחזר כספים שנגנבו לבלתי אפשרית. כלי חדש, CrAIBench, מטרתו לעזור למפתחים לחזק את ההגנות.