חוקרים משתלטים על גוגל ג'מיני AI כדי לשלוט במכשירים חכמים לבית

מחקרים הצליחו להונות את מערכת ה-Gemini AI של גוגל לחוות פריצת אבטחה דרך הזמנה ללוח שנה מזויפת, ולשלוט מרחוק במכשירים ביתיים.

בהדגמה ראשונה מסוגה, חוקרים הצליחו לפגוע במערכת ה-Gemini AI של גוגל דרך הזמנה ללוח השנה המרושע, שאפשרה להם להפעיל מכשירים ממשיים כולל מנורות, תריסים וקומקומים.

WIRED, שדיווחה ראשונה את המחקר הזה, מתארת איך התאורה החכמה בדירה בתל אביב נכבתה אוטומטית, בעוד שהתריסים עלו באופן אוטומטי והדוד הופעל, למרות שלא היו פקודות מהתושבים.

מערכת הAI גמיני הפעילה את המנגנון לאחר שקיבלה בקשה לסכם אירועים ביומן. פונקציה מוסתרת של הזרקה בעקיפין של הצעה פעלה בתוך ההזמנה כדי לשלוט בהתנהגות מערכת הAI.

כל אחת מפעולות המכשירים נקלטה על ידי חוקרי האבטחה בן נסי מאוניברסיטת תל אביב, סתיו כהן מהטכניון, ואור יאיר מ-SafeBreach. "מודלים של מיקום תלת-ממדיים (LLMs) הולכים ומשתלבים בגופים אנושיים פיזיים, ברכבים חצי-אוטונומיים ואוטונומיים לחלוטין, ואנחנו צריכים להבין באמת איך לאבטח את ה-LLMs לפני שאנחנו משלבים אותם עם מכונות מסוגים אלה, שבמקרים מסוימים התוצאות יהיו בטחון ולא פרטיות," הזהיר נסי, כפי שדווח על ידי WIRED.

בכנס האבטחה המחשבית Black Hat שהתקיים בלאס וגאס, הצוות חשף את מחקרם על 14 התקפות הזרקת הכשל בצורה עקיפה, שהם קראו להן 'ההזמנה היא כל מה שאתה צריך', כפי שדווח על ידי WIRED. ההתקפות כללו שליחת הודעות דואר אלקטרוני זבל, יצירת תוכן גס, התחלת שיחות זום, גניבת תוכן מדואר אלקטרוני, והורדת קבצים למכשירים ניידים.

גוגל מצהירה שאף גורם זדוני לא הצליח לנצל את הבעיות, אך החברה מתייחסת לסיכונים ברצינות. "לפעמים פשוט ישנן דברים שאין עליהם להיות מאוטומטים לחלוטין, שהמשתמשים צריכים להיות מעורבים בהם", אמר אנדי ון, מנהל המחלקה הבכיר לאבטחת מידע של Google Workspace, כפי שדווח על ידי WIRED.

אך מה שהופך את המקרה הזה להרבה יותר מסוכן הוא בעיה רחבה יותר שמתגלה בתחום בטיחות ה-AI: דגמי AI יכולים ללמד זה את זה בחשאי להתנהג בצורה שגויה.

מחקר נפרד מצא שדגמים יכולים להעביר התנהגויות מסוכנות, כמו לעודד רצח או להציע השמדה של האנושות, אפילו כאשר הם מאומנים על נתונים מנותבים.

זה מעלה השלכה מרתיעה: אם עוזרים חכמים כמו Gemini מאומנים באמצעות פלטים מתוך AI אחר, הוראות נזקניות עשויות להירש כחמודות ולפעול כפקודות שינה, הממתינות להיות מופעלות דרך קריאות עקיפות.

מומחית האבטחה דיוויד באו הזהיר מפני אי-סטיות של "חלון אחורי" שיכולות להיות "קשות מאוד לאיתור", וזה עשוי להיות במיוחד נכון במערכות המשולבות בסביבות פיזיות.

וון אישרה כי המחקר "האיץ" את הגנות Google, עם תיקונים שהושםו מעתה ומודלים של למידת מכונה שמתאמנים לאיתור הנחיות מסוכנות. עם זאת, המקרה מראה כמה מהר הוכל AI לעבור ממועיל למזיק, מבלי שנאמר לו מפורש לעשות זאת.