חברת האבטחה PromptArmor פרסמה ניתוח של חולשה בסוכן AI ארגוני שמחובר למערכות ניהול המשימות והידע של הארגון. שיטת התקיפה לא דורשת פריצה, אלא מסמך.
התוקף מכין קובץ שנראה תמים לחלוטין, ומטמין בתוכו הוראות בטקסט לבן על רקע לבן בגודל נקודה אחת, כזה שאף אדם לא יבחין בו. המשתמש מעלה את הקובץ ומבקש מהסוכן משימה שגרתית, למשל לסדר לו את המשימות הפתוחות. הסוכן קורא את המסמך, מקבל את ההוראות המוסתרות כאילו הגיעו מהמשתמש, אוסף את המידע הפנימי שהתבקש, בונה כתובת אינטרנט שהמידע משורשר לתוכה, ופונה אליה. המידע נוחת אצל התוקף.
לפי החברה, התהליך לא דורש אישור מהמשתמש ולא משאיר סימן גלוי בשיחה. הפריטים שדלפו כללו כרטיסי משימות מלאים על תיאוריהם והשיוכים שלהם, וגם מסמכים פנימיים כמו נהלי קליטה ותיאורי ארכיטקטורה. כיבוי החיפוש באינטרנט ברמת הארגון לא עוזר, כי הוא מסיר את יכולת החיפוש אבל לא את היכולת של הסוכן לפתוח כתובת. גם קבצים שהמשתמש מעלה אינם המקור היחיד: פניות תמיכה, תוכן מהרשת ומידע שמגיע דרך חיבורים לשירותים חיצוניים יכולים לשמש בדיוק באותו אופן. החברה מדווחת שדיווחה על הממצאים ב-23 במאי, קיבלה מספר פנייה כעבור יומיים, ולא קיבלה מענה מאז למרות שתי תזכורות.
מה זה אומר לעסק שלך
זה לא באג של מוצר אחד. זה מאפיין של האופן שבו סוכנים עובדים: הם לא מבדילים בין תוכן שהם קוראים לבין הוראה שהם מקבלים. ברגע שסוכן יכול גם לקרוא את המידע הפנימי שלכם וגם לפנות החוצה, שני הדברים האלה יחד הם החשיפה, לא כל אחד לחוד. לפני שמחברים סוכן למערכות של העסק, כדאי לענות על שלוש שאלות: מה בדיוק הוא רשאי לקרוא, לאן הוא רשאי לפנות, ואיפה עומד אדם באמצע. מערכת שבנויה נכון מגדירה את שלוש התשובות מראש, במקום לגלות אותן דרך קובץ שמישהו שלח.