מחקר ישראלי: ה-AI ממציא שמות של רכיבי קוד, ותוקפים רושמים אותם מראש
חוקרים מאוניברסיטת תל אביב, מהטכניון ומאינטויט פרסמו מחקר שמראה עד כמה ההזיות של מודלי קוד צפויות. כשמבקשים ממודל להביא רכיב חיצוני, הוא ממציא לפעמים שם של חבילה או מאגר שלא קיים, ואת אותו שם בדיוק הוא ממציא שוב ושוב: עד 85% מהמקרים בבקשות למאגרי קוד, ו-100% בהתקנת יכולות לסוכן. הבדיקה נעשתה על שישה כלי פיתוח מבוססי AI, ביניהם Cursor, GitHub Copilot ו-Windsurf. שם שחוזר על עצמו הוא שם שתוקף יכול לרשום מראש ולחכות.
זה כבר קרה בשטח. בינואר תפס חוקר אבטחה חבילת קוד מומצאת שסוכני AI ניסו להתקין ב-237 פרויקטים, ורשם אותה בעצמו כדי שלא תיפול לידיים אחרות. ביוני זיהתה יחידת המחקר של פאלו אלטו כ-250 אלף כתובות אינטרנט שמודלים ממציאים בצורה צפויה. ההמלצה של החוקרים פשוטה: לוודא שהרכיב קיים לפני שמורידים אותו, ולא לאפשר לסוכן להריץ התקנות אוטומטית בלי עצירה.
מה זה אומר לעסק שלך: כשמערכת נבנית בעזרת AI, אף אחד לא רואה בסוף אילו רכיבים חיצוניים נכנסו לתוכה. זה לא שיקול תיאורטי אלא שאלה אחת שכדאי לשאול את מי שבונה לכם: מי בדק מה הותקן כאן, ומאיפה זה הגיע. מערכת שעובדת ומערכת שאפשר לסמוך עליה הן לא אותו דבר.