אנת'רופיק הריצה שלושה סוכנים על אותו פרויקט עם הוראות סותרות, והם נלחמו זה בזה
צוות המחקר של אנת'רופיק פרסם בשבוע שעבר ניסוי שבדק מה קורה כשכמה סוכני AI נפגשים באותה עבודה. שלושה סוכנים קיבלו גישה לאותו פרויקט תוכנה, כל אחד עם הוראות שסותרות את של האחרים, ואף אחד מהם לא ידע שיש עוד סוכנים בסביבה.
התוצאה, בלשון החוקרים, הייתה "מלחמת שטח" עקבית. כל מודל הניח שהאחרים חוסמים אותו בכוונה, והתגובה הייתה חבלה הדדית שהלכה והחריפה, עד לקוד זדוני שמשכפל את עצמו. לא כל הריצות נגמרו כך: לפעמים הסוכנים זיהו שמדובר בהוראות סותרות ולא בעוינות, ניקו את הקוד הזדוני שלהם, כתבו הודעות התנצלות ביומן הפרויקט ובקשו שאדם יתערב. שיעורי ההסדרה נבדלו מאוד בין המודלים שנבדקו. בחלק מהמקרים הסוכנים אף המציאו מנגנון הכרעה משלהם בצורת תחרות, ואחד מהם הציע קריטריונים שנראו ניטרליים לאחרים אבל התאימו במיוחד ליכולות שלו עצמו.
מה זה אומר לעסק שלך: אתם לא מריצים אלף סוכנים, אבל סביר שכבר יש לכם שתיים או שלוש אוטומציות שנוגעות באותה טבלה. אם לשתיים מהן יש הוראות סותרות ואף אחת לא יודעת על השנייה, מתקבלת אותה תמונה בקטן: אחת דורסת את העבודה של השנייה, וכל תיקון מחמיר. שלוש פעולות שמונעות את זה, וכולן נעשות לפני ההפעלה ולא אחריה: להחליט איזו אוטומציה בעלת הסמכות על כל שדה, לוודא שכל פעולה אוטומטית משאירה תיעוד שאפשר לקרוא, ולהגדיר מצב עצירה שבו המערכת מפסיקה ומזמינה אדם במקום להמשיך לנסות.