המחיר לטוקן יורד, החשבון על סוכני AI דווקא עולה
מאמר ב-Forbes מאת ג'נאקירם MSV מציף פער שכדאי להכיר: המחיר לטוקן אצל ספקי המודלים יורד כל הזמן, אבל החשבון החודשי על מערכות AI שבאמת עובדות רק גדל.
ההסבר פשוט. צ'אט רגיל שולח שאלה ומקבל תשובה. סוכן AI שמבצע משימה עובד אחרת לגמרי: הוא מתכנן, מחפש מידע, מפעיל כלים, בודק את עצמו ומנסה שוב כשהוא נכשל. כל שלב כזה צורך טוקנים. המאמר ממחיש את החשבון בתרחיש פשוט: אם צריכת הטוקנים עולה פי 20 בזמן שהמחיר ליחידה יורד ב-75 אחוז, ההוצאה הכוללת עדיין גדלה פי 5. גולדמן זקס צופה שצריכת הטוקנים בעולם תגדל פי 24 בין 2026 ל-2030.
יש גם עלויות שכלל אינן מופיעות בתמחור המודל: חיפוש ואחזור מידע, אחסון, הרצת קוד, ניטור ובדיקה אנושית.
מה זה אומר לעסק שלך: המספר שחשוב הוא לא המחיר לטוקן אלא העלות למשימה שהושלמה בהצלחה. המאמר נותן דוגמה חדה: מודל זול שפותר 40 אחוז מהפניות ודורש ניסיונות חוזרים יוצא יקר יותר ממודל יקר שפותר 90 אחוז כבר בניסיון הראשון. לכן שווה להשקיע דווקא בהגדרה מדויקת של התהליך ובחיבור למידע האמיתי של העסק. מערכת שפוגעת בול בפעם הראשונה זולה בהרבה ממערכת שמנסה חמש פעמים.