./research / token-efficient-agents
הפחתת עלות הטוקנים של סוכנים ארוכי ריצה.
סוכנים שורפים את רוב הטוקנים שלהם על קריאה חוזרת של הקשר שכבר ראו: אותן הנחיות, אותן עובדות על החברה, אותה היסטוריה, בכל קריאה. אנחנו בוחנים עד כמה מטמון, דחיסת הקשר וידע שהודר מראש יכולים לקצץ בעלות השולית של צעד סוכן בלי לפגוע בהחלטותיו.
השאלה
סוכן שעובד יום שלם שולח מחדש הקשר כמעט זהה מאות פעמים, ומשלם עליו מחיר מלא בכל קריאה. עד כמה אפשר להוריד את העלות השולית בטוקנים של צעד סוכן, באמצעות משמעת מטמון של הנחיות, דחיסת הקשר אגרסיבית וידע שהודר מראש לצורה ניתנת להרצה וקומפקטית, לפני שאיכות ההחלטות יורדת במידה שאפשר למדוד?
למה זה חשוב
הוצאת הטוקנים היא ההבדל בין סוכן שזול מהעבודה שהוא מחליף לבין סוכן שאינו כזה. רוב הפריסות נכשלות על כלכלת היחידה, לא על היכולת. אם צעד שעולה קריאת הקשר מלאה יכול לעלות שבריר ממנה, קטגוריות שלמות של אוטומציה תמידית מפסיקות להיות מותרות והופכות לבחירה המתבקשת.
מה אנחנו עושים
אנחנו ממפים היכן עומסי סוכן אמיתיים באמת מוציאים את הטוקנים, ואז תוקפים את הסעיפים הגדולים: לבנות הנחיות כך שהמטמון ימשיך לפגוע בין תור לתור; לדחוס היסטוריה למצב שהמודל יכול לסמוך עליו במקום תמלולים גולמיים; להדר פעם אחת ידע יציב של החברה לקובצי מיומנויות כדי שלא יוסבר מחדש בכל קריאה. כל טכניקה נמדדת באותו אופן: טוקנים שנחסכו לכל צעד מול הצלחת המשימה, כשמצבי הכשל מתועדים באותה קפדנות כמו ההצלחות.