./research / token-efficient-agents
Uzun süre çalışan ajanların token maliyetini azaltmak.
Ajanlar tokenlarının çoğunu daha önce gördükleri bağlamı yeniden okumaya harcar: aynı talimatlar, aynı şirket bilgileri, aynı geçmiş, her çağrıda. Önbelleğe alma, bağlam sıkıştırma ve önceden derlenmiş bilginin, kararları bozmadan bir ajan adımının marjinal maliyetini nereye kadar düşürebileceğini araştırıyoruz.
Soru
Gün boyu çalışan bir ajan, neredeyse aynı bağlamı yüzlerce kez yeniden gönderir ve her çağrıda tam bedelini öder. İstem önbelleği disiplini, agresif bağlam sıkıştırma ve derli toplu yürütülebilir biçime önceden derlenmiş bilgi sayesinde, karar kalitesi ölçülebilir biçimde bozulmadan önce bir ajan adımının marjinal token maliyeti nereye kadar indirilebilir?
Neden önemli
Token harcaması, bir ajanın yerine geçtiği işten daha ucuz olup olmadığını belirler. Çoğu dağıtım yetenekte değil, birim ekonomisinde başarısız olur. Tam bir bağlam okumasına mal olan bir adım bunun küçük bir kesrine indirilebilirse, sürekli açık otomasyonun bütün kategorileri lüks olmaktan çıkıp bariz bir tercihe dönüşür.
Ne yapıyoruz
Önce gerçek ajan iş yüklerinin tokenları asıl nerede harcadığını çıkarıyor, sonra en büyük kalemlere yükleniyoruz: istemleri, önbellek turlar arası isabet etmeye devam edecek şekilde yapılandırmak; geçmişi ham dökümler yerine modelin güvenebileceği bir duruma sıkıştırmak; şirketin durağan bilgisini bir kez beceri dosyalarına derleyip her çağrıda yeniden anlatmamak. Her teknik aynı ölçütle puanlanır: adım başına tasarruf edilen token, görev başarısına karşı; başarısızlık biçimleri de kazanımlar kadar özenle belgelenir.