./research / token-efficient-agents
การลดต้นทุนโทเคนของเอเจนต์ที่ทำงานยาวนาน.
เอเจนต์ใช้โทเคนส่วนใหญ่ไปกับการอ่านบริบทที่เคยเห็นแล้วซ้ำอีก ทั้งคำสั่งเดิม ข้อเท็จจริงของบริษัทเดิม และประวัติเดิม ในทุกการเรียก เรากำลังศึกษาว่าการแคช การบีบอัดบริบท และความรู้ที่คอมไพล์ไว้ล่วงหน้าจะช่วยลดต้นทุนส่วนเพิ่มของหนึ่งสเต็ปของเอเจนต์ได้มากเพียงใดโดยไม่ทำให้คุณภาพการตัดสินใจแย่ลง
คำถาม
เอเจนต์ที่ทำงานทั้งวันจะส่งบริบทที่แทบเหมือนเดิมซ้ำหลายร้อยครั้ง และจ่ายเต็มราคาทุกครั้งที่เรียก เราจะกดต้นทุนโทเคนส่วนเพิ่มของหนึ่งสเต็ปของเอเจนต์ลงได้ต่ำเพียงใด ด้วยวินัยของแคชพรอมป์ต์ การบีบอัดบริบทอย่างเข้มข้น และความรู้ที่คอมไพล์ไว้ล่วงหน้าเป็นรูปแบบที่รันได้อย่างกระชับ ก่อนที่คุณภาพการตัดสินใจจะลดลงจนวัดได้
ทำไมจึงสำคัญ
การใช้จ่ายโทเคนคือเส้นแบ่งระหว่างเอเจนต์ที่ถูกกว่างานที่มันเข้าไปแทนที่ กับเอเจนต์ที่ไม่เป็นเช่นนั้น การนำไปใช้ส่วนใหญ่ล้มเหลวที่เศรษฐศาสตร์ต่อหน่วย ไม่ใช่ที่ความสามารถ ถ้าสเต็ปที่มีต้นทุนเท่ากับการอ่านบริบทเต็มถูกทำให้เหลือเพียงเศษเสี้ยวของมัน งานอัตโนมัติแบบเปิดตลอดเวลาทั้งหมวดหมู่ก็เลิกเป็นของฟุ่มเฟือย และกลายเป็นทางเลือกที่เห็นได้ชัด
เรากำลังทำอะไร
เราสำรวจว่าภาระงานจริงของเอเจนต์ใช้โทเคนไปกับอะไรจริง ๆ แล้วจึงจัดการกับรายการใหญ่ ๆ ก่อน ได้แก่ จัดโครงสร้างพรอมป์ตให้แคชยังคงเข้าเป้าข้ามรอบการสนทนา บีบอัดประวัติให้เป็นสถานะที่โมเดลเชื่อถือได้แทนบันทึกดิบ และคอมไพล์ความรู้ที่นิ่งแล้วของบริษัทเพียงครั้งเดียวลงในไฟล์ทักษะ เพื่อไม่ต้องอธิบายซ้ำทุกการเรียก ทุกเทคนิคถูกให้คะแนนด้วยวิธีเดียวกัน คือโทเคนที่ประหยัดได้ต่อสเต็ปเทียบกับความสำเร็จของงาน โดยบันทึกรูปแบบความล้มเหลวอย่างพิถีพิถันเท่ากับที่บันทึกความสำเร็จ