Anthropic уламжлалт Tool Calling-ийг халлаа: Токен зарцуулалтыг 85% бууруулах "Programmatic Tool Calling" ба Tool Search архитектур

AI агентуудыг бодит амьдрал дээр нэвтрүүлэхэд тулгардаг хамгийн том бэрхшээлүүдийн нэг бол хэт олон багаж (tools/APIs) болон завсрын өгөгдлөөс үүдэлтэй контекст цонхны чихэлдэлт (context bloat) юм. Хэрэв таны агент 20-30 тусдаа MCP (Model Context Protocol) сервер эсвэл API холболттой бол хэрэглэгч ганц үг бичихээс өмнө бүх функцын JSON schema тодорхойлолтууд 50,000+ токен залгичихдаг байв.

Anthropic энэхүү асуудлыг сууриар нь шийдвэрлэх дэвшилтэт хандлага болох Programmatic Tool Calling (PTC) болон Tool Search Tool бүтцийг албан ёсоор дэлгэлээ. Энэ нь уламжлалт JSON суурьтай tool-calling загварыг бүрэн өөрчилж, агентуудын токен зарцуулалтыг 85%-98% хүртэл хэмнэх боломжийг олгож байна.

1. Уламжлалт Tool Calling яагаад мухардмал байдалд орсон бэ?

Өнөөг хүртэл хөгжүүлэгчид LLM-д суурилсан агентууд бүтээхдээ Function Calling буюу JSON schema дамжуулах аргыг ашиглаж ирсэн. Гэвч уг арга барил нь том хэмжээний системүүдэд хоёр үндсэн гацаа үүсгэдэг:

Static Schema Overhead (Context Bloat): Агентад шаардлагатай байж болох бүх функцын нэр, параметр, тайлбарыг System Prompt болон Request бүрт эхнээс нь бүрэн ачаалдаг.
Intermediate Result Pollution & Latency: Хэрэв агент жагсаалт дотроос тодорхой мэдээлэл хайхын тулд API-ийг 10 удаа давталттай (loop) дуудах шаардлага гарвал, дуудалт бүр тусдаа LLM inference шаардаж, дундын асар том JSON үр дүнгүүд контекст рүү хадгалагдсаар санах ойг бохирдуулдаг.

Үүний үр дүнд агент удааширч, өндөр өртөгтэй болоод зогсохгүй, контекст дүүрснээс үүдэн хий юм харах (hallucination), буруу багаж сонгох магадлал эрс өсдөг байв.

2. Tool Search Tool: Хэрэгтэй багажаа "Lazy Loading" хийх нь

Anthropic-ийн танилцуулсан эхний гол шинэчлэл бол Tool Search Tool юм. Энэ нь бүх багажийн схемийг prompt-д урьдчилан чихэхийн оронд багажуудыг defer_loading: true төлөвт шилжүүлж, агент зөвхөн тухайн даалгаварт шаардлагатай багажаа семантик хайлтаар dynamic байдлаар олж ирэх зарчим юм.

Хэмнэлт: MCP серверүүд болон нэмэлт өргөтгөлүүдийн тодорхойлолтод зарцуулагддаг байсан 70,000+ токеныг 8,000 орчим болгож 85%-иар бууруулна.
Хурд ба Нарийвчлал: Агент олон зуун багаж дундаас төөрөхгүй, тухайн алхамд хамааралтай 1-2 багажийн бүрэн схемийг дуудаж авснаар даалгавар биелүүлэлтийн нарийвчлал 49%-иас 88% хүртэл өссөн туршилтын дүн гарчээ.

3. Programmatic Tool Calling (PTC): JSON-оос "Код Гүйцэтгэл" рүү

Хоёр дахь бөгөөд хамгийн хүчирхэг шийдэл нь Programmatic Tool Calling (PTC) юм. Уламжлалт аргаар олон API-г тус бүрчлэн LLM inference-ээр дамжуулан дууддаг байсан бол PTC нь загварт тусгаарлагдсан Code Execution Sandbox (жишээ нь тусгаарлагдсан Python орчин) дотор богино хэмжээний скрипт бичиж ажиллуулах эрхийг олгодог.

Жишээ хувилбар:

Хэрэв компани 20 ажилтны зардлын тайланг тус тусад нь шалгах хэрэгтэй бол:

Хуучин арга: LLM 20 удаа round-trip хүсэлт илгээнэ. 20 удаагийн том хэмжээний JSON хариу бүгд контекст цонх руу бичигдэж, 70,000+ токен үрнэ.
PTC арга: Claude шууд Python скрипт бичиж, for user in users: fetch_expense(user) маягаар давталт хийнэ. Сэндбокс дотор өгөгдлийг шүүж (filter), нэгтгэн (aggregate) зөвхөн эцсийн ганц товч тайланг л контекст цонхонд буцаана.

# Загвар өөрөө сэндбокс дотор үүсгэн ажиллуулах логик жишээ
import api_client

total_budget = 0
violations = []

for employee in team_members:
    expenses = api_client.get_expenses(employee.id)
    for item in expenses:
        if item.amount > 500:
            violations.append(f"{employee.name}: {item.description} (${item.amount})")

# Зөвхөн хэрэгцээт үр дүнг Context-рүү буцаана
print(f"Зөрчил илэрсэн: {violations}")

Энэхүү шийдэл нь завсрын өгөгдлийн "дуу чимээ"-г бүрэн арилгаж, нийт token latency болон зарцуулалтыг огцом бууруулдаг.

4. Хөгжүүлэгчдэд өгөх бодит үр ашиг

Эдийн засгийн бодит хэмнэлт: LLM inference-ийн зардлын ихэнх хувийг давтан уншигдах урт контекст, шаардлагагүй завсрын JSON өгөгдөл эзэлдэг. PTC нь токен хэрэглээг олон тохиолдолд 90%+ хэмнэж чадна.
Infinite MCP Scalability: Агентууд системд 100, 1000 ширхэг MCP tool холбогдсон байсан ч өөрт хэрэгтэйг олоод код дотроо зохион байгуулах боломжтой болж байна.
Хяналт ба Аюулгүй байдал: Сэндбокс дотор ажиллах тул API key, credentials зэрэг нууцлал бүхий өгөгдлийг шууд prompt context-д ил гаргахгүй, Tool Bridge архитектураар аюулгүй удирдана.

Дүгнэлт

AI салбар "илүү том загвар" гаргахаас гадна "илүү ухаалаг инженерийн архитектур" руу эрс шилжиж байна. Anthropic-ийн дэвшүүлж буй Programmatic Tool Calling болон Dynamic Tool Discovery нь AI агентуудыг бодит enterprise түвшний дэд бүтцэд үр ашигтай, хурдан, найдвартай ажиллах стандартыг шинэ шатанд гаргалаа.

Эх сурвалж: Anthropic Engineering Platform Docs, Basanta Sapkota (Medium Tech Analysis), Claude Developer Release Notes.