AI Агент Кодингийн Өртөг Тэнгэрт Хадаж Байна: Databricks-ийн "Efficiency Frontier" ба Зардлыг 90% Бууруулах Стратеги

Databricks компани өөрийн инженерийн блог дээр "Managing AI Coding Costs at Scale" тайланг нийтэллээ. Сүүлийн хугацаанд бие даан ажилладаг кодинг агентууд (Agentic Coding) програм хангамж хөгжүүлэлтийн салбарыг орвонгоор нь эргүүлж, хөгжүүлэгчдийн бүтээмж болон кодын гарцыг хэд дахин өсгөсөн билээ. Гэвч яг одоо технологийн компаниудад нэгэн адил томоохон асуудал тулгарч байна: AI платформ ба токений асар их зардал.

Инженерүүд өдөржин кодинг агент (Claude Code, Codex, Custom Agents) ажиллуулах үед компаниудын AI хэрэглээний төлбөр дэд бүтцийн зардлаас ч давж эхэлжээ. Databricks-ийн инженерийн баг энэхүү санхүүгийн асуудлыг хэрхэн "Efficiency Frontier" болон загвар чиглүүлэлтийн (Dynamic Routing) архитектураар шийдэж, зардлыг кодын чанараа алдуулахгүйгээр 90% хүртэл бууруулснаа хуваалцлаа.

Асуудлын гол: Prompt бус Pull Request түвшний асар том зардал

Агент кодинг нь энгийн чатбот ашиглахаас тэс өөр. Энгийн асуултад хэдхэн зуун токен зарцуулдаг бол бие даан ажиллах AI агент (Agentic Workflow) нь:

Кодын сангийн (codebase) олон арван файлыг уншиж контекст үүсгэх,
Шинэ код бичих ба засах,
Орчинд тест ажиллуулж алдаа гарвал өөрөө засах (Agent Loop),
PR (Pull Request) тайлбар бичих зэрэг олон үе шаттай ажилладаг.

Ингэснээр ганцхан Pull Request үүсгэхэд хэдэн зуун мянгаас сая сая токен эргэлддэг. Зарим тохиолдолд нэг хөгжүүлэгч өдөрт $80–$100 долларын AI токен зарцуулах эрсдэлтэй болдог. Хэрэв байгууллага зургаан зуун инженертэй бол сарын AI кодинг төлбөр хэдэн зуун мянган долларт хүрч, AI-аас авч буй ROI буюу бүтээмжийн ашгийг бүхэлд нь залгих аюултай.

Тиймээс зардлыг нэг асуулт/prompt түвшинд биш, Pull Request болон Workflow түвшинд хэмжиж, хяналт тавих шаардлага үүсэж байна.

"Intelligence Frontier" vs "Efficiency Frontier"

Олон хөгжүүлэгчид кодинг агент тохируулахдаа автоматаар хамгийн сүүлийн үеийн, хамгийн үнэтэй "Frontier" загваруудыг сонгон ажиллуулдаг. Энэ нь чанарыг хангах мэт санагдавч санхүүгийн хувьд туйлын ашиггүй.

Databricks-ийн судалснаар, өдөр тутмын програм хөгжүүлэлтийн 80 орчим хувь нь шинэ математикийн алгоритм зохиох эсвэл кибер аюулгүй байдлын шинэ халдлагаас хамгаалах нарийн бодолт шаарддаггүй. Энэ нь CRUD API бичих, стандарт unit test бэлдэх, рефакторинг хийх, boilerplate код боловсруулах зэрэг давтагддаг стандарт даалгаврууд байдаг.

Энэ даалгавруудад "Intelligence Frontier" буюу хамгийн сүүлийн үеийн гигант загвар ашиглахын оронд "Efficiency Frontier" буюу нэгж үнэндээ хамгийн өндөр чанар үзүүлж чадах дунд ба бага хэмжээтэй open-source (жишээ нь DeepSeek, Llama, Qwen) эсвэл тусгайлан fine-tune хийсэн загваруудыг сонгох нь зардлыг 5-10 дахин бууруулдаг.

Дотоод Benchmark (Evals) ба Dynamic Model Routing

Загварыг хямд загвараар солихдоо кодын чанарыг унагахгүйн тулд Databricks дараах хоёр гол туршлагыг нэвтрүүлжээ:

Байгууллагын дотоод Eval Suite: HumanEval эсвэл SWE-bench зэрэг нийтийн бенчмаркууд тухайн компанийн тусгай архитектур, кодын стандартыг тусгаж чаддаггүй. Иймд өөрсдийн кодын сан дээр автоматаар ажилладаг internal evaluation тестүүдийг бэлдсэн. Хямд загвар ирсэн кодыг амжилттай пасс хийж чадаж байвал тэр загварыг тухайн даалгаварт үйлдвэрлэлд ашиглана.
Динамик чиглүүлэлт (Dynamic Routing): Агентын ажиллах оркестрацид олон загварыг зэрэг ашиглана.
- Контекст цуглуулах & Файл унших: Асар хямд бөгөөд урт контекстийн цонхтой (Context Window) загварууд дээр ажиллана.
- Код засах & Тест засах: "Efficiency Frontier" дээрх дунд шатны кодинг загварууд бичнэ.
- Архитектурын шийдвэр & Төвөгтэй шинжилгээ: Зөвхөн шаардлагатай үед "Frontier" гигант загварыг дуудна.

Enterprise Засаглал: Unity AI Gateway & Budget Control

Зардлыг хянах сүүлчийн чухал багана бол засаглал (governance) юм. Databricks өөрсдийн Unity AI Gateway систем дээр зардлын лимит болон төсвийн хяналтыг (Budget Caps) нэвтрүүлжээ.

Инженер, баг, төсөл бүрээр сарын AI токений төсвийг хуваарилна.
Загвар бүрийн зардлыг PR-ийн метадататай холбон мөшгөнө.
Кодын автомат чанарын шалгалт (Automated Guardrails)-ийг CI/CD дээр суулгаж, хиймэл оюуны үүсгэсэн чанаргүй код human review-д саатал үүсгэхээс сэргийлнэ.

Дүгнэлт ба Хөгжүүлэгчид өгөх зөвлөмж

AI кодинг агентууд програм хангамжийн салбарыг хурдасгаж байгаа ч компаниудын хувьд санхүүгийн сахилга бат хамгийн чухал асуудал боллоо. Код бичих зардал صفر рүү тэмүүлж байгаа ч түүнийг ажиллуулах, шалгах, оркестраци хийх зардал өссөөр байна.

Монголын хөгжүүлэгчид болон стартапуудын хувьд ч мөн адил ганцхан үнэтэй API key ашиглахаас татгалзаж:

Агентын даалгавруудыг жижиглэн хуваах,
Хямд бөгөөд чанартай open-source загваруудыг тусгай даалгаварт хуваарилах,
Загваруудын зардлыг багтаа тохируулан оновчлох (Dynamic Routing) архитектурыг туршиж эхлэхийг зөвлөж байна.

Эх сурвалж: Databricks Engineering Blog: Managing AI Coding Costs at Scale