Таны AI төлбөрийн 80%-ийг модель биш бүрхүүл нь шатааж байна: "HarnessTax" судалгаа ил боллоо

Сүүлийн үед хөгжүүлэгчдийн дунд "Аль модель илүү сайн код бичиж байна вэ? Claude Fable уу, GPT-5.6 юу, эсвэл Kimi юу?" гэсэн маргаан тасардаггүй. Гэвч бид хамгийн чухал нэг зүйлийг мартаад байх шиг: Таны терминал дээр ажиллаж буй AI агент бол дан ганц LLM загвар биш юм. Моделийн цаана файл унших, терминал команд гүйцэтгэх, diff үүсгэх, контекстийг удирдах үүргийг хүлээдэг "Harness" (бүрхүүл буюу агент scaffold) ажиллаж байдаг.

Arena AI болон UC Berkeley-ийн судалгааны баг 7 тэргүүлэх модель болон хамгийн түгээмэл 3 harness (Claude Code, OpenAI Codex CLI, Pi)-ийг хамруулан нийт 21 хослолоор туршилт хийсэн "HarnessTax" нэртэй цоо шинэ судалгаагаа дэлгэлээ. Тэдний илрүүлсэн үр дүн AI инженерчлэлийн талаарх бидний төсөөллийг бүхэлд нь өөрчилж байна.

"Амжилт нь яг ижил, гэтэл төлбөр нь 5 дахин зөрүүтэй"

Судлаачид программ хангамжийн бодит засвар хийх чадварыг шалгадаг SWE-bench Lite болон shell орчинд ажиллах чадварыг хэмждэг Terminal-Bench 2.0 дээр уг 21 хослолыг нарийн тестэлжээ.

Гэтэл гарсан үр дүн маш сонирхолтой:

1. Амжилтын хувьд бүрхүүл бараг нөлөөлөөгүй: Нэг моделийг өөр өөр harness дээр тавихад даалгавар амжилттай биелүүлэх хувь SWE-bench Lite дээр ердөө ±2%, Terminal-Bench дээр ±5%-ийн хооронд л хэлбэлзсэн байна.
2. Зардал буюу Token consumption тэнгэр газар шиг зөрсөн: Яг адилхан үр дүнд хүрэхийн тулд зарим бүрхүүл бусдаасаа 5 дахин (500%) илүү token зарцуулж байв.

Жишээ нь, туршилтад орсон тэргүүлэх модель аль ч harness дээр 96-97%-ийн амжилт үзүүлсэн боловч, албан ёсны нүсэр бүрхүүл дээр ажиллахдаа хөнгөн бүрхүүлээс даруй 2 дахин өндөр өртгөөр тухайн даалгаврыг гүйцэтгэсэн байна. Энэхүү бүтээмж нэмэхгүй мөртлөө төсөв цөлмөж буй контекстийн илүүдлийг судлаачид "Harness Tax" (Бүрхүүлийн татвар) гэж нэрлэжээ.

Үйлдвэрлэгчийн өөрийнх нь бүрхүүл хамгийн шилдэг нь биш

Хөгжүүлэгчид ихэвчлэн "Anthropic-ийн моделийг Claude Code дээр, OpenAI-ийн моделийг Codex дээр л ашиглах нь хамгийн өндөр үр ашигтай" гэж үздэг. Гэтэл бодит туршилтаар 21 хослолын 9-д нь тухайн загвар өөрийн үндсэн бүрхүүлээсээ өөр, гуравдагч бүрхүүл дээр илүү бага зардлаар, илүү өндөр үр дүн үзүүлжээ.

Тэгвэл энэ үл үзэгдэгч "татвар"-ыг юу бий болгоод байна вэ?

• Нүсэр System Prompt ба Tool Definition: Арилжааны томоохон кодинг агентууд хэрэглэгчийн санамсаргүй алдаанаас сэргийлэх нэрийдлээр хүсэлт бүрийн эхэнд асар урт санамж, хэдэн арван хэрэгслийн (tool schema) схемийг чихдэг.
• Context Management-ийн дутагдал: Олон ээлжит (multi-turn) харилцаанд өмнөх алхмуудын shell гаралтууд болон файлын агуулгыг ухаалгаар хураангуйлахгүйгээр түүхийг бүхэлд нь context window руу дахин дахин түлхдэг.
• Sub-agent-ийн хэт оролцоо: Жижиг даалгаварт хүртэл тусдаа төлөвлөгч, судлаач дэд агентуудыг дуудаж, ижил төстэй контекстийг давхардуулан хуулдаг.

Үүний эсрэгээр нээлттэй эхийн, минималист бүтэцтэй Pi зэрэг хөнгөн жинтэй harness-ууд нь зөвхөн тухайн цаг мөчид шаардлагатай файлын зөрүү (diff) болон командыг загварт дамжуулснаар Pareto-гийн хамгийн оновчтой цэгт (хамгийн бага өртгөөр хамгийн өндөр үр дүн) хүрч чадсан байна.

Хөгжүүлэгч бидэнд энэ нь ямар сургамж өгөх вэ?

Энэхүү судалгаа нь өдөр тутмын ажилдаа AI ашигладаг болон өөрсдөө AI agent, workflow бүтээж буй инженерүүдэд хэд хэдэн чухал дохиог өгч байна:

1. Модель солихоос өмнө бүрхүүлээ хэмж: Хэрэв танай багийн AI API-ийн төлбөр хяналтаас гарч байгаа бол шалтгаан нь модель биш, харин тухайн моделийг хүрээлж буй кодын систем prompt, tool calling логик байх магадлал өндөр.
2. "Tool Bloat"-оос зайлсхий: Агентад хэрэг болох бүх хэрэгслийг нэг дор өгөх нь context-ийг үр дүнгүй тэлдэг. Хэрэгслүүдийг зөвхөн тухайн даалгаврын үе шатанд динамикаар илгээх нь token-ийг хэмнэнэ.
3. Хэт баглаатай CLI хэрэгслүүдэд сохроор бүү итгэ: Арилжааны компаниудын CLI хэрэгслүүд нь хэрэглэгчийг олон token шатаахад хүргэхүйц архитектуртай байж болох тул өөрсдийн CI/CD болон ажлын урсгалд нээлттэй эхийн, хөнгөн жинтэй harness-уудыг туршиж үзэх хэрэгтэй.

Ухаалаг модель чухал ч, түүнийг хэрхэн залж залах бүрхүүлийн инженерчлэл төсөв болон үр ашгийг жинхэнэ утгаар нь тодорхойлдог цаг үе иржээ.

Эх сурвалж: Arena AI & UC Berkeley Research (harnesstax.github.io)