LLM-ээр If/Else хийдэг үе дууслаа: Microsoft агентуудад зориулсан 85мс хурдтай “Microsoft-Decision-1” загварыг танилцууллаа

LLM-ийн хамгийн том үргүй зардал юу байв?

Орчин үеийн программ хангамж, ялангуяа AI агент болон олон шатлалт RAG (Retrieval-Augmented Generation) архитектур хөгжүүлж буй инженерүүдэд нэгэн түгээмэл толгойны өвчин бий: Системийн дараагийн үйлдлийг сонгох (Intent Routing), хэрэглэгчийн оролт аюулгүй эсэхийг манах (Guardrails), эсвэл агентын сонгосон API call зөв эсэхийг баталгаажуулахын тулд аварга том LLM (Large Language Model) ашиглах нь хэтэрхий удаан бөгөөд зардал өндөртэй байдаг.

Бидэнд хэдэн догол мөр яруу найраг бичих чадвар огт хэрэггүй, ердөө л өгөгдсөн хэдэн хувилбараас нэгийг нь үнэн зөв сонгох энгийн логик хэрэгтэй байхад л уламжлалт хэлний загварууд үг үгээр нь (autoregressive token generation) хариу үүсгэж, 1-3 секундийн хоцролт (latency) үүсгэсээр ирсэн.

Microsoft өнөөдөр энэхүү асуудлыг үндсээр нь шийдвэрлэх цоо шинэ ангиллын систем болох Microsoft-Decision-1 загвараа албан ёсоор олон нийтэд дэлгэлээ.

"Decision Model" гэж юу вэ? Үүсгэгч AI-аас юугаараа ялгаатай вэ?

Уламжлалт LLM-үүд нь урьдчилан таамаглах аргагүй задгай текст бичихэд зориулагдсан байдаг бол Decision Model буюу "Шийдвэр гаргагч загвар" нь зөвхөн тодорхой хариултын хувилбаруудын хүрээнд бүтэцлэгдсэн магадлалын оноо (calibrated probability score) тооцоолоход зориулагджээ.

Энэ загварын гол зарчим:

Текст бичихгүй: Текст генерацийн процесс ажиллахгүй тул дараагийн токеныг дахин дахин уншиж тооцоолох шаардлагагүй.
Single-pass Scoring: Оролтын өгөгдлийг загварын сүлжээгээр нэг л удаа нэвтрүүлж (single inference pass), урьдчилан заасан сонголт бүрийн магадлалын хувийг шууд тодорхойлно.
Шууд програмчлагдах гаралт: Гаралт нь ямар нэгэн сул текст биш, харин программ хангамж шууд нөхцөл шалгаж хүлээн авах боломжтой JSON тоон утгууд байдаг.

Хэрэв та загварт "Энэ асуулт санхүүгийн хэлтэст хамаарах уу, техникийн дэмжлэг үү, эсвэл хүний нөөц үү?" гэж асуувал загвар нь эдгээр гурван сонголтын магадлалыг тус бүр 0-100 хувиар тооцоолж, нэг дор буцаана.

Техникийн үзүүлэлт: 85 миллисекундын хурд, Qwen3.5 суурь

Microsoft уг загварыг Alibaba-ийн нээлттэй жинтэй Qwen3.5-9B загвар дээр тулгуурлан өөрсдийн synthetic дата болон Open Data стандартад нийцсэн өгөгдлүүдээр нарийн post-training хийн бүтээжээ.

Context Window: 32,768 (32K) токен хүртэлх урттай баримт бичиг, өгөгдлийг хүлээн авах чадвартай.
Хоцролт (Latency): Загварын дундаж хоцролт (p50) ердөө 85 миллисекунд байна. Энэ нь уламжлалт том загварууд болох GPT-6 Sol-оос даруй 35 дахин хурдан, одоогийн шилдэг өрсөлдөгч болох H2O-Lightning-4B-ээс 2.5 дахин өндөр хурд юм.
Нарийвчлал ба Шалгалт (Calibration): Microsoft-оос явуулсан 150,000 орчим асуулт бүхий 36 бие даасан бенчмаркийн үр дүнгээр уг загвар 83.5%-ийн нарийвчлал үзүүлж, ангилалдаа тэргүүлжээ. Хамгийн чухал нь магадлалын тохируулга (calibration score) нь 92.2 оноо авсан бөгөөд энэ нь загвар 90% итгэлтэй байна гэж хэлбэл бодит байдал дээр 10 тохиолдлын 9-д нь яг зөв тааж байгааг илтгэнэ.

Үнийн загвар: Гаралтын токен ҮНЭГҮЙ

Агент бүтээгчдэд зориулсан хамгийн том сюрприз бол үнийн бодлого юм:

Input (Оролт): 1 сая оролтын токен бүрт ердөө $0.042 (OpenRouter болон Microsoft Foundry дээр).
Output (Гаралт): Бүрэн үнэгүй ($0.00).

Шалтгаан нь тодорхой: уг загвар гаралтын олон мянган токен үүсгэхэд GPU-ийн үнэт тооцооллын хүчийг үрдэггүй тул үйлчилгээ үзүүлэгч талаас гаралтын токены төлбөр авах шаардлагагүй болж буй хэрэг юм. Энэ нь олон агент нэгэн зэрэг холбогдсон томоохон системүүдийн дэд бүтцийн зардлыг бараг тэглэх боломж олгож байна.

Хөгжүүлэгчид үүнийг хаана ашиглах вэ?

Microsoft-Decision-1 загварыг дараах 4 түгээмэл кейс дээр нэвтрүүлэхэд хамгийн тохиромжтой:

Agent Guardrails & Function Execution Verification:
Агент drop_table() эсвэл хэрэглэгчийн данснаас мөнгө шилжүүлэх зэрэг эрсдэлтэй tool call хийхийн өмнө тухайн үйлдлийг гүйцэтгэх нь аюулгүй эсэхийг 85 миллисекундэд хянаж, зөвшөөрөл олгох.
Request Routing & Microservice Triage:
Хэрэглэгчийн ирүүлсэн хүсэлт ямар хэлбэрийнх болохыг шууд ялгаж, холбогдох backend service, database эсвэл нарийн мэргэшсэн sub-agent руу замчлах.
AI-as-a-Judge & Groundedness Evaluation:
RAG архитектурт эх баримтаас авсан контекст болон LLM-ийн үүсгэсэн хариулт хоёр хоорондоо логик нийцэж байгаа эсэхийг (галлюцинаци шалгах) тусгай rubric-ийн дагуу үнэлэх.
Тодорхойгүй үед татгалзах (Explicit Abstention):
Энгийн LLM-үүд мэдэхгүй зүйлээ зохиож ярьдаг бол Decision-1 нь өгөгдсөн мэдээлэл хангалтгүй үед "Тодорхойлох боломжгүй" (cannot tell) гэсэн сонголтод хамгийн өндөр магадлал өгч, алдаа гаргахаас сэргийлдэг чадвартай.

Дүгнэлт

"Бүх асуудлыг нэг том аварга LLM-д даатгах" үе аажмаар шувтарч, төрөлжсөн, хөнгөн загваруудын үе эхэлж байна. Генератив чадварыг хэрэглэгчтэй харилцах болон бүтээлч даалгаварт үлдээж, агентуудын дотоод шийдвэр гаргах логик, чиглүүлэлтийг ийм төрлийн хэт хурдан "Decision model"-уудаар шийдэх нь хөгжүүлэгчдийн хувьд хурд, зардал, найдвартай байдлын төгс тэнцвэр болж чадахаар байна.

Одоогоор Microsoft-Decision-1 нь Microsoft Foundry каталог болон OpenRouter платформ дээр туршихад бэлэн болжээ.

Эх сурвалж: Microsoft Command Line Blog & Azure Foundry, The Decoder