Текст үүсгэхээ боль, шууд шийдвэр гарга: Cloudflare 38ms хурдтай "Clef" шийдвэр гаргагч моделио нээлттэй цацлаа

Сүүлийн хоёр жилд хиймэл оюуны салбарыг эзэгнэсэн Large Language Model (LLM)-уудын архитектур үндсэндээ нэг л зарчмаар ажиллаж ирсэн: оролтыг уншаад дараагийн үгийг (токен) дарааллуулан таамаглаж текст үүсгэх (autoregressive generation).

Гэвч бие даасан AI агентуудын (Autonomous Agents) бодит ажлын урсгалыг харвал тэд ихэнх цагтаа роман бичих биш, харин тун энгийн бөгөөд хариуцлагатай шийдвэрүүд гаргаж байдаг: "Энэ хэрэглэгчийн асуултад ямар tool дуудах вэ?", "Энэ тушаалыг ажиллуулах нь аюулгүй юу?", "Асуудлын ноцтой байдал ямар түвшинд байна вэ?".

Ийм энгийн шийдвэр бүрт 70 тэрбум параметр бүхий нүсэр LLM дуудаж, хэдэн зуун токен үүсгэн, JSON форматлуулж, түүнийгээ parse хийж суух нь дэд бүтцийн хувьд асар их цаг хугацаа (500ms - 2s), тооцооллын зардал үрдэг.

Энэхүү гацааг үндсээр нь шийдэхээр Cloudflare өөрсдийн Workers AI багаас сургасан анхны нээлттэй эхийн "Clef" болон "Clef-flash" хэмээх шийдвэр гаргагч (Decision Model) моделиудаа албан ёсоор цацлаа.

Шийдвэр гаргагч модель (Decision Model) гэж юу вэ?

Уламжлалт LLM нь чөлөөт текст үүсгэдэг тул үр дүн нь тодорхойгүй (non-deterministic), үг бүрийг цувуулж үүсгэдэг тул удаан байдаг. Харин Decision Model нь текст огт үүсгэдэггүй.

Үүний ажиллах зарчим маш тодорхой:

Төлөв (State): Системийн одоогийн нөхцөл байдлыг илэрхийлэх текст, JSON, эсвэл мультимодал зураг өгөгдөнө.
Асуултын схем (Schema of typed questions): Хариултын тогтсон сонголтуудтай асуултуудын жагсаалт.
Гаралт: Модель сонголт бүрт шууд магадлалын оноо (calibrated probabilities) оноож, нэг удаагийн forward pass-аар хариуг буцаана.

Өөрөөр хэлбэл, модель үг холбон чатлах гэж цаг алдахгүй, шууд таны өгсөн асуултуудад магадлалын матриц бодон хариулна гэсэн үг юм.

Clef ба Clef-flash: 38 миллисекундын гайхамшиг

Cloudflare-ийн танилцуулсан загварууд нь хоёр хувилбартай:

Clef (27B): Нарийн төвөгтэй чиглүүлэлт, мультимодал (текст болон 4 хүртэлх зураг унших чадвартай), өндөр нарийвчлал шаардсан ажлуудад зориулагдсан. Медиан latency нь 209.3 ms.
Clef-flash (9B): Туйлын хурд шаардсан агент workflow-ийн "hot path"-д зориулагдсан бөгөөд медиан latency нь ердөө 38.8 ms!

Тус салбарт анхдагч болж байсан TypeSafe-ийн хаалттай Jev модель дунджаар 524 ms сааталтай байсан бол Clef-flash нь түүнээс 13 дахин хурдан ажиллаж байна.

Архитектурын гол шийдэл: Joint Schema Head

Clef нь Qwen суурь моделиудыг ашиглан post-train хийсэн ба дараах өвөрмөц бүтэцтэй:

Prefill-only Backbone: Эхний шатанд суурь модель өгөгдсөн төлөв болон асуултууд дээгүүр ганцхан удаа prefill pass хийнэ (үг цувуулж үүсгэхгүй).
Joint Schema Head: Төгсгөлийн hidden state-үүдийг авч ажилладаг тусгай жижиг Transformer толгой бөгөөд асуултуудын хооронд cross-attention хийж, сонголт бүрт зориулсан logit-уудыг тооцоолно.
Softmax per Question: Асуулт бүрийн боломжит хариултууд дээр softmax хийгдэж, бодит магадлалууд (probabilities) шууд хөгжүүлэгчийн кодонд очно. JSON эвдрэх, format алдагдах ямар ч эрсдэлгүй!

3 төрлийн асуулт: Хөгжүүлэгч кодоо хэрхэн холбох вэ?

Clef нь нэг хүсэлтээр 64 хүртэлх асуултыг зэрэг үнэлэх чадвартай ба дараах 3 өгөгдлийн төрлийг дэмждэг:

noul (Boolean / Тийм-Үгүй):
- Жишээ: "Хэрэглэгчийн энэ хүсэлт яаралтай юу?" -> p(yes): 0.94
choice (Нэг утга сонгох):
- Жишээ: "Энэ хүсэлтийг аль баг руу чиглүүлэх вэ? [technical, billing, sales]" -> { technical: 0.88, billing: 0.09, sales: 0.03 }
score (Үнэлгээний оноо):
- Жишээ: "Асуудлын хүндрэлийн түвшин: [No impact, Minor, Major, Critical]" -> магадлалаар жигнэсэн бодит үнэлгээ гарна.

// Хүсэлтийн бүтцийн ерөнхий жишээ
const decision = await cloudflare.ai.run('@cf/cloudflare/clef-flash', {
  state: "Database connection timed out after customer triggered payment webhook.",
  schema: [
    { id: "urgent", type: "noul", question: "Is this incident urgent?" },
    { id: "team", type: "choice", options: ["infra", "billing", "frontend"], question: "Route to:" },
    { id: "severity", type: "score", scale: ["low", "medium", "high", "critical"], question: "Severity rating:" }
  ]
});

// Гаралт шууд баталгаатай төрөлтэй ирнэ:
// decision.urgent.probability -> 0.98
// decision.team.winner -> "infra" (0.91)
// decision.severity.score -> "critical"

Энд ямар ч regex шаардлагагүй, try/catch JSON.parse() хийх шаардлагагүй, ердөө 40 миллисекундын дотор таны кодын нөхцөл шалгах логик (routing gate) ажиллана.

Моделиудын үүрэг хуваарилалт: Агент бүтээх шинэ стандарт

Энэ долоо хоногт AWS мөн адил өөрсдийн локал ажилладаг Strands Decider 2B моделоо нээлттэй болгосон нь технологийн зах зээлд шинэ парадигм бий болсныг баталж байна. AI хөгжүүлэлтийн архитектур одоо хоёр тусдаа давхаргад хуваагдаж эхэллээ:

Decision Layer (Clef, Strands Decider): Агентын эргэн тойрон дахь guardrails (аюулгүй байдлын шалгалт), tool routing, if/else шийдвэрүүдийг хэт хурдан, хямд бөгөөд детерминистик байдлаар гүйцэтгэнэ.
Generative Layer (Claude, GPT, Gemini): Хэрэглэгчидтэй харилцах эцсийн тайлбар бичих, код бичих, дата синтез хийх зэрэг бүтээлч, задгай сэтгэлгээний ажлууддаа л төвлөрнө.

Cloudflare Clef болон Clef-flash нь Apache 2.0 лицензтэйгээр Hugging Face дээр бүрэн тавигдсан тул өөрийн сервер дээр локал байдлаар ажиллуулах, эсвэл Cloudflare Workers AI дээр шууд serverless байдлаар дуудаж ашиглах боломжтой. Түүнчлэн компаниуд өөрсдийн өгөгдөл дээр Clef-ийг Reinforcement Learning (RL)-ээр fine-tune хийх тусгай платформыг давхар танилцуулсан нь онцлох мэдээ байлаа.

Агент бүтээж буй хөгжүүлэгчдийн хувьд өндөр үнэтэй LLM токенуудыг энгийн чиглүүлэлтэд үрж байсан үе ард хоцорч байна.

Эх сурвалж: Cloudflare Blog: Introducing Clef, Cloudflare Workers AI Documentation, Hugging Face Cloudflare Organization