Нэг ч үг бичдэггүй AI: ChatGPT-ийн бүтээгчийн танилцуулсан "Jev" модель LLM-ээс 200 дахин хурдан ажиллаж байна

Бидний өдөр тутмын хөгжүүлэлтэд ашигладаг GPT, Claude, Llama зэрэг бүх үндсэн хэлний моделиуд авторегрессив (autoregressive) зарчмаар ажилладаг. Тэд хариултаа дараагийн токенийг нэг нэгээр нь таамаглаж цувуулан бичдэг учраас л бидний хүссэн эссэ, кодын тайлбарыг урлаж чаддаг. Гэвч бодит үйлдвэрлэлийн (production) системд хөгжүүлэгч бидэнд үргэлж урт эссэ хэрэг болдог гэж үү?

Ихэнх тохиолдолд backend системүүдэд AI-аас ердөө л "энэ хэрэглэгчийн хүсэлт луйвар мөн үү?", "өгөгдлийг ямар сервис рүү чиглүүлэх (route) вэ?", "эрсдэлийн түвшин 1-ээс 5-ын хооронд хэд вэ?" гэсэн тодорхой төрөлтэй (typed) шийдвэр л шаардагддаг. Энэ ажлыг хийлгэхийн тулд бид 70B параметртэй аварга моделийг дуудаж, хэдэн секунд хүлээж, JSON форматыг нь эвдэхгүй байлгах гэж regex, schema validation бичиж суудаг билээ.

Энэ гажуудлыг шийдэхээр OpenAI-д ChatGPT болон RLHF-ийг (Reinforcement Learning from Human Feedback) хамтран анх зохион бүтээсэн судлаач Диого Альмейда (Diogo Almeida) 2 жилийн турш нууцлаг байдалд хөгжүүлсэн "Jev" нэртэй цоо шинэ ангиллын моделио TypeSafe AI компаниараа дамжуулан албан ёсоор танилцууллаа.

Энэхүү зарлал нь Hacker News сүлжээнд 1800 гаруй оноо авч, дэлхийн инженерүүдийн анхаарлыг дээд цэгт нь татаж байна.

Текст бичихээс татгалзах нь: Strings for Speed

Jev-ийн хамгийн гол ялгарал бол тэрээр нэг ч үг бичдэггүй. Түүнд уламжлалт LLM шиг токен цувуулан үүсгэдэг авторегрессив декодер (autoregressive decoder) байхгүй.

Хөгжүүлэгч систем рүү дурын текст эсвэл JSON бүтэцтэй өгөгдлийг урьдчилан тодорхойлсон асуултын хамт илгээхэд Jev ганцхан параллель дамжуулалтаар (single parallel forward pass) тооцоолол хийж, үр дүнг магадлалын тархалттай хамт шууд буцаана. Үүний үр дүнд:

• Хурд (Latency): Frontier LLM-үүд бүтэн хариулт үүсгэхэд 3-аас 30 секунд зарцуулдаг бол Jev ердөө 70-аас 500 миллисекундэд хариулж байна (ойролцоогоор 20–200 дахин хурдан).
• Өртөг: Input токен нь нэг сая тутамд ердөө $0.042. Харин output токен гэж байхгүй, зөвхөн магадлалын вектор буцаадаг тул Output нь ҮНЭГҮЙ ($0). TypeSafe-ийн туршилтаар уламжлалт агент пайплайнуудаас 444 дахин хямд зардал гарчээ.
• Форматын алдаагүй: Модель математик бүтцийнхээ хувьд урьдчилан заасан схемээс гадуур хариулах боломжгүй тул JSON эвдрэх, schema validation унах асуудал 0 хувь.

Моделийн "Jev" нэр нь Жэвонсын парадокс (Jevons Paradox)-оос үүдэлтэй: ямар нэгэн нөөц хэт хямд, үр ашигтай болох үед түүний хэрэглээ огцом тэсэрдэг эдийн засгийн хуулийг бэлгэджээ.

Системийн үндсэн гурван Primitive

Сэтгэл судлаач Даниел Канеманы "Thinking, Fast and Slow" номын шуурхай, интуитив шийдвэр гаргадаг механизмыг бэлгэдэж уг моделийг "System One Model" гэж нэрлэжээ. Программистууд Jev-ээс ердөө 3 төрлийн асуулт л асуух эрхтэй:

1. Choice (Сонголт): 255 хүртэлх тодорхой ангиллаас нэгийг сонгох ба сонголт тус бүрийн калибрлагдсан магадлалыг гаргана. Жишээ нь, дэмжлэгийн хүсэлтийг ['billing', 'bug', 'feature_request'] гэж ангилах.
2. Score (Оноо): Эрсдэл, хамаарал зэрэг тодорхой шатлал дээр (жишээ нь 1-ээс 5) нарийвчилсан утга өгөх.
3. Noul (Тийм/Үгүй буюу Boolean): Тухайн нөхцөл үнэн эсэхийг [0, 1] интервал дахь нарийвчилсан магадлалтай буцаана.

Энэхүү моделийг бэлтгэхийн тулд TypeSafe AI баг RLCD (Reinforcement Learning for Calibrated Decisions) гэх шинэ сургалтын арга барилыг боловсруулсан байна. Энэ нь моделийг хүнтэй эелдэг ярихад биш, гаргаж буй шийдвэрийнхээ статистик магадлалыг яг таг калибрлахад сургадаг арга юм. Демо дээр Jev модель ямар ч токен сааталгүйгээр сонгодог Doom тоглоомыг секундэд 10 удаа frame бүрээр шийдвэр гарган тоглож үзүүлсэн нь олон хүний гайхшралыг төрүүлжээ.

"Zero Hallucination" үнэхээр бодитой юу?

Компанийн маркетинг дээр "Халюцинаци огт байхгүй" (Can't hallucinate) гэж бичсэн нь инженерүүдийн дунд багагүй шүүмжлэл дагуулав.

Hacker News-ийн хэлэлцүүлэг дээр хөгжүүлэгчдийн онцолсноор: Jev нь бүтцийн халюцинацийн (structural hallucination) хувьд 0 алдаатай. Өөрөөр хэлбэл, таны заагаагүй талбар үүсгэх, JSON-оо хаахаа мартах, шал өөр өгөгдлийн төрөл буцаах боломжгүй. Гэвч энэ нь модель утгын хувьд (semantic) буруу шийдвэр гаргахгүй гэсэн үг биш юм. Хэрэв модель "Луйвар мөн үү?" гэсэн асуултад "Үгүй" гэж итгэлтэйгээр буруу хариулбал энэ нь өөрөө халюцинаци хэвээр үлдэнэ.

Мөн код бичих, логик дараалал бүхий эргэцүүлэл хийх (Chain of Thought), бүтээлч текст боловсруулахад Jev огт ажиллахгүй. Түүний бүх чадвар нь цэвэр ангилал, шүүлтүүр, нөхцөлт шилжилт дээр л төвлөрчээ.

Программистуудад юу өөрчлөгдөх вэ?

Хэрэв та олон шатлалт AI Agent архитектур эсвэл микросервис бүтээн байгуулж байгаа бол таны pipeline-ийн ихэнх зардал болон саатал (latency) нь ердөө шийдвэр гаргах (decision branching/routing) шатуудад үрэгдэж байдаг.

• Agentic Workflow хурдсана: Agent-ийн шийдвэр гаргах логикийг Jev шиг миллисекундийн загвар дээр суурилуулснаар дараагийн том модель ажиллах хүртэлх замыг асар их хөнгөвчилнө.
• Токен төсөв хэмнэгдэнэ: Таны сервер дээр мянга мянган background ажилтан ажиллаж байхад output токений төлбөр 0 болно гэдэг enterprise системүүдэд сая сая долларын хэмнэлт авчрах боломжтой.
• Codebase-д шууд функц дуудалт шиг ажиллана: Төрөл шалгагч (type checker)-ийг тайван унтуулах typed output-тай тул if (decision.choice === 'approved') гэсэн deterministic код руу шууд холбогдоно.

LLM гэхээр л заавал бидэнтэй чаталж, текст бичдэг байх албагүй. Текстээс татгалзсан энэхүү нарийн мэргэшсэн модель нь програм хангамж ба хиймэл оюуны зааг дээр шинэ трендийг эхлүүлж байна.

Эх сурвалж: TypeSafe AI Blog, Hacker News ("Introducing System One Models and Jev"), Forkast News