Чатаас кодын түвшин рүү: ChatGPT-ийн хамтран зохион бүтээгч токен үүсгэдэггүй, 200 дахин хурдан "Jev" моделио танилцууллаа

Хөгжүүлэгч бүрийн өдөр тутмын зовлон нэгэн хэвийн болжээ: LLM ашиглан классификаци хийх, өгөгдлийг ангилах, эсвэл backend логик дээрээ тодорхой шийдвэр гаргуулахын тулд бид том хэлний моделиудад өчнөөн prompt өгч, "Зөвхөн JSON буцаагаарай" гэж учирлан гуйдаг. Хариуд нь урт текст уншиж дуустал хэдэн секунд хүлээж, заримдаа эвдэрсэн хаалт, тайлбар бичвэрийг нь цэвэрлэх гэж regex бичдэг билээ.

ChatGPT болон RLHF (Reinforcement Learning from Human Feedback)-ийн суурь судалгааг хамтран хийсэн OpenAI-ийн судлаач асан Диого Алмейда (Diogo Almeida) уг асуудлыг сууриар нь шийдэхээр хоёр жилийн нууц байдлаасаа гарч, 40 сая ам.долларын хөрөнгө оруулалттайгаар TypeSafe AI компанийг танилцууллаа. Тэдний анхны бүтээгдэхүүн болох "Jev" нь уламжлалт чат-моделийн парадигмыг эвдэж, машин-программд зориулсан System One ангиллын шинэ загвар юм.

Токен бичих шаардлагагүй: "Машинд зориулсан AI" гэж юу вэ?

Өнөөгийн ихэнх frontier моделиуд (GPT, Claude, Gemini) нь хүнтэй ярилцах зориулалттай бөгөөд хариуг үг үсгээр нь (autoregressive token generation) уралдуулан бүтээдэг. Харин backend систем, автоматизацийн pipeline-д хүнтэй чатлах ямар ч шаардлагагүй. Системд зөвхөн үнэн/худал, ангилал (enum), эсвэл өгөгдлийн бүтэц (typed struct) бүхий тодорхой шийдвэр л хэрэгтэй.

TypeSafe AI-ийн бүтээсэн "Jev" (эдийн засагч Жэвонсын парадоксоос сэдэвлэсэн нэр) модел нь токен үүсгэх шат дамжлагыг бүрэн алгасдаг. Энэ нь уламжлалт текстийн гаралтын оронд програмчлалын хэлний хатуу төрөлжсөн (type-safe) утгыг шууд үүсгэдэг.

Та ямар ч төрлийн өгөгдлийг (текст, кодын төлөв, логийн түүх) дамжуулж, гарах үр дүнгийн бүтцийг урьдчилан зааж өгөхөд л хангалттай. Модел гаралтын утгуудыг нэг дор зэрэг боловсруулах чадвартай.

RLCD: Хүний таашаал бус, магадлалын үнэн зөв байдал

Одоогийн LLM-үүдийн хамгийн том дутагдал бол өөрийн гаргасан хариултдаа үндэслэлгүй хэт итгэлтэй байх (overconfidence) болон хий хоосон зүйл зохиох (hallucination) явдал юм. Үүний гол шалтгаан нь тэднийг хүний сэтгэлд тааруулж сургасан RLHF алгоритмд оршдог гэж Диого Алмейда үзэж байна.

Харин TypeSafe AI нь RLCD (Reinforcement Learning for Calibrated Decisions) хэмээх шинэ сургалтын арга барилыг хэрэгжүүлжээ.

Jev гаргасан шийдвэр бүртээ шалгагдсан магадлалын оноо (calibrated confidence score)-г хамт буцаадаг:

• Хэрэв модел 99.4%-ийн итгэлтэй байвал программ цаашдын үйлдлийг автомат горимоор шууд гүйцэтгэнэ.
• Хэрэв магадлал 65%-тай гарвал уг шийдвэрийг хүний хяналтын дараалал (human-in-the-loop) эсвэл илүү том reasoning модел руу чиглүүлж, эрсдэлгүй архитектур үүсгэх боломжтой.

Энэ нь хөгжүүлэгчдэд тодорхойгүй байдлыг кодынхоо логикт if/else нөхцөл болгон удирдах боломж олгож байгаа юм.

200 дахин хурдан, 400 дахин хямд: Гаралтын токен ҮНЭГҮЙ

Уламжлалт аргаар LLM-ээс бүтцэт хариу авахад 5-10 секунд зарцуулагддаг бол Jev нь нэг шийдвэрийг 100 миллисекундээс бага хугацаанд гаргадаг. TypeSafe-ийн нийтэлсэн харьцуулалтаар Jev ердөө 0.114 секундэд ажиллаж, frontier LLM-үүдээс 190 гаруй дахин хурдан байгааг баталжээ.

Үнийн бодлогын хувьд тэд цоо шинэ жишиг тогтоов. Учир нь шийдвэр гаргах үйл явц токен бичдэггүй тул:

• Гаралтын токен (Output tokens): БҮРЭН ҮНЭГҮЙ. Хэтэрхий хямд бөгөөд тооцоход шаардлагагүй гэж тодорхойлжээ.
• Оролтын өгөгдлийг нэг тэрбум токеноор хэмжиж, $42-оор үнэлж байна.

Нэгэн ижил автоматжуулалтын даалгаврыг гүйцэтгэхэд LLM-д дунджаар $0.013 зарцуулдаг байсан бол Jev-ийн зардал ердөө $0.000081 болж, 440 дахин хямдарсан байна.

Хөгжүүлэгчдийн архитектурт хэрхэн нөлөөлөх вэ?

Бид олон жил "AI бол аварга том чатбот, хүн шиг ярьдаг тархи" гэсэн төсөөлөлтэй байлаа. Гэвч программ хангамжийн жинхэнэ хувьсгал нь чатын цонхны цаана бус, бидний бичсэн код, microservice, background worker-уудын дотор өрнөх учиртай.

Jev-ийн архитектур нь AI-ийг үүлэн дэх үнэтэй хар хайрцаг байхаас салгаж, өгөгдлийн сангийн query эсвэл math функц шиг найдвартай, хурдан, хямд "програмчлалын суурь элемент" (composable primitive) болгон хувиргах замыг засаж байна.

Эх сурвалж:

• TypeSafe AI: Introducing System One Models and Jev
• Business Wire: TypeSafe AI Emerges From Stealth With $40M in Funding With New Model for Composable AI
• Hacker News Community Discussions on Jev & System One Models