Нээлттэй Эхийн Түүхэн Эргэлт: Moonshot AI 2.8 Их Наяд Параметр Бүхий "Kimi K3" Загварын Жин (Weights)-ийг Цацлаа

Хиймэл оюун ухааны салбарт нээлттэй эх (open-source/open-weight) ба хаалттай экосистемүүдийн (closed-source) хоорондох өрсөлдөөн цоо шинэ шатанд гарлаа. Moonshot AI компани дэлхийн хамгийн том нээлттэй хиймэл оюуны загвар болох Kimi K3-ийг албан ёсоор Hugging Face дээр нийтэлж, кодын ертөнцийг доргиож байна.

Нийт 2.8 их наяд (2.8 Trillion) параметртэй энэхүү аварга Sparse MoE (Mixture of Experts) загвар нь зөвхөн хэмжээгээрээ төдийгүй, кодчилол болон урт хугацааны автоном agentic даалгавар гүйцэтгэх чадвараараа салбарын тэргүүн эгнээнд гарч ирлээ.

Sparse MoE Архитектур: 2.8 Их Наяд Параметр, Гэхдээ Токен Бүр дээр 104B Идэвхтэй

Хөгжүүлэгчдийн хувьд 2.8T гэдэг тооноос илүү түүний архитектурын бүтэц онцгой анхаарал татаж байна. Kimi K3 нь нийт 896 expert network-ээс бүрдэх ба нэг токеныг боловсруулах үед ердөө 16 expert зэрэг идэвхждэг (sparse routing).

Энэ нь бодит ажиллах үедээ 104 тэрбум (104B) идэвхтэй параметрийн зарцуулалттай тэнцэж байгаа бөгөөд 3 их наяд ангиллын нарийн учир шалтгаан, мэдлэгийн баазыг хэт их inference тооцоолол шаардахгүйгээр ажиллуулах боломжийг олгожээ.

Moonshot AI-ийн инженерүүд хэт том моделиудад тулгардаг хоёр том саадыг дараах хоёр архитектурын шинэчлэлээр шийдсэн байна:

Kimi Delta Attention (KDA): Квадрат зэрэгт өртгөөр өсдөг стандарт Attention механизмыг эрлийз шугаман (hybrid linear) анхаарлын бүтэцтэй хослуулснаар 1,000,000 токены context window-ийг тооцооллын хувьд хямд бөгөөд алдагдалгүй боловсруулдаг.
Attention Residuals (AttnRes): Олон давхаргат гүн сүлжээнд эхний layer-үүдийн мэдээлэл гээгдэхээс сэргийлж, аль ч гүний давхарга өмнөх үе шатуудын өгөгдлийг сонгон татаж унших чадвартай residual холболтыг нэвтрүүлжээ.

Кодчилол ба Benchmark-ийн Үр Дүн

Kimi K3-ийн хувьд хөгжүүлэгчдэд хамгийн чухал хэсэг нь практик кодчилол, терминалын удирдлага болон том хэмжээний codebase дээр ажиллах чадвар юм. Moonshot AI болон хараат бус байгууллагуудын туршилтаар:

SWE Marathon: 42.0 оноо авч, урт хугацааны репозиторын засварын тестийг тэргүүлсэн.
Terminal-Bench 2.1: Терминал, CLI командын орчинд 88.3 оноо үзүүлж, фронтиер загваруудтай бараг ижил түвшинд ирсэн.
WebDev Arena: Frontend хөгжүүлэлт, интерактив веб UI код бүтээх хараат бус blind тестэд #1 байрыг эзэлсэн байна.
Native Multimodal: Зөвхөн текстийн код биш, MoonViT-V2 визуал энкодерийн тусламжтайгаар UI скриншот, диаграм, системийн архитектурын зургийг шууд уншиж кодод хөрвүүлэх чадвартай.

Эдгээр үзүүлэлтүүд нь Kimi K3-ийг зөвхөн энгийн чатбот биш, Cursor, OpenCode, Claude Code зэрэг хөгжүүлэлтийн агентлаг орчинд бүтэн төсөл удирдаж ажиллах хэмжээний бие даасан Agent болсныг харуулж байна.

Хөгжүүлэгчид Kimi K3-ийг Хэрхэн Ашиглах Вэ?

Загварын жинг бүрэн нээлттэй болгосон тул дараах сувгуудаар турших, өөрийн системд нэгтгэх боломжтой:

1. API болон Third-Party Cloud

Moonshot-ийн өөрийн API-аас гадна OpenRouter, Together AI, Fireworks AI, DeepInfra зэрэг платформ дээр Kimi K3 идэвхжсэн. Үнийн хувьд uncached input 1 сая токен нь ойролцоогоор $2.80 - $3.00, харин prompt caching ашиглавал $0.30/1M токен болж буурдаг нь маш өрсөлдөхүйц тариф юм.

2. Self-Hosting (Өөрийн Серверт Ажиллуулах)

Model weights нь Hugging Face дээр MXFP4 квантизаци хийсэн хэлбэрээр тавигдсан ч нийт хэмжээ нь ~1.56 TB орчим болдог. Тиймээс өөрийн сервер дээр локал ажиллуулахад дор хаяж 8 ширхэг энтерпрайз зэрэглэлийн GPU (1.6 TB+ GPU VRAM бүхий кластер) шаардлагатайг анхаарах нь зүйтэй. Хувь хөгжүүлэгчдийн хувьд API эсвэл хосолсон hybrid архитектур ашиглах нь хамгийн зөв шийдэл юм.

Дүгнэлт: Open-Weight AI-ийн Шинэ Эрин

Өмнө нь нээлттэй эхийн моделиуд салбарын тэргүүлэх хаалттай моделиудаас (proprietary models) хамгийн багадаа 6-12 сарын хойно явдаг байсан бол Kimi K3 энэ заагийг үндсэндээ арилгаж байна. Хөгжүүлэгчид болон компаниуд кодын нууцлал, өгөгдлийн бүрэн эрхт байдлыг хангахын зэрэгцээ дэлхийн хамгийн дээд зэрэглэлийн AI оюун ухааныг бүтээгдэхүүндээ ашиглах бодит боломжтой боллоо.

Эх сурвалж: Moonshot AI Official Engineering Blog, Hugging Face Model Card, Bloomberg Technology