2.8 их наяд параметртэй аварга задгай тавигдлаа: Moonshot AI "Kimi K3.1 Pro"-ийн жинг нээлттэй болгов

Хиймэл оюун ухааны нээлттэй экосистемд томоохон тэсрэлт боллоо. Moonshot AI компани өмнө нь амлаж байсан ёсоороо өөрсдийн хамгийн сүүлийн үеийн тэргүүлэх загвар болох Kimi K3.1 Pro-ийн жинг (weights) Hugging Face дээр албан ёсоор нээлттэй (open-weight) болгон байршууллаа.

Нийт 2.8 их наяд (2.8T) параметр бүхий энэхүү native multimodal MoE (Mixture-of-Experts) загвар нь өнөөдрийн байдлаар нээлттэй эхээр нийтэд цацагдсан хамгийн аварга бөгөөд чадварлаг суурь загваруудын нэг болж байна. Уг загвар нь 1 сая токены контекст цонхтой бөгөөд agentic coding, терминал командын автоматжуулалт, өгөгдлийн нарийн судалгаа зэрэг хөгжүүлэгчдийн хувьд хамгийн эгзэгтэй салбаруудад хаалттай proprietary (Claude Opus, GPT-class) загваруудтай эн зэрэгцэх түвшинд үнэлэгдэж байна.

2.8T MoE ба "104B идэвхтэй параметр": Тооцооллын нууц

Kimi K3.1 Pro нь нийт 2.8 их наяд параметртэй хэдий ч инференс хийх явцад нэг токен бүрд бүх сүлжээ ажилладаггүй. Энд орчин үеийн MoE архитектурын хамгийн шилдэг шийдлүүд нэгджээ:

896 Routed Experts: Нийт 896 ширхэг нарийвчилсан эксперт блокоос токен бүрд хамгийн оновчтой 16 экспертийг сонгон ажиллуулдаг.
2 Shared Experts: Бүх хүсэлтэд нийтлэг суурь мэдлэгийг хариуцах хоёр хуваалцсан эксперт байнга идэвхтэй байна.
104B Идэвхтэй параметр: Нийт параметрийн дөнгөж 3.7% буюу 104 тэрбум параметр л нэг forward pass дээр ачаалагддаг. Энэ нь 2.8T хэмжээтэй модел гэхэд харьцангуй өндөр хурдтайгаар токен үүсгэх боломжийг олгож байгаа юм.

Үүнээс гадна тус загвар нь Kimi K3 хувилбараас эхлэн хөгжүүлсэн KDA (Kimi Delta Attention) болон DeepSeek-ийн санаачилсан бүтцэд суурилсан Gated DSA (Gated DeepSeek Sparse Attention) давхаргуудыг хослуулсан нь 1 сая токены хэмжээтэй асар урт контекстийг санах ойн (KV cache) хэт ачаалалгүйгээр боловсруулах боломж олгожээ.

Архитектурын онцлог: KDA ба Gated DSA хослол

Kimi K3.1 Pro нийт 93 давхаргатай бөгөөд тэдгээрийн бүтэц тун өвөрмөц:

69 KDA давхарга: Дельта анхаарлын механизмаар мэдээллийн өөрчлөлтийг хурдан тооцоолно.
24 Gated DSA давхарга: Өмнөх бүтэн Multi-Head Latent Attention (MLA)-ийг sparse хэлбэрт шилжүүлснээр урт баримт, том кодын санг хайх индексжүүлэлтийн зардлыг эрс бууруулжээ.
MoonViT-V2 визуал энкодер: 401 сая параметртэй тусгай визуал блокийн тусламжтайгаар зөвхөн текст төдийгүй зураг, видео, UI дэлгэцийн агшин, CAD диаграммыг шууд ойлгож кодоор илэрхийлнэ.

1.56 Терабайт: Үүнийг хөгжүүлэгчид хэрхэн ажиллуулах вэ?

Хамгийн сонирхолтой нь техник хангамжийн асуудал юм. Олон нийтийн Reddit болон Hacker News дээр хөгжүүлэгчид "Миний GTX 1030 бэлэн боллоо", "Нэг хоногт нэг токен гарвал их юм" хэмээн хошигнож буй ч бодит байдал дээр үүнийг локал дээрээ бүрэн хэмжээгээр ажиллуулахад асар их багтаамж шаардагдана.

Hugging Face дээр нийтлэгдсэн жин нь MXFP4 (Microscaling FP4) квантчлагдсан форматаар ирж байгаа бөгөөд диск дээр нийт 1.56 TB хэмжээтэй Safetensors файлууд болж байна.

Хөгжүүлэгчдэд зориулсан байршуулалтын (deployment) шаардлага:

vLLM болон SGLang дэмжлэг: vLLM 0.34.0+ хувилбар дээр moonshotai/Kimi-K3.1-Pro шууд олон node-ийн Tensor Parallelism (TP) тохиргоотойгоор дэмжигдэж эхэллээ.
Тооцооллын кластер: Бүрэн MXFP4 загварыг санах ойд багтааж, боломжийн хурдаар инференс хийхийн тулд хамгийн багадаа 2 ширхэг NVIDIA GB300 NVL4 тавиур эсвэл B300 / AMD MI355X кластер шаардлагатай.
Хувийн төхөөрөмжүүдэд: Mac хэрэглэгчдэд зориулан MLX дээр экспертүүдийг Gen5 NVMe SSD рүү offload хийж ажиллуулах туршилтын repacked хувилбарууд (жишээ нь M3 Ultra дээр) олон нийтийн зүгээс аль хэдийн гарч эхэлсэн байна.

DFlash2: Спекулятив декодингоор 5 дахин хурдасгах нь

Moonshot AI болон нээлттэй кодын хамт олон зөвхөн аварга моделийн жинг нийтлээд зогсохгүй, түүнийг хурдан ажиллуулах туслах draft загвар болох DFlash2-Preview-ийг давхар гаргалаа.

Энэхүү 2.7 тэрбум параметртэй авсаархан MLA загвар нь үндсэн Kimi-ийн далд төлвүүдийг (hidden states) шууд уншиж, нэг forward pass дээр зэрэгцээгээр 5-аас 8 токены блок таамаглал дэвшүүлдэг (speculative decoding). Үндсэн аварга загвар нь эдгээр таамгийг нэг үйлдлээр баталгаажуулснаар токен гаргах хурд (latency) 2-3 дахин өсдөг болохыг SGLang дээрх бенчмаркууд харуулж байна.

Бенчмарк: Яагаад хөгжүүлэгчид анхаарах ёстой вэ?

Moonshot AI-ийн танилцуулсан үнэлгээгээр:

GPQA Diamond: 94.2 оноо
Terminal-Bench 4.0: 65.7 оноо (Агент орчинд bash команд өгч систем удирдах чадвар)
BrowseComp: 92.1 оноо (Вэб дээрээс мэдээлэл хайж нэгтгэх)

Эдгээр үзүүлэлтүүд нь Kimi K3.1 Pro-г зөвхөн энгийн чатбот бус, бүхэл бүтэн кодын сан (codebase) дундуур явж алдаа засах, terminal орчинд тестүүдээ автоматаар ажиллуулах, төслийн архивыг бүтнээр нь задлан шинжлэх чадвартай бие даасан програм хангамжийн агент болохыг баталж байна.

Нээлттэй жинтэй загварууд зөвхөн 7B-70B хэмжээнд эргэлдэхээ больж, хэдэн их наядаар тоологдох Frontier ангилал руу нэвтэрч эхэлснийг энэхүү нийтлэл бэлхнээ харууллаа.

Эх сурвалж: Hugging Face Model Card (moonshotai/Kimi-K3.1-Pro), Moonshot AI Tech Blog, vLLM Recipes.