Өдөрт 155 их наяд токен: DeepSeek инференсийн супер хөдөлгүүр "DeepInfer"-ийг нээлттэй эх болголоо

Сүүлийн нэг жилийн хугацаанд хиймэл оюуны салбарт хамгийн их шуугиан тарьсан асуултуудын нэг бол "DeepSeek яаж загваруудаа ийм бага зардлаар, ийм өндөр хурдтай ажиллуулж чадаад байна вэ?" гэдэг байв. Зарим нь үүнийг улсын татаас эсвэл үнийн демпинг гэж хардаж байсан бол инженерийн түвшинд ажилладаг хүмүүс тэдний системийн архитектур, ялангуяа инференсийн оновчлолд ямар нэг нууц зэвсэг бий гэж таамаглаж байлаа.

Тэгвэл энэ нууц бүрэн тайлагдлаа. DeepSeek өөрсдийн албан ёсны үйлчилгээ болох DeepSeek-V4.1-Flash загварын ард бодитоор ажиллаж буй, өдөрт 155 их наяд (trillion) токен боловсруулдаг DeepInfer нэртэй супер инференс фрэймворкоо Apache 2.0 лицензтэйгээр бүрэн нээлттэй эх (open source) болгон цацлаа. Энэхүү мэдэгдэл нь сүүлийн 24 цагийн дотор Hacker News-ийн тэргүүн эгнээнд 2,300 гаруй оноо цуглуулж, инженерүүдийн дунд жинхэнэ технологийн тэсрэлт болоод байна.

DeepInfer гэж юу вэ?

DeepInfer бол хэрэглэгчийн компьютер дээр LLM туршихад зориулагдсан энгийн Ollama эсвэл llama.cpp төрлийн хэрэгсэл биш юм. Энэ нь дата төвийн түвшинд, олон мянган GPU кластер дээр асар том Mixture-of-Experts (MoE) загваруудыг дээд зэргийн үр ашигтайгаар ажиллуулах зориулалттай хүчирхэг execution engine юм.

DeepSeek-ийн нийтэлсэн тайлангаас дурдвал, DeepInfer-ийг ашигласнаар нэг кластер нь өдөрт 155 их наяд токен гаргаж, ачаалал багатай үед ч нэг GPU картнаас цагт 38 ам.долларын цэвэр ашиг бүтээх боломжтой болсон байна. Анх vLLM төсөл дээр суурилж, SGLang болон TensorRT-LLM-ийн шилдэг санаануудыг шингээн хөгжүүлсэн энэ системд DeepSeek сүүлийн үед гаргасан бүх дэвшилтэт оновчлолуудаа нэгтгэжээ.

Дэд бүтцийн давуу тал: Яагаад ийм хурдан бөгөөд хямд вэ?

DeepInfer нь дараах хэд хэдэн системийн түвшний архитектурын шинэчлэлийг багтаасан:

1. FlashMLA, DeepGEMM ба Wide-EP хослол: Загварын Attention давхаргад өгөгдлийн зэрэгцээ ажиллагааг (Attention Data Parallelism) ашигладаг бол MoE-ийн expert давхаргуудад өргөн Expert Parallelism (Decode шатанд EP64-өөс EP128 хүртэл) хэрэглэдэг. Энд хамгийн чухал нь EPLB (Expert Parallelism Load Balancing) буюу тодорхой экспертүүдэд ачаалал төвлөрч, зарим GPU сул зогсохоос сэргийлдэг динамик тэнцвэржүүлэгч юм.

2. DSpark Speculative Decoding: Энгийн autoregressive загвар нэг алхамд ганц л токен гаргадаг бол DeepInfer-ийн DSpark нь нэг удаад 5 хүртэлх draft токен санал болгодог. Улмаар "Confidence Head" модулиар дамжуулан аль токен нь баталгаатай болохыг магадлалаар үнэлж, зөвхөн оновчтой хэсгийг нь үндсэн загварт батлуулснаар decode-ийн хурдыг 2-3 дахин нэмэгдүүлдэг.

3. SWA Bounded Replay: Sliding Window Attention (SWA) давхаргуудад бүх түүхийг дахин бодохын оронд кэш таарсан үед зөвхөн хамгийн сүүлийн цонхны токенуудыг (ойролцоогоор 128-140 токен) дахин боддог тул Prefill шатны ачааллыг эрс хөнгөвчилдөг.

4. Batch Invariance ба Deterministic Sampling: Олон AI агент хөгжүүлэгчдийн толгойны өвчин болдог зүйл бол зэрэг ирсэн бусад хүсэлтийн хэмжээнээс (batch size) хамаарч ижил prompt-ийн хариу өөрчлөгдөх явдал байдаг. DeepInfer-д DEEPINFER_BATCH_INVARIANT=1 горимыг оруулснаар NVIDIA картууд дээр ямар ч нөхцөлд deterministic буюу 100% давтагдахуйц үр дүнг баталгаажуулжээ.

Нэгэн зэрэг NVIDIA Blackwell ба Huawei Ascend дэмжлэг

Энэхүү нээлтийн өөр нэг онцлох зүйл бол техник хангамжийн сонголт юм. DeepInfer нь хамгийн сүүлийн үеийн NVIDIA SM100 (Blackwell) архитектурыг (CUDA 13) дэмжихээс гадна Хятадын дотоодын Huawei Ascend 950 NPU (CANN 9.2)-ийг эхний өдрөөсөө нэгдүгээр зэрэглэлийн техник хангамж болгон оруулж иржээ. Энэ нь хиймэл оюуны томоохон лабораториуд зөвхөн Америкийн чипний хараат байдлаас гарч, олон платформ дээр кластер зохион байгуулах бодит алхмыг production кодоор баталгаажуулсан хэрэг болов.

Хөгжүүлэгчид юуг анхаарах ёстой вэ?

Эх кодын хувьд DeepInfer гайхалтай боловч үүнийг маргааш шууд өөрийн backend дээр залгаад ашиглачих бүрэн бэлэн бүтээгдэхүүн гэж ойлгож болохгүй:

• Зөвхөн Offline Inference: Эхний хувилбар нь зөвхөн batch хэлбэрийн офлайн боловсруулалтад зориулагдсан Python скриптүүдтэй ирж байгаа бөгөөд бэлэн HTTP API сервер хараахан ороогүй.
• Гэрийн картууд дээр ажиллахгүй: SM100 болон Ascend 950 чиглэсэн тул RTX 4090 эсвэл 5090 дээр шууд асахгүй (хэрэглэгчийн түвшинд vLLM эсвэл GGUF llama.cpp илүү тохиромжтой).
• Үйлчилгээний түвшний системүүд ороогүй: DeepSeek-ийн дотоод 100 PiB хэмжээтэй distributed KV-cache систем, Prefill/Decode-ийг тусдаа серверүүдэд хуваарилдаг disaggregation сүлжээ зэрэг нь хаалттай хэвээр үлдсэн.

Гэсэн хэдий ч энэ нь нээлттэй эхийн ертөнцөд асар том түлхэц юм. Apache 2.0 лицензтэй тул vLLM, SGLang зэрэг төслүүдийн инженерүүд DeepInfer-ийн EPLB болон DSpark-ийн кодыг задлан шинжилж, ойрын хугацаанд өөрсдийн системд нэвтрүүлж эхлэхээ аль хэдийн мэдэгдээд байна.

AI загвар өөрөө хэчнээн ухаалаг байлаа ч, түүнийг хэрэглэгчид хүргэх инженерийн дэд бүтэц нь хямд бөгөөд хүртээмжтэй байж гэмээнэ жинхэнэ хиймэл оюуны хувьсгал бодитой болдог гэдгийг DeepSeek энэ удаагийн үйлдлээрээ дахин баталлаа.

---

Эх сурвалж: GitHub - deepseek-ai/DeepInfer ба DeepSeek AI Announcement