Дата төвийн хэмжээтэй 125B моделийг RTX 4090 дээр 100 tok/s хурдаар: Strata хөдөлгүүр яаж ажилладаг вэ?

Хиймэл оюуны салбарт нэгэн бичигдээгүй хууль үйлчилсээр ирсэн: Хэрэв та 100+ тэрбум параметртэй "frontier" түвшний хүчирхэг моделийг ажиллуулахыг хүсвэл олон арван мянган долларын үнэтэй дата төвийн GPU кластер (A100 эсвэл H100) түрээслэх шаардлагатай. Харин хэрэглэгчийн түвшний 24GB VRAM бүхий карт дээр ийм аварга моделийг санах ойд (RAM) шилжүүлэн (CPU offloading) ажиллуулах гэж оролдоход PCIe автобусны зурвасын өргөний түгжрэлээс үүдэн секундэд 2–5 токен гаргаж, яст мэлхийн хурдаар урагшилдаг байв.

Гэвч энэ хязгаарлалтыг эвдсэн нэгэн шийдэл гарч ирсэн нь сүүлийн 24 цагийн дотор Hacker News болон нээлттэй эхийн нийгэмлэгийг шуугиулж байна. Хөгжүүлэгч Niko-гийн бүтээсэн Strata хэмээх шинэ нээлттэй хөдөлгүүр нь 125 тэрбум параметртэй Qwen 3.8 Flash Next моделийг энгийн ширээний компьютерын GeForce RTX 4090 график карт дээр секундэд 100+ токен (decode speed) үүсгэх хурдтайгаар ажиллуулж чадсанаа зарлалаа.

Энэхүү хурд нь уламжлалт арга барилаас бараг 10–20 дахин хурдан бөгөөд Local AI-ийн боломжийн тухай ойлголтыг үндсээр нь өөрчилж байна. Тэгвэл уг хөдөлгүүр цаанаа чухам ямар инженерийн шийдлээр энэ гайхалтай үзүүлэлтэд хүрсэн бэ?

125B модел энгийн PC дээр яагаад багтдаггүй вэ?

125 тэрбум параметртэй өтгөн (dense) модел бүтэн нарийвчлалаараа (FP16) 250 гаруй гигабайт санах ой шаарддаг. Түүнийг 4-bit хэмжээнд хүртэл шахаж квантчиллаа (quantization) гэхэд хамгийн багадаа 60–80GB санах ой хэрэгтэй болно. GeForce RTX 4090 эсвэл RTX 3090-ийн 24GB VRAM үүнд яагаад ч хүрэлцэхгүй.

Гэвч орчин үеийн загварууд dense биш, харин Mixture-of-Experts (MoE) бүтэц рүү эрчимтэй шилжиж буй нь гол түлхүүр болжээ. Тухайлбал, Qwen 3.8 Flash Next нь нийт 24,576 тусдаа "мэргэжилтэн" (expert) дэд сүлжээтэй боловч аливаа нэг токенийг боловсруулах бүрт тэдгээрээс ердөө 10 экспертийг л идэвхжүүлдэг (sparse activation).

Өөрөөр хэлбэл, тухайн агшинд тооцоолол хийхэд 125 тэрбум параметр нэгэн зэрэг шаардагдахгүй. Асуудал нь зөвхөн хэрэгтэй 10 экспертийг шаардлагатай мөчид нь GPU руу хэрхэн хоцрогдолгүй (zero-latency overhead) зөөвөрлөж амжих вэ гэдэгт байв.

Strata-ийн шийдэл: Гурван түвшний санах ойн шатлал

Strata нь компьютерын бүх нөөцийг нэгэн жигд шугамд нэгтгэсэн 3 түвшний шаталсан архитектур (Tiered Memory Architecture) дээр тулгуурлан ажилладаг:

Tier 1 — GPU VRAM (12–24 GB): График карт дээр зөвхөн анхаарлын матрицууд (Dense Attention Layers), KV Cache, Multi-Token Prediction (MTP) draft хэсгүүд болон хамгийн их ашиглагддаг экспертүүдийг хадгалах "Expert Cache" байрлана.
Tier 2 — Системийн RAM (32–64+ GB): Моделийн нийт "дулаан" экспертүүдийн жин болон харилцааны түүхийн сэлгээний кэшүүд (Parked KV slots) байрлана.
Tier 3 — NVMe SSD: Хэрэв системийн RAM хэмжээ бага бол үлдсэн "хүйтэн" экспертүүдийг шууд маш хурдан PCIe NVMe хөтчөөс дамжуулна.

Энэхүү загварын хамгийн том цөм шинэчлэл нь Expert Caching ба Dynamic Pre-fetching юм. Хэрэглэгчийн бичвэрийн сэдэв, хам сэдвээс хамааран дараагийн токенд ямар экспертүүд дуудагдах магадлалтайг урьдчилан таамаглаж, GPU руу хоолойгоор (pipeline) урдуураа татаж оруулдаг. Үүний үр дүнд GPU дээрх эксперт кэшийн онолт (hit rate) 64%-иас 99% хүртэл өссөн бөгөөд PCIe автобусны хүлээн зогсох саатлыг бүрэн арилгажээ.

Нэмж дурдахад FlashAttention-2, тусгайлан шахсан FP8 PLE болон IQ2_XS квантчлал, skinny GEMM цөмүүдийг ашигласнаар prefill хурдыг секундэд 1,500–2,700 токенд хүргэж чадсан байна.

Хөгжүүлэгчийн ажлын урсгалд авчрах өөрчлөлт

Strata нь зөвхөн сонирхол татсан туршилт биш бөгөөд шууд практикт ашиглахад бэлэн шийдэл болжээ:

OpenAI болон Anthropic API-тай бүрэн нийцтэй: Strata нь орон нутгийн localhost:8082 дээр стандарт REST API серверийг асаадаг. Энэ нь та өөрийн дуртай код бичих хэрэгслүүд болох Claude Code, Cursor, Aider, Codex CLI зэрэг дээр бааз URL болон түлхүүрийг өөрийн машин руу чиглүүлэн, 125B хэмжээтэй код бичих аварга моделийг шууд ашиглах боломжтой гэсэн үг юм.
Бүрэн офлайн, өгөгдлийн нууцлал: Компанийн нууц код, санхүүгийн болон эмзэг өгөгдлийг гуравдагч үүлэн систем рүү (cloud API) илгээхгүйгээр дотоод сүлжээндээ ажиллуулах шаардлагатай багуудад төгс шийдэл болно.
Зардлын хэмнэлт: API дуудалтын токен бүрд төлбөр төлөх шаардлагагүй, ердөө өөрийн байгаа техник хангамжийн хүчин чадлыг 100% шавхана.

Хязгаарлалт ба анхаарах асуудлууд

Гэхдээ аливаа инженерчлэл төлөөстэй ирдэг. Одоогоор Strata-д хэд хэдэн анхаарах сул тал бий:

Continuous Batching дутагдалтай: Одоогоор олон хэрэглэгчийн хүсэлтийг нэгэн зэрэг параллелиар боловсруулах боломж сул. Энэ нь нэг хөгжүүлэгчийн хувийн туслах, чатбот хэлбэрээр ажиллахад гайхалтай боловч олон агентын нэгдсэн систем (multi-agent swarm) эсвэл нийтийн SaaS үйлчилгээнд ашиглахад хурд нь огцом саардаг.
RAM ба дискний дарамт: Хэдийгээр 24GB VRAM хангалттай ч компьютерын системийн RAM доод тал нь 48GB–64GB байх нь тогтвортой хурд гаргах гол үндэс болж байна.

Дүгнэлт

Хэдхэн сарын өмнө 100+ тэрбум параметртэй загваруудыг хувийн компьютерт ажиллуулах нь бодит байдлаас тасархай, хэрэгцээгүй удаан санагддаг байсан бол Strata болон MoE архитектурын ухаалаг синерги нь энэ ханыг нураалаа. Сүлжээний зурвасын өргөн биш, харин системийн архитектурыг гүн оновчилсноор бид ширээний PC дээрээ өөрийн гэсэн "хэт ухаант" системийг төлбөргүй, нууцлалтайгаар ажиллуулах эрин үед нэг алхам урагшилж байна.

Хэрэв та өөрийн төхөөрөмж дээр туршиж үзэхийг хүсвэл GitHub дээрх албан ёсны заавартай танилцаж, өөрийн загварыг ачаалаад үзээрэй.

Эх сурвалж: Niko1221/Strata GitHub Repository & Hacker News Discussion