График карт (GPU) шаардлагагүй: 284B хэмжээтэй DeepSeek моделийг энгийн 64GB RAM-тай компьютерт багтаасан "Llama-modchip" гарлаа

Хиймэл оюун ухааны хөгжүүлэлтийн салбарт хамгийн том толгойн өвчин, санхүүгийн саад бол техник хангамжийн (hardware) хязгаарлалт байсаар ирсэн. 70B параметрээс дээш хэмжээтэй аварга загваруудыг өөрийн компьютер дээр (locally) ажиллуулахын тулд хөгжүүлэгчид хэдэн арван мянган ам.долларын үнэтэй Nvidia A100, H100 серверүүд эсвэл хамгийн багадаа 3-4 ширхэг RTX 4090 GPU бүхий тусгай риг угсрах шаардлагатай болдог.

Гэвч сүүлийн 24 цагийн дотор нээлттэй эхийн нийгэмлэг болон Hacker News дээр шуугиан тарьж, хөгжүүлэгчдийн анхаарлын төвд орж ирсэн llama-modchip хэмээх шинэ төсөл энэ тогтсон ойлголтыг бүрэн эвдлээ. Тус төсөл нь 284 тэрбум параметртэй DeepSeek-V4-Flash загварыг ямар ч график карт (GPU) ашиглахгүйгээр, ердөө 64GB санах ойтой энгийн персонал компьютер дээр бодит хэрэглээнд тохирох хурдтайгаар ажиллуулах шийдлийг олон нийтэд нээлттэй болголоо.

284 тэрбум параметр 64GB-д хэрхэн багтав?

DeepSeek-V4-Flash зэрэг сүүлийн үеийн моделиуд нь бүх параметрүүдийг зэрэг тооцоолдог Dense архитектураас татгалзаж, MoE (Mixture of Experts) загварыг ашигладаг. Нийт 284.33 тэрбум параметртэй боловч нэг токен боловсруулах агшинд зөвхөн 13.17 тэрбум параметр нь (active parameters) идэвхждэг онцлогтой. Гэсэн хэдий ч уламжлалт аргаар ажиллуулахад бүх 284 тэрбум параметрийн жин (weights) санах ойд бүрэн ачаалагдсан байх ёстой тул олон зуун гигабайт VRAM шаардагддаг билээ.

llama-modchip баг уг асуудлыг дараах инженерчлэлийн шийдлүүдээр даван туулжээ:

Fractal-64 Quantization ба SwiGLU-H2 шахалт: Загварын жингийн нарийвчлалыг огцом бууруулахдаа алдагдлыг хамгийн бага түвшинд барихын тулд Гессийн матрицад суурилсан шахалтын алгоритм болон Fractal квантчлалыг хослуулсан. Үүний дүнд загварын дискийн нийт хэмжээ ердөө 56.56 GiB болж жижгэрсэн байна.
Патчилсан llama.cpp цөм: Төслийн баг llama.cpp-ийн GGML бүтцийг өөрчилж, GGML_TYPE_Q2_0 бүхий 2-bit болон sub-2-bit хэт нягт тензоруудыг шууд процессор (CPU) дээр параллелиар бодох тусгай C/C++ заавруудыг нэмжээ.
Санах ойн нарийн хуваарилалт (Peak VmRSS 58.9 GiB): Нийт системийн 64GB RAM-аас загвар болон тооцооллын түр санах ой (KV cache) дээд тал нь 57.6–58.9 GiB зайг эзэлдэг. Ингэснээр Линукс эсвэл macOS үйлдлийн системийн суурь процессууд гацахгүйгээр үлдэгдэл 5-6GB санах ойд багтан чөлөөтэй ажиллах боломж бүрджээ.

Гүйцэтгэлийн үзүүлэлт: CPU дээр үнэхээр хурдан ажиллаж чадах уу?

Хөгжүүлэгчдийн дунд "CPU дээр ажиллуулбал нэг үг гаргах гэж хэдэн минут хүлээх байх" гэсэн эргэлзээ түгээмэл байдаг. Харин нийтлэгдсэн туршилтын баримтуудаас харвал энэхүү шийдэл гайхалтай бодит хурдыг үзүүлж байна:

Тоног төхөөрөмж: 16 цөмт AMD Zen 5 CPU, 64GB DDR5 RAM (ямар ч дискрет GPU байхгүй).
Prefill хурд: Оруулсан текстийг (prompt) задлан шинжлэхдээ секундэд дунджаар 44.36 токен боловсруулж байна.
Decode (Хариулт бичих) хурд: Хариултыг гаргах явцдаа секундэд 9.1-ээс 14.7 токен боловсруулдаг.
Контекст багтаамж: Төслийн туршилтаар 256K хүртэлх урт контекст цонхыг дэмжин ажиллах боломжтойг харуулжээ.

Секундэд 10–14 токен гэдэг нь хүний унших дундаж хурдтай дүйцэх бөгөөд код бичих, баримт бичиг хянах, архитектурын зөвлөгөө авах зэрэг өдөр тутмын хөгжүүлэлтийн ажилд ямар нэг хүлээгдэл, саатал үүсгэхгүй хангалттай хурд юм.

Мөн уг төсөл нь зөвхөн DeepSeek-ээр хязгаарлагдахгүй бөгөөд Nvidia-ийн MoE загвар болох Nemotron-3.5-30B-ийг ердөө 14.35 GiB санах ойд шахаж, энгийн процессорууд дээр 25-аас 111 tok/s хүртэл галзуу хурдаар ажиллуулах хувилбарыг багтаажээ.

Coding Agent болон хөгжүүлэгчдийн орчинд үзүүлэх нөлөө

llama-modchip төслийн хамгийн сонирхолтой хэсгүүдийн нэг нь түүний CLI удирдлагад багтсан ./modchip claude горим юм. Энэ нь Anthropic-ийн алдарт Claude Code зэрэг терминалын агентуудын арын холболтыг локал серверийн API руу хялбархан чиглүүлэх боломжийг олгож байна.

Энэ нь хөгжүүлэгчдэд ямар боломж олгож байна вэ?

Үүлэн тооцооллын зардлыг тэглэх: Хөгжүүлэгчид өдөр тутам Claude эсвэл OpenAI API-д хэдэн зуун ам.доллар зарцуулахын оронд оффисын эсвэл гэрийнхээ $800-ын компьютерт аварга загварыг үнэгүй ажиллуулах боломжтой болно.
Нууцлал ба аюулгүй байдал: Сүүлийн өдрүүдэд төслийн кодын нууцлал, API key алдагдахтай холбоотой олон асуудал үүссэн. Харин локал тооцоолол хийснээр компанийн эмзэг кодын сан хэзээ ч гадаад сүлжээ рүү илгээгдэхгүй.
Хүртээмжтэй байдал: Apple Silicon чиптэй Mac (Unified Memory-тэй) болон DDR5 санах ойтой энгийн Linux/Windows desktop-ууд дээр шууд ажиллана.

Анхаарах зүйлс: Зоосны нөгөө тал

Гэхдээ 284 тэрбум параметрийг ердөө 56GB санах ойд шахна гэдэг үнэ төлбөргүй ид шид биш юм. Хэт бага битийн (sub-2-bit) квантчлал нь загварын нарийн тооцоолол, гүнзгий математик, хүнд логик сэтгэлгээний түвшинд алдаа (quantization loss) гаргах эрсдэлийг нэмэгдүүлдэг.

Хэдийгээр олон нийтийн анхан шатны тестээр энгийн код бичих, рефактор хийх, тайлбарлах ажлуудыг хангалттай сайн гүйцэтгэж байгаа ч чухал продакшн логик дээр хүний хяналт шаардлагатайг төслийг туршсан инженерүүд анхааруулж байна.

Дүгнэлт

llama-modchip нь орон нутгийн (local) хиймэл оюуны хөгжил маш богино хугацаанд ямар хол явсныг харуулсан том үйл явдал боллоо. Хэдхэн сарын өмнө дата төвийн түвшний кластер шаарддаг байсан 284 тэрбум параметртэй системүүд өнөөдөр бидний ширээн дээрх энгийн процессороор найдвартай ажиллаж эхэллээ. Local AI-ийн эрин үе зөвхөн хөрөнгө мөнгөтэй корпорацуудад биш, энгийн хөгжүүлэгч бүрийн гарт улам ойртсоор байна.

Эх сурвалж: Hacker News (synchopate/llama-modchip хэлэлцүүлэг), ExplainX Tech Analysis, GitHub synchopate/llama-modchip