Redis-ийг бүтээгч antirez нэг файлт C хөдөлгүүрээрээ Local AI-ийн дүрмийг шинэчлэв: DwarfStar 4 (ds4)
Системийн программчлалын ертөнцөд энгийн хийц, хэт өндөр хурдаараа домог болсон нэгэн эрхэм бол яах аргагүй Redis өгөгдлийн санг C хэл дээр анх ганцаараа бичсэн Сальваторе Санфилиппо буюу бидний мэдэх antirez билээ. Тэрээр олон жилийн дараа дахин нэг шуугиан дэгдээж, өөрийн хөгжүүлж буй локал inferencing хөдөлгүүр болох DwarfStar 4 (ds4)-ийн албан ёсны баримтжуулалт, шинэчлэгдсэн дэд бүтцийг дэлгэлээ.
Ердөө 18,000 мөр бүхий нэг цул C эх файлаас (ds4.c) бүрдсэн уг төсөл нь Hacker News-ийн тэргүүн эгнээнд цойлж, үүлэн үйлчилгээ болон ерөнхий зориулалтын хүнд inferencing framework-уудаас залхсан инженерүүдийн анхаарлыг бүрэн татаж байна.
1. Ерөнхий зориулалтын "нүсэр сан" биш, нарийн мэргэшсэн хүч
Өнөөдөр хувийн төхөөрөмж дээрээ том хэлний загвар (LLM) ажиллуулах гэхээр бид ихэвчлэн llama.cpp, Ollama эсвэл vLLM зэрэг сангуудыг сонгодог. Гэвч тэдгээр нь бүх төрлийн архитектур, хэдэн арван загварын хувилбарыг зэрэг дэмжих гэж явсаар код нь асар нүсэр болж, шинэ үеийн загваруудын техник хангамжийн боломжийг дээд цэгт нь хүртэл шахаж чаддаггүй дутагдалтай.
Харин ds4-ийн философи нь анхнаасаа тэс өөр:
- Тэргүүлэх нээлттэй загваруудад чиглэсэн: Энэхүү хөдөлгүүр нь бүх моделыг дэмжих гэж оролдохгүй. Харин DeepSeek V4 / V4 Flash, GLM, Qwen3.8 зэрэг хамгийн сүүлийн үеийн өндөр гүйцэтгэлтэй MoE (Mixture of Experts) загваруудад тусгайлан зориулагджээ.
- 2.0x-оос 2.7x дахин өндөр decode хурд: Apple Silicon (Metal) болон NVIDIA (CUDA), AMD (ROCm)-д зориулан маш нарийн бичигдсэн доод түвшний кэрнелүүдийн ачаар llama.cpp-ээс 2–2.7 дахин хурдан токен үүсгэж байна. Жишээлбэл, 128GB санах ойтой M5 Max дээр 27–36 tok/s тогтмол хурдаар 284B хэмжээтэй моделийг ажиллуулж буй нь гайхалтай үзүүлэлт юм.
- 2/8-bit тэгш бус квантчлал (Asymmetric Quantization): Тухайн моделийн жинг оновчтой хольж хөнгөвчилснөөр 96GB болон 128GB нэгдсэн санах ойтой (unified memory) зөөврийн компьютер дээр асар том параметертэй, салбарын тэргүүлэх түвшний моделийг ямар ч үүлэн сүлжээний дата төв рүү хандахгүйгээр бүтэн ажиллуулах боломж олгожээ.
2. Гол хувьсгал: NVMe SSD дээр суурилсан Disk KV Cache
Хөгжүүлэгчдийн өдөр тутамдаа ашигладаг AI агентууд, код бичигч туслахуудын хамгийн том зардал нь өмнөх ярианы түүх, системийн удирдамж, төслийн кодын бүтцийг (prompt context) дахин дахин санах ойд боловсруулах (prefill) явдал байдаг. Хэрэв та олон файлууд дундаас хайлт хийж, урт яриа өрнүүлж байгаа бол санах ой (RAM) тун амархан дуусдаг.
ds4 үүнийг Disk-backed KV Cache буюу шууд өндөр хурдны SSD диск рүү кэшлэх технологиор шийдсэн нь онцлох ололт болов:
- DeepSeek-ийн шахсан MLA (Multi-head Latent Attention) архитектурыг ашигласнаар 256,000 токены контекстийн кэш ердөө 3.5 GiB орчим хэмжээтэй болдог.
- ds4 уг кэшийг RAM-д хадгалахын оронд шууд NVMe SSD дээр байрлуулснаар санах ойн дарамтыг эрс бууруулж, хувийн компьютер дээр 1 сая хүртэлх токены урт контекст ашиглах замыг нээсэн.
- Хамгийн чухал нь кэш байнгын (persistent) хадгалагддаг. Та терминалаа хааж, маргааш нь ажлаа үргэлжлүүлэхэд өмнөх эргэлтүүдийн префикс кэш disk-ээс шууд уншигдах тул нүсэр prefill-ийг дахин тооцоолох шаардлагагүй, 0 секундийн сааталтайгаар шууд үргэлжлүүлнэ.
3. ds4-agent ба OpenAI/Anthropic API нийцэл
ds4 нь зүгээр нэг жижиг туршилтын скрипт биш, бүрэн ажиллагаатай хөгжүүлэлтийн экосистем юм:
- Суурилуулсан ds4-agent: Системдээ өөр ямар нэг хүнд агент фрэймворк нэмэх шаардлагагүй. ds4 нь файлын систем дээрээс код унших, засах, терминал дээр комманд ажиллуулах өөрийн гэсэн минимал агентийг дагалдуулдаг.
- Стандарт API Gateway: Төсөл нь өөр дээрээ хөнгөн HTTP сервер ажиллуулдаг бөгөөд OpenAI болон Anthropic-ийн API форматад бүрэн нийцсэн. Ингэснээр хөгжүүлэгчид Cursor, VS Code өргөтгөлүүд, CLI хэрэгслүүд болон бусад агентууддаа API endpoint-ийг нь
http://localhost:portболгон заагаад л шууд ашиглах боломжтой.
4. AI эрин үеийн программ хангамжийн шинэ парадигм
Энэхүү төслийн хамгийн гүн сэтгэгдэл төрүүлсэн хэсэг нь antirez-ийн дэвшүүлсэн үзэл баримтлал байв. Түүний хэлснээр, AI код бичигч агентууд хүчирхэг болсон өнөө үед программ хангамжийг бүтээх, түгээх арга барил өөрөө өөрчлөгдөх ёстой.
Өмнө нь хөгжүүлэгчид байж болох бүх техник хангамж, үйлдлийн систем, захын тохиолдлуудыг багтаасан нүсэр номын сан бичдэг байсан бол одоо маш цэвэрхэн, тунгалаг, хамгийн чухал цөмийг нь оновчтой шийдсэн "артефакт загвар" гаргахад хангалттай. Учир нь аливаа инженер өөрийн тусгай серверийн GPU, өвөрмөц тохиргоонд зориулж энэхүү 18 мянган мөр C кодыг AI агентаар дамжуулан хэдхэн минутын дотор өөрчлүүлж, яг өөрийн архитектурт тохирсон максимал хурдыг гаргаж авах чадвартай болсон байна.
Хэрэв та өөрийн байгууллагын чухал код, нууц өгөгдлийг гадагш үүлэн сервер рүү дамжуулахгүйгээр, офлайн орчинд хамгийн сүүлийн үеийн LLM-үүдийг дээд хурдаар ажиллуулахыг хүсэж байгаа бол DwarfStar 4-ийг туршиж үзэхийг зөвлөж байна.
Эх сурвалж: Hacker News, Salvatore Sanfilippo GitHub (antirez/ds4), dwarfstar.sh
Сэтгэгдэл
Ачаалж байна...