54GB-ийн LLM-ийг 5.9GB болгож агшаав: 27B моделийг энгийн зөөврийн компьютер дээр алдагдалгүй ажиллуулах "Bonsai 2" гарлаа

Хөгжүүлэгч бүрийн хувьд өөрийн машин дээрээ бие даасан, хүчирхэг AI агент ажиллуулахад тулгардаг хамгийн том саад бол санах ойн хязгаарлалт (VRAM/RAM) байсаар ирсэн. 27 тэрбум (27B) буюу дунд оврын хамгийн өндөр чадвартай моделиудыг бүрэн нарийвчлалаар (FP16) ачаалахад хамгийн багадаа 54GB-аас дээш санах ой шаардагддаг тул үнэтэй дата төвийн сервер эсвэл олон тооны GPU шаарддаг байв.

Харин Caltech-ийн судлаачдын байгуулсан PrismML стартап уг асуудлыг сууриар нь шийдсэн Bonsai 2 27B моделио дэлгэлээ. Тэд Alibaba-ийн шилдэг Qwen3.8 27B суурь загварыг ternary буюу гурвалсан жингийн системд амжилттай хөрвүүлэн, жинг нь 5.9GB хүртэл 9 дахин багасгаж, анхны бүтэн нарийвчлалтай моделийн чадварын 98.2%-ийг хадгалж чадсан байна.

16 битийн үржүүлэлтээс 1.58 битийн нэмэх/хасах үйлдэл рүү

LLM-ийг шахах уламжлалт арга болох INT8 эсвэл INT4 quantization нь моделийн санах ойг багасгадаг ч тодорхой хэмжээний чанарын уналт (perplexity gap) дагуулдаг. Харин сүүлийн жилүүдэд судлаачдын анхаарлыг татаж буй 1-бит / ternary квантчлал нь моделийн парамерт бүрийн жинг зөвхөн 3 төлөвт хуваадаг: { -1, 0, +1 }.

Үүний инженерийн давуу тал нь асар өндөр:

Үржүүлэх үйлдлийг халсан (Multiplication-free GEMM): Тооцоолол хийхэд хүнд хөвөгч таслалтай тоонуудыг үржүүлэх шаардлагагүй болж, матриц үржүүлэлтийн дийлэнх нь энгийн нэмэх болон хасах (addition & subtraction) үйлдэл болон хувирдаг.
Memory Bandwidth-ийн гацаа арилсан: Төхөөрөмжийн GPU/NPU дээр inference хийхэд хамгийн их саатал үүсгэдэг зүйл бол санах ойгоос жин татах хурд (memory bandwidth) байдаг. Bonsai 2 27B нь ойролцоогоор 1.75-бит (PTQ1_0 савлалт) хэмжээтэй тул санах ойн автобусаар дамжих өгөгдлийн урсгал 9 дахин буурдаг.
Эрчим хүчний хэмнэлт: Нэмэх үйлдэл нь хөвөгч таслалтай FP16 үржүүлэх үйлдлээс физик түвшинд 5-10 дахин бага эрчим хүч зарцуулдаг.

"Near-Lossless" чанар: Яагаад 98.2% гэж?

Bonsai-ийн өмнөх үеийн загвар нь FP16 хувилбарынхаа чадварын 95%-ийг хадгалж байсан бол энэ удаагийн Bonsai 2 хувилбар уг үзүүлэлтийг 98.2%-д хүргэж, чанарын зөрүүг бараг арилгаж чаджээ.

Тус загвар нь хөгжүүлэгчдийн хамгийн чухал хэмжүүрүүд болох:

Код бичилт ба debugging: Baseline загварын түвшинтэй ижил түвшинд тестүүдийг давсан.
Математик болон логик дүгнэлт (Reasoning): Төлөвлөлт, алхамчилсан сэтгэхүйн (chain-of-thought) бенчмаркууд дээр бүрэн нарийвчлалтай хувилбараасаа ердөө 0.5 онооны л зөрүүтэй гарсан.
Vision болон Multimodal чадвар: Загварын бүтцэд 0.92GB бүхий vision tower багтсан бөгөөд зөөврийн компьютер дээрээ архитектурын диаграмм, дэлгэцийн агшин, PDF баримтуудыг шууд таньж дүн шинжилгээ хийх боломжтой.

Хөгжүүлэгчийн практик орчинд: 262K контекст ба MCP дэмжлэг

Bonsai 2 нь зөвхөн онолын судалгаа биш, хөгжүүлэгчдийн өдөр тутмын хэрэгцээг бүрэн хангахуйц архитектурын сайжруулалтуудтай гарсан:

262,000 токен контекст: Төхөөрөмж дээр ажилладаг загваруудын том асуудал нь контекст уртсах тусам KV cache санах ойг дүүргэдэг явдал юм. Bonsai 2 нь hybrid-attention backbone ашиглаж, урт контекстийн санах ойн зардлыг энгийн төхөөрөмжид нийцүүлэн багасгасан.
Agentic Tool Calling & MCP: OpenAI хэлбэрийн tool calling функцээс гадна Anthropic-ийн өргөн дэлгэрүүлж буй Model Context Protocol (MCP)-ийг сууриар нь дэмждэг. Ингэснээр та өөрийн локал файл систем, Git репозитор, өгөгдлийн санг локал AI агенттайгаа найдвартай холбож болно.
Хурд: Туршилтаар Apple Silicon M цувралын чип дээр MLX ашиглан ~47 tok/sec хурдтай ажиллаж буйг баталгаажуулсан байна.

Хэрхэн өөрийн машиндаа турших вэ?

Энгийн стандарт llama.cpp сан нь одоогоор эдгээр тусгай ternary хайбрид кернелийг дэмждэггүй тул PrismML-ийн инженерүүдийн гаргасан зориулалтын runtime-ийг ашиглах шаардлагатай:

# 1. Демо репозиторыг хуулж авах
git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo

# 2. Суулгах болон 5.9GB загварыг татаж авах
./setup.sh

# 3. Локал серверийг асаах
./scripts/start_llama_server.sh

Сервер асны дараа http://localhost:8080 хаягаар нэвтэрч локал чат, vision болон tool-calling туршилтуудаа шууд эхлүүлэх боломжтой. Мөн Hugging Face дээр GGUF болон MLX форматууд нь нээлттэй байршсан байна.

Дүгнэлт: Local AI-ийн эрин үе эхэллээ

Бүх AI бүтээгдэхүүнээ төлбөртэй OpenAI, Anthropic-ийн API руу хамааруулж, нууцлалтай кодоо үүлэн орчинд илгээх шаардлагагүй болох цаг улам ойртсоор байна. PrismML-ийн харуулж буйгаар, алгоритмын түвшний шахалт болон шинэ тооцооллын архитектурын тусламжтайгаар хөгжүүлэгчид 27B зэрэглэлийн сэтгэх чадвартай хүчирхэг AI агентуудыг өөрийн MacBook, линукс зөөврийн компьютер дээрээ бүрэн оффлайн, ямар ч зардалгүйгээр ажиллуулах нь бодит боломж боллоо.

Эх сурвалж: PrismML Research, Hugging Face (prism-ml/Ternary-Bonsai-2-27B), Hacker News