Blog

54GB-ийн LLM-ийг 5.9GB болгож агшаав: 27B моделийг энгийн зөөврийн компьютер дээр алдагдалгүй ажиллуулах "Bonsai 2" гарлаа

PrismML стартап 27 тэрбум параметртэй Qwen3.8 моделийг Ternary (1.58-бит) шахалтаар 9 дахин жижигрүүлж, бүрэн нарийвчлалтай FP16 хувилбарынх нь чадварын 98.2%-ийг хадгалсан Bonsai 2 27B моделийг танилцууллаа. Одоо 27B хэмжээний сэтгэх чадвартай AI-г ердөө 5.9GB RAM ашиглан орон нутгийн (local) төхөөрөмж дээрээ секундийн 47 токен хурдтай ажиллуулах боломжтой боллоо.

TOGTOKH2026 оны есдүгээр сарын 18