12GB GPU дээр 125B загварыг 100 tok/s хурдаар: "Strata" хөдөлгүүр орон нутгийн AI-ийн дүрмийг өөрчиллөө
Нээлттэй эхийн "Strata" төсөл VRAM, систем RAM болон NVMe санах ойн гурван шатлалт архитектур, параллель CPU тооцооллыг ашиглан 125 тэрбум параметртэй MoE загварыг энгийн хэрэглэгчийн компьютер дээр 100 tokens/sec хурдаар ажиллуулж чадлаа.