GPU-ийн "санах ойн хана"-ыг нураав: Cerebras 3 триллион параметртэй AI моделийг 59 вафер чипээр секундэд 2000 токен хурдтай ажиллууллаа

Сүүлийн жилүүдэд хэлний том загварууд (LLM) хэдэн зуун тэрбумаас хэдэн триллион параметрийн хэмжээтэй болон томорч, тэдгээрийг ажиллуулах (inference) дэд бүтэц технологийн салбарын хамгийн том толгойны өвчин болоод байна. Nvidia H100 болон Blackwell дээр суурилсан аварга том GPU кластерууд ч триллион параметрийн хэмжээтэй MoE (Mixture of Experts) загваруудыг ажиллуулах үед "санах ойн хана" (Memory Wall)-нд тулж, хурд нь секундэд хэдхэн арван токен болж удааширдаг билээ.

Харин өчигдөр Cerebras Systems компани вафер түвшний (wafer-scale) чипүүд дээрээ триллион параметртэй моделиудыг хэрхэн гайхалтай хурдаар ажиллуулах боломжтойг харуулсан техникийн нарийвчилсан архитектураа дэлгэлээ. Тэд саяхан нээлттэй болсон Moonshot AI-ийн 3 триллион параметртэй Kimi K3 загварыг 59 ширхэг WSE-3 (Wafer-Scale Engine) вафер дээр бүрэн байршуулж, секундэд 1,000-аас 2,000+ токен үүсгэх (tokens per second) боломжтойг баталсан байна.

Энэ нь өнөөгийн тэргүүлэх GPU үүлэн дэд бүтцүүдээс даруй 10-20 дахин хурдан үзүүлэлт юм.

"Memory Wall" ба GPU кластеруудын ялагдал

Хөгжүүлэгч бидний өдөр тутам ашигладаг LLM-ийн гол хурдны гацаа нь тооцоолох чадвар (compute) биш, харин санах ойн зурвасын өргөн (memory bandwidth) байдаг. Загвар нэг л үг буюу токен үүсгэх бүрдээ загварын бүх жингүүдийг (weights) санах ойгоос тооцоолох цөм рүү дахин дахин уншиж дуудах шаардлага гардаг.

Нэг GPU дээр 3 триллион параметр (BF16 эсвэл FP8 форматаар ч гэсэн хэдэн терабайт) багтахгүй тул загварыг хэдэн зуу, мянган GPU-д хуваан байрлуулдаг. Ингэснээр:

GPU бүр өөрийн HBM (High Bandwidth Memory)-ээс өгөгдөл татахдаа удааширна.
GPU хооронд NVLink болон сүлжээний InfiniBand-аар өгөгдөл солилцох үед асар их сүлжээний latency (хоцрогдол) үүсдэг.

Үр дүнд нь загварын хэмжээ томрох тусам бидний терминал эсвэл чат дээр хариу ирэх хурд асар удаан, latency нь тэвчихийн аргагүй өндөр болдог билээ.

WSE-3 ба 100% On-Chip SRAM Архитектур

Cerebras-ийн шийдэл бол ердийн жижиг чипүүд үйлдвэрлэхийн оронд 300 мм-ийн цахиурын хавтанг бүхэлд нь нэг чип болгон ашигладагт оршдог. Нэг ширхэг WSE-3 (Wafer-Scale Engine 3) чип дээр:

900,000 AI-д зориулсан цөм байрладаг.
Хамгийн гол нь 44 GB хэт өндөр хурдны On-Chip SRAM шууд цөмүүдийнхээ хажууд байрладаг.
Санах ойн дотоод зурвасын өргөн нь секундын 21 петабайт (PB/s) хүрдэг.

Cerebras загварын жингүүдийг HBM эсвэл DRAM гэх мэт удаан санах ойд хадгалахын оронд 59 ширхэг WSE-3 вафер чипийг хооронд нь холбож, бүх жингүүдийг шууд вафер дээрх SRAM дотор бүрэн байршуулжээ. Ингэснээр загварын өгөгдөл гадаад санах ой руу урсах хэрэггүй болж, санах ойн гацаа гэгч зүйл бараг 0 болж арилсан байна.

59 чип дээр загварыг хэрхэн зохион байгуулсан бэ?

Cerebras энэхүү системийг үр ашигтай ажиллуулахын тулд Layer Pipelining болон Request Pipelining аргыг хослуулсан байна:

Давхаргуудын хуваарилалт (Layer Mapping): 3T параметртэй MoE загварын давхаргуудыг (layers) 59 ваферын дагуу дараалуулан хуваарилсан. Нэг вафер тодорхой давхаргуудын матриц үржүүлэлтийг бүрэн хариуцна.
Вафер хоорондын супер хурдны сүлжээ: Вафер хоорондын холболтын хоцрогдол ердөө 2 микросекунд тул дараагийн давхарга руу өгөгдөл шилжихэд ямар ч сүлжээний бөглөрөл үүсэхгүй.
Хүсэлтийн конвейер (Pipeline Parallelism): Хэдэн зуун хэрэглэгчийн хүсэлт ваферуудын дундуур цуваа конвейер мэт урсаж өнгөрнө. Нэг вафер эхний хүсэлтийг дараагийн вафер руу шилжүүлмэгц дараагийн хэрэглэгчийн хүсэлтийг шууд боловсруулж эхэлнэ.

Энэхүү загварын ачаар нэг хэрэглэгчид ирэх үүсгэлтийн хурд секундэд 1000–2000 токен давж байгаа нь хүний унших хурднаас хэдэн арав дахин хурдан гэсэн үг юм.

Энэ нь хөгжүүлэгчдэд ямар боломж нээх вэ?

Энэ нь зүгээр л тооны өсөлт биш, програм хангамжийн архитектурын хувьсгал юм:

AI Агентуудын "Шуурхай сэтгэлгээ": Одоогийн олон шатлалт код бичигч агентууд (Claude Code, Cursor agent, Devin гэх мэт) өөрийн кодоо турших, алдаагаа засах цикл бүрдээ хэдэн арван секунд хүлээлгэдэг. 10,000 токен бүхий нарийн төвөгтэй шалгах цикл GPU дээр 1-2 минут болдог бол Cerebras дээр ердөө 5-6 секундэд амжина.
Deep Reasoning бодит цагт ажиллана: OpenAI-ийн o1, Moonshot K3 зэрэг загварууд эцсийн хариу өгөхөөс өмнө ардаа хэдэн мянган токены "бодлын хэлхээ" (Chain-of-Thought) боловсруулдаг. Өндөр хурдны inference нь эдгээр загваруудыг хүнтэй ярилцаж буй мэт бодит хугацаанд (real-time) ашиглах үүдийг нээж байна.

Үнэгүй бялуу гэж үгүй: Сул тал ба бэрхшээл

Мэдээж энэхүү гайхамшигт хурд нь өөрийн гэсэн төлөөстэй:

Эрчим хүч ба Хөргөлт: Нэг ширхэг WSE-3T вафер дунджаар 20 кВт эрчим хүч хэрэглэдэг тул 59 вафер бүхий систем нийтдээ 1.2 Мегаватт цахилгаан шаардана. Үүнийг зөвхөн шууд шингэн хөргөлтийн (liquid cooling) тусгай өгөгдлийн төвд л байрлуулах боломжтой.
Hardware Lock-in: Nvidia-ийн CUDA экосистем шиг уян хатан биш. Загварыг зөвхөн Cerebras-ийн тусгай хөрвүүлэгч (compiler) болон архитектурт зориулж хөрвүүлж ажиллуулах шаардлагатай болдог.

Гэсэн хэдий ч Cerebras-ийн энэхүү амжилт нь хиймэл оюуны тооцоололд GPU-ээс өөр цоо шинэ архитектур заавал хэрэгтэйг, мөн ирээдүйн триллион параметрийн хурд зөвхөн санах ойн дизайныг өөрчилснөөр ирнэ гэдгийг тод батлан харууллаа.

Эх сурвалж: Cerebras Systems Architecture Engineering Blog ("How Cerebras Deploys Trillion-Parameter AI Models") & Hacker News Discussion.