GPU-ийн ашиглалтгүй сул зогсолтыг зогсооно: NVIDIA алдарт Run:ai платформоо бүрэн нээлттэй эх (Open Source) болголоо

Орчин үеийн программ хангамжийн багуудын хувьд хамгийн өндөр зардалтай, төвөгтэй дэд бүтэц бол гарцаагүй AI/ML загваруудыг сургах болон ажиллуулах GPU кластерууд болоод байна. Гэвч олон байгууллага цагт хэдэн арван ам.долларын өртөгтэй H100, A100 зэрэг хүчирхэг картуудыг түрээсэлдэг атлаа тэдгээрийн бодит ашиглалт (GPU utilization) ердөө 20-30 хувьтай, дийлэнх хугацаанд сул зогсож байдаг гашуун бодит байдал бий.

Энэхүү асуудлыг үндсээр нь шийдэх алхмыг NVIDIA хийж, 2024 онд олон зуун сая доллараар худалдан авч байсан enterprise түвшний Run:ai платформоо бүрэн нээлттэй эх (Open Source) болгон нийтийн хүртээл болгосноо албан ёсоор зарлалаа. Энэ нь NVIDIA DSX AI Factory платформын нэг хэсэг болон гарч байгаа бөгөөд AI дэд бүтэц хариуцсан DevOps, Platform инженерүүд болон MLOps багуудад жинхэнэ утгаараа томоохон боломж нээж байна.

Kubernetes-ийн эх загвар яагаад AI-д хангалтгүй байсан бэ?

Kubernetes (K8s) анхнаасаа stateless вэб сервисийг удирдахад зориулагдсан архитектуртай. K8s-ийн стандарт scheduler нь GPU-г энгийн CPU-ийн нэг цөм шиг авч үздэг: нэг Pod нэг бүхэл бүтэн физик GPU-г эзэмшинэ, хуваалцахгүй.

Үүнээс болж:

Нөөцийн хэлтэрхийлэл (Fragmentation): Хөнгөн инференс хийх Pod эсвэл Jupyter Notebook нэг бүтэн 80GB VRAM-тай карт эзэлж, бусад нь дугаарлалтад гацна.
Gang Scheduling байхгүй: Тархмал сургалт (distributed training) эхлүүлэхэд жишээ нь 8 worker Pod зэрэг ажиллах ёстой байтал 7 нь хуваарилагдаж, 8 дахь нь сул GPU хүлээж гацсанаар эхний 7 карт сул зогсох "deadlock" үүсдэг.
Topology-unaware: Загварын параллель ажиллагаанд өндөр хурдны NVLink шаардлагатай байхад стандарт K8s аль сул байгаа өөр өөр rack, өөр node дээр тархаан байршуулж сүлжээний хоцролт (network latency) үүсгэдэг.

NVIDIA Run:ai-г нээлттэй болгосноор энэ бүх зовлонг шийдэх 4 үндсэн модулийг Apache 2.0 болон нээлттэй лицензээр бие даан ашиглах боломжтой болгожээ.

Нээлттэй болсон 4 тулгуур архитектур

NVIDIA-ийн танилцуулснаар Run:ai нь зөвхөн нэг том monolithic систем биш, кластертаа салангид байдлаар нэгтгэн ашиглаж болох дөрвөн үндсэн бүрэлдэхүүн хэсгээс бүрдэж байна:

1. KAI Scheduler

Энэ нь Kubernetes-ийн үндсэн scheduler-тэй зэрэгцэн ажиллах чадвартай, AI ачаалалд зориулсан тусгай scheduler юм. Энэхүү хөдөлгүүр нь:

Gang scheduling: AI сургалтын ажлыг "бүгд зэрэг эхлэх, эсвэл огт эхлэхгүй" зарчмаар зохицуулна.
Bin-packing: Картуудыг нягт дүүргэж байршуулснаар дараагийн том сургалтын ажилд зориулан бүтэн GPU node-үүдийг сул үлдээдэг.
Topology Awareness: Картууд хоорондоо NVLink, NVSwitch холболтоор ойрхон байгаа эсэхийг таньж Pod-уудыг хамгийн зөв цэгт хуваарилна.

2. GPU Fractioning Operator

Нэг GPU-г олон ажил хоорондоо зэрэг хувааж ашиглах (Fractional GPU) шийдэл. CUDA түвшинд санах ойн хязгаарыг хатуу тогтоож өгдөг (hard memory isolation) тул нэг Pod-ийн алдаанаас болж нөгөө Pod-ийн VRAM хэтрэн 'Out of Memory' (OOM) алдаа гарч унах эрсдэлгүй болсон.

3. KAI Resource Management

Олон баг бүхий байгууллагуудад зориулсан иерархи бүтэцтэй дараалал (Hierarchical Queues). Баг бүрд оноосон GPU квот зааж өгөхөөс гадна, хэрвээ нэг баг GPU-ээ ашиглахгүй байвал нөгөө баг нь түр хугацаанд зээлж (over-quota borrowing) ашиглах, шаардлага гарвал буцаан хураах (fair-share reclamation) боломжийг хангана.

4. Workload Map

AI төрлийн аппликейшн, Ray кластер, PyTorchJob, интерактив Jupyter орчин зэргийн амьдралын мөчлөгийг нэгдсэн стандартаар удирдах гэрээт давхарга юм.

Хөгжүүлэгчид болон компаниудад юу өөрчлөгдөх вэ?

Өмнө нь ийм түвшний дэд бүтцийн оновчлол хийхийн тулд байгууллагууд жилд хэдэн зуун мянган долларын enterprise лиценз худалдаж авдаг, эсвэл дутуу дулимаг нээлттэй эхийн залгаасуудыг өөрсдөө хүчээр холбодог байв.

Харин одоо энэ бүхэн нээлттэй болсноор:

Зардлыг шууд 40-60% хэмнэнэ: Хувааж ашиглалт болон ухаалаг дарааллын тусламжтайгаар байгаа картуудын ашиглалтыг дээд цэгт нь тулгана.
Үүлэн үйлчилгээнээс хараат бус байдал: Та өөрийн on-premise сервер, Nebius, Crusoe, эсвэл AWS EKS, GCP GKE дээр ч энэхүү стекээ шууд байршуулах бүрэн эрх чөлөөтэй болж байна.
Ecosystem дэмжлэг: Энэхүү нээлттэй санаачилгад Nebius, Crusoe, Mirantis, vCluster тэргүүтэй найман томоохон дэд бүтцийн компани нэгдэж, өөрсдийн платформд нэгтгээд эхэлжээ.

Хэрэв танай баг Kubernetes дээр GPU ажиллуулж, өндөр зардалд толгойгоо гашилгаж байгаа бол NVIDIA KAI болон Run:ai төслүүдийн GitHub репозиторыг яг одоо судалж, туршиж үзэх цаг нь иржээ.

Эх сурвалж: NVIDIA Technical Blog (developer.nvidia.com)