Өнэтэй AI кластеруудыг чөлөөллөө: NVIDIA "Run:ai" платформоо бүрэн нээлттэй эх (Open Source) болголоо
Орчин үеийн хиймэл оюун (AI) болон их өгөгдлийн багуудын хувьд хамгийн том толгойны өвчин бол тооцоолох хүчин чадлын хомсдол төдийгүй, байгаа үнэтэй GPU-үүдээ үр ашиггүй сул зогсоох (underutilization) асуудал байдаг. Хөгжүүлэгч нэг л Jupyter notebook нээж туршилт хийхийн тулд 80GB санах ойтой бүтэн A100 эсвэл H100 картыг өөртөө түгжих нь жирийн үзэгдэл байв.
Уг асуудлыг шийдэх зорилгоор 2024 онд NVIDIA компани GPU хуваарилалт, кластер менежментийн стартап Run:ai-г худалдан авч байсан билээ. Тэгвэл NVIDIA гэнэтийн шийдвэр гаргаж, enterprise түвшний энэхүү бүхэл бүтэн платформоо Apache 2.0 лицензтэйгээр нээлттэй эх (Open Source) болгон GitHub дээр нийтэлснээ албан ёсоор зарлалаа.
Энэхүү алхам нь MLOps, DevOps инженерүүд болон хиймэл оюуны загвар хөгжүүлэгч багуудад ямар боломж авчирч буйг дэлгэрэнгүй авч үзье.
Стандарт Kubernetes яагаад GPU дээр хүчин мөхөсдөг вэ?
Үүлэн тооцоолол болон микросервисийн ертөнцөд ноёрхдог Kubernetes нь үндсэндээ CPU болон RAM-ийн хуваарилалтад тохируулагдсан архитектуртай байдаг. Уламжлалт K8s дээр GPU-г "бүхэл" нэгж (integer resource) гэж үздэг бөгөөд нэг Pod-д нэг буюу түүнээс дээш тооны GPU-г бүхлээр нь олгодог.
Үр дүнд нь:
- Хөгжүүлэгчийн ажиллуулж буй жижиг код картын санах ойн дөнгөж 15%-ийг ашиглаж байсан ч бусад багийн гишүүд үлдсэн 85%-ийг ашиглах боломжгүй болж түгжигддэг.
- NVIDIA-ийн техник хангамжийн MIG (Multi-Instance GPU) технологи байдаг ч энэ нь уян хатан биш, кластер дахин тохируулахыг шаарддаг, dynamic scaling хийхэд хүндрэлтэй байдаг.
- Тархмал сургалтын (distributed training) үед олон node дамнан ажиллах багц ажлуудад (gang scheduling) ээлж дараалал үүсгэх, priority менежмент хийх стандарт механизм дутагддаг.
Run:ai нь эдгээр асуудлуудыг шийдсэнээр enterprise зах зээлд өндөр нэр хүнд олж авсан юм.
GitHub дээр юу нийтлэгдэв?
NVIDIA энэ удаад платформын зөвхөн суурь хэсгийг биш, хяналтын удирдлага (Control Plane), Kubernetes операторууд, хэрэглэгчийн интерфейс (UI) болон API-г бүхэлд нь NVIDIA DSX AI Factory санаачилгын хүрээнд нээлттэй болголоо.
Нээлттэй болсон гол технологиуд:
-
GPU Fractioning Operator (Динамик хуваарилалт): CUDA түвшинд GPU-ийн график санах ой болон тооцоолох цөмийг pod бүрт динамикаар хувааж (slice) өгөх боломжтой болсон. Ингэснээр нэг биет GPU дээр хэд хэдэн хөгжүүлэгчийн туршилт, эсвэл inference контейнерийг тусгаарлагдсан орчинд зэрэг ажиллуулж, GPU-ийн бодит ашиглалтыг 80-90%-д хүргэх боломжтой.
-
KAI Scheduler (AI-д зориулсан шинэ төлөвлөгч): Хиймэл оюуны тооцоололд тусгайлан зориулсан уг төлөвлөгч нь тархмал сургалтуудад шаардлагатай Gang Scheduling (бүх шаардлагатай pod-ууд нэгэн зэрэг бэлэн болсон үед л ажлыг эхлүүлэх), уян хатан дараалал (Queue priority), болон шударга хуваарилалтын (Fair-share) алгоритмуудыг дэмждэг.
-
KAI Resource Management (Квот ба эрхийн удирдлага): Байгууллагын олон баг, төслүүдэд зориулсан шаталсан квот (hierarchical quotas), over-subscription буюу сул байгаа нөөцийг түр зээлдүүлж ашиглах боломжийг олгодог. Хэрэв өндөр ач холбогдолтой сургалтын ажил орж ирвэл сул ажиллаж байсан бага эрхтэй ажлуудыг автоматаар түр зогсоож (preemption), нөөцийг чөлөөлдөг.
-
Model Streamer болон Workload Map: Олон тэрбум параметр бүхий том загваруудын жин (weights)-ийг кластерын санах ой руу секундийн дотор түргэн ачаалах интеграцын шийдлүүд багтсан байна.
Хөгжүүлэгчид болон багуудад ямар үр ашигтай вэ?
Хамгийн гол нь: Лицензийн түгжээ арилав.
Өмнө нь энэхүү платформыг ашиглахын тулд үнэтэй enterprise гэрээ, NVIDIA NGC данс, эсвэл үүлэн үйлчилгээний өндөр өртөгтэй багцууд шаардагддаг байсан. Харин одоо:
- Өөрийн дата төв дээр (On-Premises): Компаниуд өөрсдийн сервер дээрх GPU кластертаа Run:ai-г шууд Helm chart ашиглан суулгаж, кластераа enterprise түвшинд зохион байгуулах боломжтой боллоо.
- Үүлэн орчинд (AWS EKS, GCP GKE, Crusoe): Аль ч үүлэн үйлчилгээний стандарт Kubernetes дээр Run:ai-г ажиллуулж, өртгөө 50% хүртэл бууруулах боломж нээгдэв.
- Нээлттэй экосистем: Хөгжүүлэгчид кодын санг өөрсдийн хэрэгцээнд нийцүүлэн өөрчлөх, дотоод мониторингийн системүүдтэйгээ (Prometheus, Grafana) гүн холбох боломж бүрдлээ.
Хэрхэн туршиж эхлэх вэ?
Төслийн эх код GitHub дээрх dsx-ai-factory/run-ai репозиторт Apache 2.0 лицензтэй байршиж байна. Хэрэв танай баг Kubernetes кластер ажиллуулдаг бөгөөд дотоод GPU нөөцөө дата сайнс, ML инженерүүдийнхээ дунд үр ашигтай хуваарилахад толгой гашилгаж байсан бол өнөөдрөөс эхлэн ямар нэгэн тусгай лицензийн түлхүүр шаардалгүйгээр Run:ai-г кластер дээрээ deploy хийж турших боломжтой.
AI дэд бүтцийн програм хангамжийн давхарга нээлттэй эхийн гараар улам ардчилсаар байна.
Эх сурвалж: NVIDIA Technical Blog, GitHub (dsx-ai-factory/run-ai), Crusoe Cloud Announcement
Сэтгэгдэл
Ачаалж байна...