GPU програмчлалын 20 жилийн C++ монополь нурлаа: NVIDIA кернелийг цэвэр Rust хэлээр бичих албан ёсны дэмжлэг зарлалаа

Хэрэв та хиймэл оюун ухааны тооцоолол, график рендеринг эсвэл өндөр хүчин чадалтай тооцоолол (HPC) хийх явцдаа NVIDIA GPU-ийн бодит нөөцийг тултал нь ашиглахыг хүсвэл ганцхан зам байсан нь CUDA C++. PyTorch, JAX зэрэг орчин үеийн хүчирхэг framework-ууд дээр код бичиж байгаа хэдий ч хамгийн гүн түвшний kernel тооцооллыг хурдасгахын тулд C++ хэлтэй нүүр тулахаас өөр аргагүй байв.

Гэвч энэ хатуу дүрэм албан ёсоор өөрчлөгдлөө. NVIDIA компани GPU тооцооллын цөм болсон кернелийг ямар нэгэн FFI (Foreign Function Interface) болон дундын C++ давхаргагүйгээр, цэвэр Rust хэлээр төрөлхийн (native) бичих албан ёсны дэмжлэгээ зарлалаа.

Энэ нь системийн програмчлал болон AI дэд бүтцийн салбарт сүүлийн жилүүдэд гараагүй томоохон эргэлт болж байна.

C++ яагаад GPU дээр хөгжүүлэгчдийн "хар дарсан зүүд" байсан бэ?

GPU дээр код бичих нь CPU-ээс тэс ондоо философи шаарддаг. CPU нь цөөн тооны урсгалыг нарийн логикоор дараалуулан гүйцэтгэхдээ гарамгай бол GPU нь SIMT (Single Instruction, Multiple Threads) загвараар хэдэн арван мянган урсгалыг нэгэн зэрэг ажиллуулдаг.

Үүнээс гадна GPU-ийн санах ой нь нэгэн төрлийн биш:

Global Memory: Бүх thread-д нээлттэй боловч харьцангуй өндөр latency-тай.
Shared Memory: Нэг thread block дотор маш хурдан боловч хэмжээ багатай.
Local & Constant Memory: Зөвхөн тодорхой нөхцөлд ашиглагддаг тусгай хаягийн орон зай (address space).

C++ хэлэнд санах ойн аюулгүй байдлын хатуу шалгалт (memory safety) байдаггүй тул зэрэгцэн ажиллаж буй мянга мянган урсгалуудын дунд санах ойг буруу хаяглах (out-of-bounds), өгөгдлийн уралдаан үүсэх (data race), мөн нэг pointer нөгөөдөө саад болох (aliasing) зэрэг алдаанууд бараг зайлшгүй гардаг. Хамгийн аюултай нь, эдгээр алдаа компилятор дээр биш зөвхөн үйлдвэрлэлийн орчинд GPU дээр crash үүсгэх юм уу бүр чимээгүйгээр тооцооллын үр дүнг буруу гаргадаг байв.

NVIDIA үүнийг хэрхэн шийдсэн бэ: Хоёр түвшний архитектур

NVIDIA-ийн танилцуулсан шийдэл нь өмнө нь хөгжүүлэгчдийн туршиж байсан энгийн C++ wrapper биш юм. Энэ нь Rust-ийн AST болон MIR (Mid-level Intermediate Representation)-ийг шууд GPU-ийн PTX (Parallel Thread Execution) машин кодод хөрвүүлдэг жинхэнэ компилятор түвшний дэмжлэг юм.

NVIDIA хөгжүүлэгчдэд зориулж хоёр үндсэн замыг санал болгож байна:

1. Low-Level Track: CUDA-ийн бүрэн удирдлага

Энэ зам нь уламжлалт CUDA C++ бичиж дассан системийн инженерүүдэд зориулагдсан. threadIdx, blockIdx, __syncthreads() зэрэг бүх үндсэн ойлголтууд Rust-ийн синтакс руу шууд бууж ирнэ. Хөгжүүлэгч техник хангамжийн бүх нөөцийг гараараа удирдах боломжтой хэвээр байх ба хамгийн гол нь Rust-ийн static type system-ээр олон тооны алдааг компиляцийн шатанд илрүүлнэ.

2. High-Level Track: cuTile Rust

Энэ нь орчин үеийн AI инженерингэд зориулсан шинэ бүтэц юм. Tensor тооцооллыг нэг нэг thread-ээр биш, харин блокоор нь буюу Tile-аар удирдах Triton маягийн хэв маягийг санал болгодог. Хамгийн сонирхолтой нь: NVIDIA энд Rust-ийн Ownership болон Borrowing моделийг GPU-ийн shared memory-ийн хаяглалтад шууд холбож өгсөн явдал юм. Санах ойн блок аль thread-д харьяалагдаж байгааг хэлний өөрийнх нь дүрэм шалгах тул өгөгдөл давхцаж бичигдэх магадлал техникийн хувьд арилж байна.

Програм хангамж хөгжүүлэгчдэд ямар боломж нээгдэх вэ?

Нэг хэл, бүтэн стек (Single Language Stack): Өмнө нь систем хөгжүүлэгчид веб болон microservice-ийг Rust дээр бичиж байсан ч GPU хэсэгтээ C++ эсвэл CFFI залгаж, хоёр өөр хэрэгслийн хэлхээ (toolchain) авч явдаг байсан. Одоо бүх серверийг зөвхөн Rust-ээр босгож, backend-ээсээ шууд GPU kernel дуудах боломж бүрдэж байна.
Compile-time Debugging: Олон мянган долларын өртөгтэй cloud GPU кластер дээр ажиллуулаад алдаа зааж зогсдог байсан асуудлыг компилятор код угсрах (build) явцад л зааж өгдөг болно.
AI экосистемийн шинэ давалгаа: Hugging Face-ийн Candle, Burn зэрэг цэвэр Rust дээр суурилсан AI framekork-ууд NVIDIA-ийн энэхүү дэмжлэгтэй нэгдсэнээр C++ хамааралгүй бүрэн санах ойн хамгаалалттай inference болон training дэд бүтцийг бүтээх бодит зам нээгдлээ.

Төгсгөлд нь

Олон жилийн турш AI болон HPC-ийн хамгийн доод түвшний зэвсэг нь C++ хэвээр үлдэнэ гэж үздэг байв. Гэвч технологийн хамгийн том "hardware monopoly" болсон NVIDIA өөрөө Rust-ийн найдвартай байдлыг албан ёсоор хүлээн зөвшөөрч, CUDA экосистемдээ нэгдүгээр зэрэглэлийн иргэн (first-class citizen) болгож байгаа нь том дохио юм.

Хэрэв та өндөр хүчин чадалтай тооцоолол, AI инженерчлэл сонирхдог бол Rust сурах шалтгаан өнөөдөр дахин нэгээр нэмэгдлээ.

Эх сурвалж: NVIDIA Technical Blog ("Introducing CUDA Rust: Two Tracks for Writing GPU Kernels"), Hacker News Community Discussion.