Сая GPU-ийн эрин үе: Meta хиймэл оюуны сүлжээний гацааг арилгах шинэ "MetaRoCE" протоколыг танилцууллаа

Хиймэл оюуны (AI) их хэмжээний загваруудыг сургах болон global scale түвшинд инференс (inference) хийхэд тооцоолох хүчин чадал буюу GPU-ийн хурдаас гадна тэдгээрийг хооронд нь холбож буй дата төвийн сүлжээний дэд бүтэц хамгийн том шийдвэрлэх хүчин зүйл болж хувираад байна.

Meta компани AI кластеруудаа хэдэн зуун мянгаас сая гаруй GPU-ийн цар хүрээтэй болгон өргөжүүлж буй энэ үед энгийн commodity Ethernet сүлжээгээр хамгийн бага хоцрогдолтойгоор өгөгдөл солилцох зориулалттай "MetaRoCE" хэмээх цоо шинэ RDMA (Remote Direct Memory Access) тээврийн протоколыг албан ёсоор танилцуулж, бүрэн нээлттэй болгосноо зарлалаа.

Өнөөгийн сүлжээний том гацаа: RoCEv2 ба PFC-ийн сул тал

Орчин үеийн тархмал AI сургалтад All-Reduce, All-to-All зэрэг synchronization үйлдлүүд тасралтгүй явагддаг. Хэдэн мянган GPU-ийн дундах хамгийн сүүлийн, удаан дамжсан ганц пакетаас болж бүхэл бүтэн кластер хүлээлтийн горимд шилжиж (compute stranding), тооцооллын зардал асар ихээр үрэгддэг.

Үүнийг шийдвэрлэхийн тулд салбарт InfiniBand болон уламжлалт RoCEv2 (RDMA over Converged Ethernet)-ийг ашиглаж ирсэн билээ. Гэвч уламжлалт RoCEv2 нь дараах томоохон хязгаарлалтуудтай:

In-Order Delivery-ийн шаардлага: Сүлжээний пакетууд яг дарааллынхаа дагуу ирэхийг шаарддаг тул сүлжээн дэх олон замыг нэгэн зэрэг үр дүнтэй ашиглаж (packet spraying) чаддаггүй.
PFC (Priority Flow Control) ба Lossless сүлжээний хамаарал: Багц пакет гээгдэхээс (packet drop) сэргийлж свичүүд "Pause Frame" илгээдэг. Гэвч энэ нь том хэмжээний кластерт Head-of-Line Blocking, PFC Deadlock, болон сүлжээний нуралт үүсгэх эрсдэлтэй байдаг.

MetaRoCE-ийн философи: "The fabric sees packets, the NIC sees intent"

Meta компанийн инженерүүдийн гаргасан гол шийдэл нь сүлжээний ухаалаг удирдлагыг төвийн свичүүдээс салгаж, endpoint буюу NIC (Network Interface Card) руу шилжүүлэх байв. Өөрөөр хэлбэл, свичүүд зүгээр л пакетуудыг дамжуулах ба харин холболтын дараалал, урсгалын хяналтыг NIC өөрөө бүрэн хариуцна.

MetaRoCE-ийн гол техникийн давуу талууд:

1. Out-of-Order Delivery & Packet Spraying

MetaRoCE нь пакетууд хүлээн авагч талд ямар ч дараалалгүйгээр (out-of-order) ирэхийг зөвшөөрдөг. Үүний ачаар өгөгдлийг сүлжээний бүх боломжит сувгаар зэрэг шүрших (multipath packet spraying) боломжтой болж, сүлжээний ачааллыг 100% тэнцвэржүүлнэ.

2. Lossy Ethernet дээр ажиллах уян хатан байдал

PFC буюу алдагдалгүй сүлжээ шаардах шаардлагагүй болсон. Ethernet сүлжээг анхнаасаа багц хаягдаж болох (lossy) орчин гэж тооцон, NIC дээр түргэн хугацаанд пакетийг дахин илгээх ухаалаг механизм суулгажээ. Энэ нь PFC-ийн гацалтыг бүрэн арилгасан байна.

3. Receiver-Driven Congestion Control

Хүлээн авагч тал (Receiver) нь өөрийн буферийн нөхцөл байдал болон зам бүрийн хоцрогдол (per-path RTT), ECN төлөв зэрэг бодит хэмжигдэхүүнийг хянаж, илгээгчийн хурдыг микросекундын нарийвчлалтайгаар зохицуулна.

Open Compute Project (OCP) ба нээлттэй стандарт

Meta өөрийн бүтээсэн дэд бүтцийг хаалттай байлгахын оронд Open Compute Project (OCP)-ээр дамжуулан нийтийн хүртээл болгож байна:

MetaRoCE Specification: Техникийн бүрэн стандарт ба баримт бичиг.
DPDK Software Reference Implementation: Программистууд болон техник хангамж үйлдвэрлэгчид шууд туршиж, загварчлах боломжтой программ хангамжийн суурь код.
Compliance Test Suite: Шинэ сүлжээний картууд (NIC) болон свичүүд MetaRoCE стандартад нийцэж буйг шалгах сорилын багц.

Meta энэхүү протоколыг өөрсдийн MTIA чип болон AMD зэрэг томоохон түншүүдтэй хамтран хэдийн туршиж эхэлжээ.

Дүгнэлт: Хөгжүүлэгчид болон салбарт үзүүлэх нөлөө

Үүлэн тооцоолол, AI платформуудын өртгийн дийлэнх хувийг үнэтэй тусгай зориулалтын сүлжээний төхөөрөмжүүд (proprietary fabrics) эзэлдэг байсан бол MetaRoCE-ийн ачаар энгийн хямд Ethernet ашиглан миллион GPU-ийн түвшинд асар өндөр үр ашигтай ажиллах үүд нээгдэж байна.

Энэ нь ирээдүйд AI дэд бүтцийн үнийг бууруулж, нээлттэй стандартууд техник хангамжийн түвшинд ч давамгайлах боломжтойг батлан харууллаа.

Эх сурвалж: Engineering at Meta