CUDA-ийн монопольд хүчтэй цохилт: AWS PyTorch кодыг өөрчлөлтгүй Trainium дээр ажиллуулах "TorchNeuron"-ийг нээлттэй эх болголоо
Хиймэл оюун ухааны модел хөгжүүлэгчдийн хувьд Nvidia-ийн өндөр үнэтэй GPU-ууд болон CUDA экосистемийн "vendor lock-in" олон жилийн турш толгойн өвчин байсаар ирсэн. Үүлэн тооцооллын акулууд өөрсдийн AI чипийг (ASIC) хэчнээн хөгжүүлээд ч, хөгжүүлэгчид CUDA-д зориулсан PyTorch кодоо шинэ архитектурт нийцүүлж дахин бичихэд хэтэрхий их цаг, нөөц зарцуулдаг байсан учир зах зээлийн жинхэнэ өрсөлдөөн үүсэж чадахгүй байв.
Энэ гацааг арилгах хамгийн том алхмыг AWS хийлээ. Тэд PyTorch Conference дээр TorchNeuron хэмээх шинэ шийдлээ танилцуулж, албан ёсоор Apache 2.0 лицензээр нээлттэй эх болгон нийтийн хүртээл болголоо.
"Кодоо дахин бичих шаардлагагүй": .to('neuron') хийхэд л хангалттай
TorchNeuron-ийн хамгийн гол амлалт нь тун энгийн: "Та PyTorch мэддэг бол Trainium-ийг ч ашиглаж чадна".
Өмнө нь Amazon-ийн EC2 Trainium (Trn) дэд бүтэц дээр deep learning модел ажиллуулахын тулд инженерүүд тусгайлан зориулсан SDK, Neuron-д тусгайлсан custom operator-уудыг гараар дуудан, бэлэн PyTorch кодоо нэлээд хэмжээгээр өөрчилдөг байв.
Харин шинээр гарсан TorchNeuron нь Trainium чипийг PyTorch-ийн натив (native) тооцоолох төхөөрөмж болгон бүртгэдэг. Ингэснээр хөгжүүлэгчид ердийн кодондоо:
# Хуучин CUDA төхөөрөмж дуудах:
# device = torch.device("cuda")
# TorchNeuron ашиглах:
import torch_neuronx
device = torch.device("neuron")
model = MyAwesomeLLM().to(device)
гэж бичихэд л бүх зүйл Trainium чип дээр шууд ажиллаж эхэлнэ. Энд ямар ч архитектурын дахин загварчлал, төвөгтэй porting шаардагдахгүй.
Цаад технологи: PyTorch-ийн PrivateUse1 ба бүрэн компиляци
AWS болон Meta-ийн PyTorch инженерүүдийн хамтын ажиллагааны үр дүнд TorchNeuron нь PyTorch-ийн үндсэн механизмуудтай маш гүнзгий интеграцчилагджээ.
Гол техникийн боломжууд:
- Eager Mode болон
torch.compile: PyTorch 2.x-ийн хамгийн хүчирхэг боломж болохtorch.compile-ийг бүрэн дэмжинэ. Код eager execution горимоор эсвэл граф хэлбэрээр хөрвүүлэгдэн Trainium2 болон Trainium3 чипүүдийн боломжийг тултал ашиглана. - PyTorch Extensibility (
PrivateUse1): PyTorch-ийн цөмд CUDA гэсэн хатуу хамаарлыг халж, нээлттэйPrivateUse1төхөөрөмжийн backend стандартыг ашигласан. - NKI (Neuron Kernel Interface): Хэрэв инженерийн багт моделынхоо онцлогт тохируулан custom kernel бичих шаардлага гарвал NKI ашиглан Trainium-ийн техник хангамжид шууд тохирсон оновчлол хийх эрх чөлөөтэй.
- Тархмал сургалт (Distributed Training): AWS-ийн нээлттэй томоохон моделын сургалтын сан болох
torchtitan-тай бүрэн нийцдэг. Qwen3 зэрэг хэдэн арван тэрбум параметртэй LLM-үүдийг Trn2 instance дээр шууд fine-tune хийх жишээнүүдийг баримтжуулан гаргажээ.
Зардал ба бодит үр дүн: Deepgram-ийн кейс
Энэхүү шинэчлэл нь зөвхөн хөгжүүлэгчийн тав тух (DX)-ийг сайжруулаад зогсохгүй, AI стартапуудын хамгийн том зардал болох инфренс болон сургалтын төсвийг шууд бууруулах үр дүнг үзүүлж байна.
Дуу хоолойн AI-ийн тэргүүлэгч Deepgram компани өөрсдийн Nova-3 загварыг TorchNeuron ашиглан Trainium2 (Amazon EC2 trn2.3xlarge) рүү шилжүүлсэн байна. Тэдний хийсэн хэмжилтээр:
- Хуучин ашиглаж байсан ердийн GPU дэд бүтэцтэй харьцуулахад 1 долларт ногдох боловсруулах аудионы хэмжээ 11–70% хүртэл өссөн.
- Хамгийн гол нь загварын үндсэн PyTorch логик код руу гар хүрэхгүйгээр энэхүү өсөлтийг гаргаж авч чадсан байна.
Үүнээс гадна Wan2.2 видео генерацийн модел, vLLM серверийн Neuron плагин зэрэг орчин үеийн нээлттэй эхийн шилдэг AI стекүүд TorchNeuron-тай нэгдсэнээр GPU хомсдолтой энэ үед найдвартай, хямд хувилбар болон гарч ирж байна.
Хөгжүүлэгчдэд юу өөрчлөгдөх вэ?
Энэхүү алхам нь AI зах зээл дэх тоглоомын дүрмийг өөрчилж байна.
- Vendor Lock-in-ийн төгсгөл эхэллээ: Хэрэв таны код ердийн PyTorch стандарт баримталсан бол та хүссэн үедээ Nvidia GPU, AWS Trainium хоёрын хооронд зардлаа харж байгаад шилжих боломжтой болно.
- CI/CD болон туршилтын зардал буурна: EC2 Trainium instance-ууд нь өндөр зэрэглэлийн Nvidia H100/H200-тай харьцуулахад хамаагүй хямд тул стартапууд болон хөгжүүлэгчид өөрсдийн жижиг, дунд загваруудаа турших, train хийх боломж бүрдэж байна.
- Нээлттэй эхийн экосистем: TorchNeuron нээлттэй болсноор хөгжүүлэгчдийн нийгэмлэг өөрсдөө шинэ kernel-үүд нэмэх, PR илгээх, bug засах боломжтой болсон нь төслийн цаашдын ирээдүйг баталгаажуулж байгаа юм.
Та одооноос pip install torch-neuronx командаар туршиж үзэх боломжтой бөгөөд албан ёсны эх код github.com/aws-neuron/torch-neuronx хаяг дээр нээлттэй байна.
Эх сурвалж:
Сэтгэгдэл
Ачаалж байна...