CUDA-ийн монополийг задлах алхам: Google болон Meta хамтран "TorchTPU"-г нээлттэй эх болголоо

Хиймэл оюун ухаан, машин сургалтын инженерүүдийн хувьд сүүлийн жилүүдэд бичигдээгүй нэг хууль үйлчилж ирсэн: PyTorch ашиглаж байгаа бол NVIDIA GPU л сонгох. Хэдийгээр Google өөрийн TPU (Tensor Processing Unit) чипүүдийг тасралтгүй хөгжүүлж, үнэ болон тооцооллын хувьд зах зээлд өрсөлдөхүйц дэд бүтцийг санал болгосоор ирсэн ч PyTorch-ийн экосистемд TPU-г жинхэнэ утгаар нь бүрэн уусгах асуудал үргэлж хамгийн том саад байв.

Харин PyTorch Conference 2026 дээр энэ байдлыг үндсээр нь өөрчлөх том эргэлт гарлаа. Google болон Meta компанийн PyTorch-ийн үндсэн инженерүүд хамтран бүтээсэн TorchTPU төслөө албан ёсоор GitHub дээр бүрэн нээлттэй эх (Open Source) болгон нийтэллээ.

Энэ нь AI инженерүүд олон жил хүлээсэн "Hardware Vendor Lock-in"-оос гарах хамгийн бодит алхам болж байна.

Өмнөх шийдлүүд яагаад амжилт олоогүй вэ?

Өмнө нь PyTorch моделийг Google Cloud TPU дээр ажиллуулахын тулд инженерүүдэд үндсэндээ хоёрхон зам байсан:

Бүх кодоо Google-ийн JAX фрэймворк руу хөрвүүлж дахин бичих.
torch_xla нэмэлт санг ашиглах.

Гэвч torch_xla ашиглахад асар их асуудал гардаг байв. Систем нь бүхэлдээ "Lazy evaluation" (тооцооллыг тэр дор нь биш, шаардлагатай үед багцалж гүйцэтгэх) зарчмаар ажилладаг байсан тул график дахин compile хийгдэх, гэнэтийн хүлээлт үүсэх, дебаг хийхэд алдааны мөрийг олоход маш төвөгтэй байсан юм. Эцэст нь ихэнх багууд "Зүгээр л NVIDIA GPU түрээсэлье, цаг хэмнэе" гэсэн шийдэлд хүрдэг байв.

TorchTPU гэж юу вэ?

TorchTPU нь TPU-г PyTorch дотор CPU, CUDA (GPU)-тай яг адил тэгш эрхтэй унаган төхөөрөмж (native device backend) болгон нэмж өгч байна.

Суулгах болон ашиглах нь ердийн сан шиг энгийн:

import torch

# Одоо TPU нь шууд танигдана
device = torch.device("tpu")

x = torch.randn((4, 4), device=device)
y = torch.ones((4, 4), device=device)
z = x + y
print(z)

Энд хамгийн том хувьсгал нь "Eager-first" философи юм. Хөгжүүлэгч эхлээд PyTorch-ийн уламжлалт eager горимоор кодоо мөр мөрөөр нь ажиллуулан, алдаагаа интерактив байдлаар дебаг хийнэ. Харин продакшнд загвараа ажиллуулахдаа орчин үеийн torch.compile командыг дуудахад л систем OpenXLA болон тусгайлан сайжруулсан Pallas kernel-үүдийг ашиглан TPU-ийн нөөцийг дээд цэгт нь хүртэл оновчтой болгодог.

Day 1 дэмжлэг: Hugging Face, vLLM, SGLang бүгд бэлэн

Google зөвхөн сан гаргаад орхисонгүй, AI нийгэмлэгийн хамгийн өргөн ашигладаг хэрэгслүүдийг анхны өдрөөс нь холбожээ:

Hugging Face Transformers v5: Загварыг TPU дээр байршуулахын тулд өөр код бичих хэрэггүй болж, ердөө device_map="tpu" гэсэн тохиргоог өгөхөд хангалттай болсон. Цаашлаад генератив загваруудад зориулсан Diffusers сан олон TPU чип дамнан параллелаар унаган ажиллаж эхэллээ.
vLLM ба SGLang: Өндөр ачаалалтай inferencing хийхэд хэрэглэгддэг эдгээр системүүдэд зориулсан vLLM-TorchTPU, SGLang-TorchTPU backend-үүд шууд гарсан.
TorchTitan: Загвар сургалтын түвшинд TorchTitan-ийг Ironwood TPU кластер дээр ажиллуулахад Qwen 3 8B загварын хувьд 52%-ийн MFU (Model FLOPs Utilization) буюу чипийн хүчин чадлыг өндөр үр ашигтай ашиглаж, 8,192 ширхэг TPU хүртэл бараг шулуун шугаман (near-linear) өргөтгөгдөж байгааг харуулсан байна.

Meta яагаад Google-тэй хамтарсан бэ?

Энэ төслийн хамгийн анхаарал татах тал нь Meta-ийн оролцоо байв. Meta-ийн PyTorch инженерийн захирал Яна ван Грөнен (Jana van Greunen) хэлэхдээ:

"Meta-ийн хувьд хиймэл оюуны дараагийн түвшинд хүрэхэд асар их тооцоолол болон техник хангамжийн олон талт байдал шаардлагатай. Бид ганцхан тоног төхөөрөмжийн архитектурт хашигдаж чадахгүй. TorchTPU бол том алхам. Бид өөрсдийн LLM, сурталчилгаа болон recommendation системийн ажлын ачааллуудаа Google TPU дээр шууд ажиллуулж эхэллээ" хэмээн онцолсон байна.

Өөрөөр хэлбэл, дэлхийн хамгийн том AI компаниуд ч гэсэн NVIDIA-ийн өндөр үнэтэй GPU болон CUDA экосистемийн дангаар ноёрхсон хараат байдлаас гарахыг эрмэлзэж буйн илрэл юм.

Хөгжүүлэгчдэд энэ нь ямар ашигтай вэ?

Өртгийн хэмнэлт: Google Cloud дээр TPU v5p эсвэл Ironwood чипүүд зарим ачаалал дээр ижил түвшний H100 GPU-ээс үнэ болон цахилгааны ашиглалтын хувьд 30-50% хямд тусдаг. Одоо эдгээр чипийг туршихын тулд кодоо шинэчлэх зардалд унахгүй.
Нэг стандарт: PyTorch-ийн сургагдсан модель, ложик хэвээр үлдэнэ. Төхөөрөмж солих нь тохиргооны түвшний ажил болж хувирч байна.
Multi-cloud / Multi-hardware эрх чөлөө: AWS өөрсдийн Trainium чипт зориулан TorchNeuron-ийг хөгжүүлж байгаатай зэрэгцэн TorchTPU гарч ирснээр PyTorch албан ёсоор "зөвхөн CUDA-ийн хүрээ"-нээс гарч байна.

TorchTPU төслийн кодын сан одоо олон нийтэд нээлттэй болсон тул Python орчиндоо pip install torch-tpu командаар суулган туршиж үзэх боломжтой.

Эх сурвалж: Google Cloud Blog, PyTorch.org, TechCrunch, GitHub