Линукс дээр 5 дахин удаан: Nvidia шинэ RTX Spark-ийн AI чадамжийг шифрлэгдсэн firmware-ээр боомилов уу?

Хувийн компьютер дээрээ том хэлний загвар (LLM) болон бусад AI моделиудыг локалоор ажиллуулах нь өгөгдлийн нууцлал, зардал хэмнэлтийн хувьд хөгжүүлэгчдийн хамгийн тааламжтай орчин болоод байгаа билээ. Гэвч сүүлийн 24 цагийн турш Hacker News болон хөгжүүлэгчдийн нийгэмлэгүүдээр Nvidia-ийн цоо шинэ RTX Spark платформтой холбоотой ноцтой дуулиан дэгдэж байна.

Шинээр гарсан RTX Spark төхөөрөмж дээр цэвэр Linux (Native Linux) суулгаж туршихад хиймэл оюуны инференс (inference) хурд Windows орчинтой харьцуулахад 70-80% буурч, тооцоолох чадамж нь шалдаа бууж байгаа нь тогтоогдлоо.

Бодит туршилт: 65.4 tokens/sec vs 13.9 tokens/sec

Туршилтыг MSI Prestige RTX Spark зөөврийн компьютер дээр GPT-OSS-120B моделийг ажиллуулан хийжээ. Үр дүн нь инженерүүдийг үнэхээр цочролд оруулав:

• Windows 11 болон WSL дээр: Секундэд дунджаар 65.4 token боловсруулж байв.
• Native Linux (Debian / Omarchy) дээр: Ердөө 13.9 tokens/sec болж огцом буурчээ.
• GPU Clock Speed: Windows дээр GPU-ийн давтамж 2.2 GHz давж байсан бол Linux дээр залгаатай үед ердөө 780 MHz дээр түгжигдэж, thermal throttling бус харин зохиомол давтамжийн хязгаарлалтад орж байв.

Энэ нь ижилхэн техник хангамж, ижилхэн чип дээр ажиллаж байгаа хэрнээ Линукс хэрэглэгчид Windows хэрэглэгчдээс бараг 5 дахин бага бүтээмж авч байна гэсэн үг юм.

Гол буруутан: Шифрлэгдсэн "NPCF" фирмавер

Асуудлын гүн рүү орж судалсан инженерүүд үндсэн шалтгааныг Nvidia Platform Controllers and Framework (NPCF) хэмээх дэд системтэй холбоотой болохыг тогтоожээ.

Орчин үеийн зөөврийн компьютеруудад CPU болон GPU-ийн хооронд цахилгаан хүчдлийг ухаалгаар хуваарилах (Dynamic Power Sharing) зохицуулагч ажилладаг. RTX Spark-ийн хувьд цахилгаан хуваарилалтын тохиргооны хүснэгт (power table) нь шифрлэгдсэн (encrypted) төлөвтэй бөгөөд зөвхөн Windows-ийн тусгай драйвер л уг шифрийг тайлж, чипэнд бүрэн чадлаараа ажиллах зөвшөөрөл өгдөг байна.

Хамгийн инээдэмтэй парадокс нь:

1. Зөөврийн компьютерийг хананы залгуурт залгахад (plugged-in) Линукс үйлдлийн систем өндөр хүчдэлийн шифрлэгдсэн горимыг таньж чадахгүй тул аюулгүй байдлын үүднээс GPU-г 780 MHz дээр түгждэг.
2. Харин батерей дээр ажиллуулах үед өөр энгийн горим идэвхжиж, ханын залгуурт залгаснаасаа хамаагүй хурдан ажиллаж байжээ!

Тооцоолол хийх гэж цэнэглэгчид залгатал эсрэгээрээ 5 дахин удааширдаг зөөврийн компьютер гэдэг AI инженерүүдийн хувьд хар дарсан зүүд л гэсэн үг.

Санаатай бодлого уу, эсвэл Линуксийг үл тоосон хайнга байдал уу?

Энэхүү судалгааны дараа open-source болон хөгжүүлэгчдийн нийгэмлэгт ширүүн маргаан өрнөлөө.

Нэг хэсэг нь үүнийг Nvidia-ийн зүгээс хэрэглэгчдийг өөрсдийн локал төхөөрөмж дээрээ хүчирхэг LLM загваруудыг үнэ төлбөргүй ажиллуулахыг боомилж, үүлэн тооцоолол (Cloud AI) болон дата төвийн өндөр өртөгтэй GPU серверүүд рүү түлхэх далд бодлого хэмээн хардаж байна. Линукс бол сервер, дата төв болон AI судалгааны албан ёсны гол үйлдлийн систем. Хэрэв зөөврийн компьютер дээрх 96GB нэгдмэл санах ойтой шинэ Spark чип Линукс дээр бүтэн хүчээрээ ажиллавал олон жижиг стартап, судлаачид үнэтэй клауд инстанс түрээслэх шаардлагагүй болох билээ.

Нөгөө талын инженерүүд үүнийг зориудын хорлон сүйтгэх ажиллагаа гэхээсээ илүүтэй Nvidia-ийн олон жилийн уламжлалт "хайнга зан" гэж тайлбарлаж байна. Тухайлбал өмнөх үеийн Dynamic Boost технологийг ч Линукс драйверт бүтэн 2 жилийн дараа нэвтрүүлж байсан гашуун түүх бий. Тэдний хувьд хэрэглээний зөөврийн компьютерууд Windows-тэй худалдаанд гардаг тул Linux драйверын багт нөөц бололцоо хамгийн сүүлд хуваарилагддаг нийтлэг асуудал юм.

Хөгжүүлэгчид одоогоор ямар гарцтай байна вэ?

Хэрэв та орон нутгийн түвшинд загвар хөгжүүлж, турших зорилгоор энэхүү шинэ төхөөрөмжийг сонирхож байгаа бол дараах зүйлсийг анхаарах шаардлагатай:

1. Native Linux-ээс түр азнах: Nvidia албан ёсоор уг шифрлэгдсэн power table-ийг унших нээлттэй драйвер эсвэл цөмийн модуль гаргах хүртэл native dual-boot хийх нь бүтээмжийн хувьд маш алдагдалтай.
2. WSL (Windows Subsystem for Linux)-ийг ашиглах: Одоогоор хамгийн бодит гарц нь Windows 11 дээр суурилсан WSL 2 орчин юм. WSL нь Windows-ийн үндсэн драйверын стекийг ашигладаг тул шифрлэгдсэн firmware-ийн хязгаарлалтад ордоггүй бөгөөд бүтэн 65 tokens/sec хурдыг гаргаж чадаж байна. Гэхдээ анхны тохиргоогоор WSL нь RAM-ийн хэмжээг хязгаарладаг тул .wslconfig файл дээрээ санах ойн хязгаарыг гараар тэлж өгөх хэрэгтэй.

Нээлттэй эхийн систем болон хүчирхэг техник хангамжийн хоорондох энэхүү зөрчил нь "Silicon" хэчнээн хүчирхэг байгаад ч битүүмжилсэн фирмавер, хаалттай экосистем нь хөгжүүлэгчдийн эрх чөлөө, бүтээмжийг хэрхэн хязгаарлаж болдгийн тод жишээ боллоо.

Эх сурвалж: MindStudio, Hacker News