Тогонд залгахад 5 дахин удааширдаг GPU: Nvidia RTX Spark-ийн "Шифрлэгдсэн Firmware" Линукс хөгжүүлэгчдийг бухимдуулж байна

Хиймэл оюун ухааны загваруудыг үүлэн дэд бүтцээс хараат бусаар, өөрийн төхөөрөмж дээрээ (Local LLM) ажиллуулах нь өнөө үед олон инженер, хөгжүүлэгчдийн үндсэн шаардлага болоод байна. Ялангуяа 128GB хүртэлх хуваалцсан санах ойтой (Unified Memory) зөөврийн ажлын станцууд гарч ирснээр 70B, 120B параметр бүхий аварга загваруудыг оффисдоо, эсвэл зам зуураа чөлөөтэй турших боломж нээгдсэн мэт санагдсан билээ.

Гэвч сүүлийн 24 цагийн дотор технологийн ертөнц, ялангуяа Hacker News болон нээлттэй эхийн хөгжүүлэгчдийн нийгэмлэгийг цочроосон нэгэн шалгалтын үр дүн дэлгэгдлээ. Nvidia-ийн хамгийн сүүлийн үеийн RTX Spark архитектуртай төхөөрөмжүүд дээр Linux систем ашиглан локал AI загвар ажиллуулахад инференсийн хурд ердийн хурдны 20-35% хүртэл навс унаж байна. Бүр хачирхалтай нь, энэхүү уналт төхөөрөмжөө тогонд (AC power) залгах үед явагддаг болох нь тогтоогджээ.

Хачин парадокс: Залгуураас салгахад хурдалж, тогонд залгахад таг гацна

Төхөөрөмжийн сорилтыг олон нийтэд анх танилцуулсан инженерийн багийн мэдээлснээр, MSI Prestige N16, Asus ProArt зэрэг RTX Spark чипсеттэй зөөврийн компьютер дээр native Linux (жишээ нь Ubuntu) суулган GPT-OSS-120B загварыг ажиллуулж туршжээ.

Үр дүн нь дэндүү хачирхалтай байв:

• Windows 11 орчинд: Тогонд залгаатай үед GPU нь 2.2 GHz датамж дээр ажиллаж, секундэд 65.4 токен (tok/s) боловсруулж байв.
• WSL (Windows Subsystem for Linux) дээр: Мөн адил секундийн 65.1 токен хурд үзүүлсэн.
• Native Linux (Цэвэр Линукс) дээр: Зөөврийн компьютер цэнэглэгч дээрээ залгагдах мөчид токен үүсгэх хурд ердөө 13.9 tok/s болж буурчээ. Харин залгуурыг нь салгаж батерей дээр ажиллуулахад хурд нь буцаад Windows-ийн түвшинд ойртож өссөн байна.

vLLM хөдөлгүүр дээр олон зэрэгцээ хэрэглэгчийн хүсэлтээр ачаалж үзэхэд WSL орчинд секундэд 127 токен өгч байсан бол Native Linux дээр 39.5 токен болж унажээ. Ихэвчлэн тоног төхөөрөмж тогонд залгагдах үедээ дээд хүчин чадлаараа ажилладаг логик энд бүрэн урвуугаараа эргэсэн юм.

Шалтгаан: Дулааны хамгаалалт биш, харин "Шифрлэгдсэн хүснэгт"

Инженерүүд хамгийн түрүүнд "thermal throttling" буюу чип хэт халснаас болоод өөрийгөө хамгаалж датамжаа бууруулж байгаа эсэхийг шалгасан боловч температур маш бага, хэвийн байв.

Асуудлын үндэс нь hardware дотор бус, Nvidia Platform Controllers and Framework (NPCF) хэмээх эрчим хүчний удирдлагын микрокод (firmware)-д нуугдаж байлаа:

1. Түгжигдсэн GPU Clock: Линукс систем төхөөрөмжийн залгагдсан эх үүсвэрийг AC wall power гэж таних мөчид GPU-ийн үндсэн датамж автоматаар 780 MHz дээр хатуу түгжигддэг.
2. Encrypted Power Table: RTX Spark системүүд нь CPU болон GPU-ийн эрчим хүчний ачааллыг dynamically тэнцвэржүүлдэг нарийн хүснэгттэй. Гэтэл энэ dynamic power table нь бүрэн шифрлэгдсэн (encrypted) бөгөөд зөвхөн Windows-ийн драйвер дээр ажиллах тусгай криптограф түлхүүрээр тайлагддаг.
3. Линуксийн драйвер сохорсон нь: Nvidia-ийн нээлттэй эхийн Linux kernel driver-т уг хүснэгтийг тайлах логик болон эрчим хүчний зохицуулагч модулиуд одоогоор байхгүй байна. Үүний улмаас Linux үйлдлийн систем нь төхөөрөмжийг хэт өндөр хүчдэл авч шатахаас сэргийлэн аюулгүй хамгийн бага тогтмол хурд болох 780 MHz горим руу "fallback" хийдэг болох нь батлагдлаа.

Нэмээд өөр нэгэн асуудал илэрсэн нь санах ойн хуваарилалт байв. 128GB Unified Memory-тэй эдгээр зөөврийн компьютерууд анхнаасаа 96GB-ийг GPU-дээ шууд нөөцөлдөг. Гэтэл энэ тохиргоог өөрчлөх удирдлага зөвхөн Windows-ийн систем дээр байдаг бөгөөд Линукс ачаалах үед бүхэл бүтэн компьютероос ердөө 28GB RAM-тай л үлдэх эрсдэл үүсдэг байна.

Хөгжүүлэгчдийн хардлага: Төлөвлөгөөт хязгаарлалт уу, хайнга хандлага уу?

Энэхүү судалгаа Hacker News болон олон нийтийн сүлжээнд тархсан даруйд том маргаан дагууллаа. Хөгжүүлэгчдийн нэг хэсэг үүнийг Nvidia компани хэрэглэгчдийг өөрсдийн үнэтэй дата төвийн GPU (DGX, H100 серверүүд) түрээслэх рүү шахах гэсэн далд бодлого хэмээн хардаж байна. Учир нь хэрэв зөөврийн компьютер дээр Linux суулгаад том оврын AI загваруудыг офлайн ямар ч асуудалгүй ажиллуулж чадвал хөгжүүлэгчид Cloud GPU ашиглахаа эрс цөөлөх юм.

Нөгөө талд илүү бодит өнцгөөр харж буй инженерүүд энэ бол хорон санаат явуулга биш, харин ердийн нэг "Windows First" маркетингийн сөрөг үр дагавар гэж үзэж байна. Томоохон үйлдвэрлэгчид (OEM) зөөврийн компьютероо хэрэглэгчдэд зөвхөн Windows-тэй нийлүүлдэг тул эрчим хүчний нарийн зохицуулалтыг эхний ээлжинд зөвхөн Windows орчинд тохируулж, Линуксийн дэмжлэгийг хойш тавьсантай холбоотой.

Хөгжүүлэгч та одоогоор яах ёстой вэ?

Хэрэв та орон нутгийн болон бие даасан AI төсөл дээрээ ажиллахаар шинэ үеийн зөөврийн ажлын станц худалдан авахаар төлөвлөж байгаа бол дараах зүйлсийг анхаараарай:

1. Native Linux-ээ түр азна: Одоогоор RTX Spark суурьтай шинэ системүүд дээр шууд Linux суулгах нь эдийн засгийн болон цаг хугацааны хувьд алдагдалтай. Та төлсөн үнийнхээ дөрөвний нэгд ч хүрэхгүй гүйцэтгэл авах болно.
2. WSL ашиглах нь хамгийн зөв сонголт: Nvidia шифрлэгдсэн хүснэгтийн логикоо Линукс драйвертоо нэмэх хүртэл Windows Subsystem for Linux (WSL) нь GPU-ийн 100%-ийн хүчин чадлыг тогтвортой гаргаж чадах цорын ганц шийдэл хэвээр байна.
3. Нээлттэй эхийн жолооч нарын шинэчлэлийг хүлээх: Nvidia-ийн Open GPU Kernel Modules дээр уг шифрлэлт болон эрчим хүчний интерфейсийг нэмэх хүртэл төхөөрөмжийн сонголтоо дахин сайтар тунгаахыг зөвлөж байна.

Техник хангамж үйлдвэрлэгчид өөрсдийн чипийг firmware түвшинд шифрлэж түгжих тусам нээлттэй эхийн систем хөгжүүлэгчид болон AI инженерүүдийн хувьд эрх чөлөөт тооцоолол хийх орон зай хумигдсаар байна.

Эх сурвалж: MindStudio Research, Hacker News, Daily.dev