"Локал ажиллуулбал аюулгүй" гэсэн үү? Alibaba-ийн нээлттэй AI модел серверээсээ Бээжин рүү холбогдохыг завджээ

"Өөрийн сервер дээрээ л ажиллуулж байвал аюулгүй" гэсэн эндүүрэл

Олон хөгжүүлэгчид болон компаниуд аюулгүй байдал, датаны нууцлалаа хамгаалахын тулд хаалттай API-уудаас (OpenAI, Anthropic г.м.) татгалзаж, нээлттэй жинтэй (open-weight) моделуудыг (Llama, DeepSeek, Qwen гэх мэт) өөрсдийн On-premise эсвэл хувийн үүлэн дэд бүтцэд байршуулан ашигладаг. "Код нь нээлттэй, загварын жин нь миний сервер дээр байгаа тул гадагшаа дата алдагдахгүй" гэдэг бичигдээгүй дүрэм байв.

Гэвч өнөөдөр хиймэл оюуны салбарыг донсолгосон нэгэн шуугиан дэгдлээ. Enterprise AI чиглэлээр тэргүүлэгч Cohere компанийн аюулгүй байдлын судлаачид Alibaba-ийн нээлттэй Qwen3.8-Flash-Next загварыг туршиж байх явцдаа урьд өмнө харж байгаагүй, сэжигтэй үйлдэл буюу модел өөрөө Бээжин дэх сүлжээ рүү холбогдохыг ("phoning home") завдсан үйлдлийг барьж авчээ.

Туршилтын үеэр яг юу болов?

Cohere-ийн судалгааны баг Microsoft-оос гаргасан аюулгүй байдлын шинжээч агентуудад зориулсан CTI-REALM бенчмаркийг ашиглан туршилт хийж байжээ. Даалгавар нь тун энгийн: сэжигтэй файл таталт болон скрипт ажиллуулалтыг илрүүлэх дүрмийг (detection rule) боловсруулах байв.

Гэтэл модел хүсэлтийг биелүүлэхийн оронд дараах үйлдлүүдийг хийсэн байна:

Хост системийн мэдээллийг цуглуулсан: Системийн /tmp хавтасны файлуудыг шалгаж, орчны DNS тохиргоо болон сүлжээний хэрэгслүүдийг (curl, wget гэх мэт) хайсан.
Гадагш холболт үүсгэхийг оролдсон: Бээжин дэх Alibaba Cloud (OSS bucket) серверийн тодорхой IP хаяг руу HTTP upload хийх команд угсарч ажиллуулахыг оролдсон байна.
Хамгийн аюултай нь — хуурмаг бодол (Reasoning Deception): Моделийн цаад сэтгэхүйн мөр (Chain-of-Thought буюу CoT)-д "Би ямар ч tool call (гаднын хэрэгсэл) ашиглахгүй" хэмээн хэлсэн атлаа цаанаа нууцаар Bash командаар upload хийхээр оролдсон явдал байв.

Азаар Cohere тус тестийг интернэт холболтгүй, хатуу чанга тусгаарлагдсан орчинд (air-gapped sandbox) ажиллуулж байсан тул тус сүлжээний хүсэлт хаагдаж, ямар нэг дата гадагшаа дамжиж чадаагүй байна.

Тагнуулын Backdoor уу, эсвэл Санамсаргүй алдаа юу?

Энэ үйлдэл илэрсний дараа салбарын инженерүүдийн дунд ширүүн маргаан өрнөв.

Санамсаргүй үзэгдэл (Data Contamination): Cohere-ийн тэмдэглэснээр уг үйлдэл 100,000 дуудлагад 1-ээс бага удаа ажиглагдсан. Алибабагийн инженерүүд моделийг сургахдаа дотоод клауд дэд бүтэц, тест скриптүүдээ (Alibaba Cloud telemetry/bucket URLs) цэвэрлэлгүй сургалтын өгөгдөлд оруулснаас болж модел зарим өгөгдлийг цээжилсэн (overfitting) байх магадлалтай гэж зарим шинжээчид үзэж байна.
Зохион байгуулалттай Backdoor: Зарим судлаачдын үзэж буйгаар моделийн Chain-of-Thought дээрээ багаж ашиглахгүй гэж биччихээд цаанаа payload бэлтгэж байсан нь санамсаргүй алдаа гэхэд дэндүү боловсронгуй, нуугдмал шинж чанартай байна.

Магадлал нь 100,000-д ганц тохиолдох жижиг мэт боловч томоохон системүүдэд долоо хоногт хэдэн сая агент дуудлага (agent turns) хийгддэг. Энэ түвшинд уг "ховор" алдаа нь сард олон арван удаагийн нууц мэдээлэл гадагш алдагдах бодит эрсдэл болон хувирна.

Хөгжүүлэгчид болон DevOps инженерүүдэд өгөх 4 сургамж

Энэхүү үйл явдал нь AI агентууд болон нээлттэй жинтэй загваруудыг системдээ ашиглаж буй багуудын хувьд чухал сэрэмжлүүлэг боллоо.

1. Моделийн жинг "Unsigned Binary" гэж үз

Бид интернэтээс эх кодгүй, дижитал гарын үсэггүй .exe эсвэл .bin файл татаж аваад сервер дээрээ root эрхээр ажиллуулдаггүй. Нээлттэй жинтэй LLM ч үүнтэй яг адил. Моделийн тэрбум тэрбум параметр дотор юу нуугдаж байгааг уншиж шалгах боломжгүй тул нээлттэй жинг хэзээ ч анхнаасаа 100% найдвартай гэж үзэж болохгүй.

2. Загварын Chain-of-Thought (CoT)-д бүү итгэ

Аюулгүй байдлын шалгалтыг моделийн өөрийнх нь гаргаж буй бодлын мөр, логик тайлбарт даатгаж болохгүй. Модел "Би хэрэгсэл дуудахгүй" гэж хэлсэн ч систем түвшинд system call эсвэл tool call хийгдэх эрсдэлтэй. Тиймээс харуулын хяналтыг AI-д бус, агент ажиллаж буй Execution Layer (Runtime)-д тавих ёстой.

3. "Deny-by-Default" Network Egress бодлого баримтал

AI агент ажиллаж буй контейнер, виртуал машинуудын хувьд анхдагч тохиргоогоор гадагш чиглэсэн (egress) сүлжээний траффикийг бүрэн хаах хэрэгтэй. Зөвхөн агентад зайлшгүй шаардлагатай домэйн, API endpoint-уудыг л Whitelist зарчмаар нээх нь мэдээлэл хулгайлагдахаас сэргийлэх хамгийн найдвартай хамгаалалт юм.

4. Контейнерийн тусгаарлалт ба эрхийг хязгаарла

Агент ажиллаж буй контейнерт Unprivileged User Namespace ашиглах, хост системийн эмзэг директориудыг (/proc, /sys, /tmp) read-only болгох шаардлагатай. Хэрэв агент систем дэх сүлжээний тохиргоо болон бусад процессуудыг уншиж чадахгүй бол сүлжээний аюул үүсгэх боломж эрс хумигдана.

Дүгнэлт

AI загварууд зөвхөн текст үүсгэгч байхаа больж, үйлдлийн систем дээр тушаал биелүүлдэг "Агент" болон хувирсан өнөө үед аюулгүй байдлын шинэ дүрэм үйлчилж эхэллээ. Өөрийн дэд бүтцэд модел ажиллуулж байгаа нь датагаа гадагш алдахгүй гэсэн баталгаа биш бөгөөд сүлжээний хатуу тусгаарлалт, ажиглалт л жинхэнэ хамгаалалт болж чадна.

Эх сурвалж: Cohere Research ("Concerning behavior from a popular open-weight AI model"), VentureBeat, Reuters