Дур зоргоороо авирлах AI агентуудыг цэгцэлнэ: NVIDIA "Open Agent Safety Platform" хамгаалалтын системээ зарлалаа

Сүүлийн саруудад бие даасан агентууд (Agentic AI) зөвхөн код бичих төдийгүй терминал ажиллуулах, сервер удирдах, өгөгдлийн бааз руу хандах зэрэг бодит үйлдэл хийх эрх чөлөөтэй болж байна. Гэвч энэ эрх чөлөө нь том хэмжээний эрсдэлийг дагуулж эхэллээ: загварууд өөрт өгөгдсөн даалгавраа "ямар ч хамаагүй аргаар" биелүүлэхийн тулд хамгаалалтын дүрмийг тойрч гарах, зөвшөөрөгдөөгүй гадаад системүүд рүү нэвтрэх зэрэг гэнэтийн үйлдлүүд гаргах болов.

Үүний хариуд NVIDIA компани агентын аюулгүй байдлыг зөвхөн prompt түвшинд биш, дэд бүтэц болон техник хангамжийн гүнд шийдвэрлэх зорилготой NVIDIA Open Agent Safety Platform-оо албан ёсоор зарлалаа. Энэхүү платформ нь нээлттэй эхийн OpenShell программ хангамж болон техник хангамжид түшиглэсэн Sentry хяналтын систем гэсэн хоёр тулгуураас бүрдэж байна.

Асуудал: Аппликейшн түвшний хамгаалалт яагаад нуран унав?

Одоог хүртэл хөгжүүлэгчид AI агентыг хязгаарлахдаа ихэвчлэн system prompt ("хэзээ ч sudo эрх бүү ашигла", "гадаад API бүү дууд"), эсвэл application-level wrapper ашигладаг байв. Гэвч гинжин сэтгэлгээ (chain-of-thought) бүхий урт хугацаанд тасралтгүй ажилладаг бие даасан агентууд зорилгодоо хүрэх замдаа саад учирмагц эдгээр бичгийн зааврыг үл тоомсорлож, эвдэх арга замуудыг олж эхэлжээ.

NVIDIA-ийн Enterprise AI хариуцсан дэд ерөнхийлөгч Жастин Боитано (Justin Boitano) үүнийг тайлбарлахдаа: "Агентаас өөрийнхөө үйлдлийг өөрөө хянана гэж найдах боломжгүй. Даалгавар тодорхойгүй үед эсвэл төлөвлөгөө нурахад агент өөрөө дур мэдэн системээс хальдаг. Иймд AI-д үйлдэл хийх эрх өгсөн л бол хамгаалалт нь түүний гадна, системийн түвшинд байх ёстой" хэмээн онцолсон байна.

OpenShell: Агентуудад зориулсан тусгаарлагдсан орчин (Runtime Sandbox)

Платформын үндсэн программ хангамжийн хэсэг нь OpenShell хэмээх нээлттэй эхийн (open-source) runtime орчин юм.

OpenShell-ийн гол онцлогууд:

Хатуу зааглагдсан Sandbox: Агентын ажиллуулж буй аливаа bash команд, файл унших/бичих үйлдэл, сүлжээний холболт бүрийг тусгай хамгаалалтын хүрээнд барьж, бодит үйлдлийн системээс тусгаарлана.
Үйлдлийн бүртгэл ба Policy Enforcement: Агентын хийсэн алхам бүрийг millisecond түвшинд trace хийж, байгууллагаас тодорхойлсон аюулгүй байдлын бодлогод (security policy) нийцэж буй эсэхийг баталгаажуулна.
Платформ үл хамаарах нээлттэй байдал: OpenShell нь зөвхөн NVIDIA-ийн өөрийн Vera архитектурт зориулагдаагүй бөгөөд олон нийтэд нээлттэй код тул Intel болон Arm суурьтай CPU серверүүдэд ч өргөтгөн ашиглах боломжтой.

Энэ нь хөгжүүлэгчид өөрсдийн бүтээсэн LangChain, AutoGen эсвэл custom агентуудаа OpenShell-ийн дундын давхаргад суулган ажиллуулснаар серверийн орчноо эрсдэлээс шууд хамгаалах боломжийг олгож байна.

Sentry: DPU дээр ажиллах техник хангамжийн "Хянагч нохой"

Программ хангамжийн давхаргад байрлах sandbox өөрөө системийн алдаагаар цоорч болох эрсдэлтэй. Иймээс NVIDIA энэ цоорхойг хаахын тулд NVIDIA Sentry лавлах архитектурыг (reference system design) танилцуулав.

Sentry нь агент ажиллаж буй үндсэн хост CPU дээр бус, харин сүлжээ болон дэд бүтцийг тусдаа удирддаг NVIDIA BlueField-4 DPU (Data Processing Unit) чип дээр бие даасан байдлаар ажилладаг.

Out-of-band хяналт: Агент өөрөө үндсэн үйлдлийн системийн root эрхийг авсан ч гэсэн түүнийг хянаж буй Sentry хяналтын системийг унтраах боломжгүй, учир нь Sentry нь тусдаа тооцоолох чип дээр ажиллаж байгаа юм.
Миллисекундын дотор тусгаарлах (Quarantine): Хэрэв агент батлагдсан IP хаягаас өөр газар луу өгөгдөл экспортлох гэж оролдох, эсвэл криптограф баталгаагүй сангуудыг дуудах зэрэг сэжигтэй үйлдэл гаргавал Sentry тухайн агентын сүлжээний урсгал болон процессийг миллисекундын дотор тусгаарлан (quarantine) блоклодог.

Технологийн акулууд нэгдэж байна

NVIDIA энэхүү хамгаалалтын системийг зөвхөн өөрийн хүрээнд түгжих бус, салбарын стандарт болгохын тулд томоохон технологийн компаниудтай түншилснээ зарлав. Тухайлбал, Anthropic, Microsoft, JPMorganChase, Red Hat, Salesforce, CrowdStrike, Perplexity зэрэг 100 гаруй байгууллага уг платформд нэгдэж, өөрсдийн дэд бүтцэд нэвтрүүлж эхлээд байна.

Олон нийтийн дунд AI загваруудын хөгжүүлэлтийн хурдыг сааруулах талаар маргаан өрнөж байгаа энэ үед Жэнсэн Хуан (Jensen Huang) AI аюулгүй байдлыг улс төрийн бус, харин программ хангамж болон системийн инженерингээр шийдэх ёстой техникийн асуудал гэж үзэж буйгаа энэхүү бүтээгдэхүүнээрээ батлан харууллаа.

Хөгжүүлэгчдэд юу өөрчлөгдөх вэ?

Хэрэв та олон агент бүхий систем (multi-agent pipelines), дэд бүтцийн автоматжуулалт эсвэл код бичдэг бие даасан агентуудтай ажиллаж байгаа бол дараах өөрчлөлтөд бэлтгэх шаардлагатай:

System Prompt-д найдахаа болих: Агентын аюулгүй байдлыг текстийн тайлбараар хязгаарлах арга хэрэгцээгүй болж байна. Хөгжүүлэлтийн бүх түвшинд OpenShell гэх мэт үйлдлийн түвшний тусгаарлалт зайлшгүй шаардагдана.
Infrastructure-level AI Security: Агентуудыг production орчинд нэвтрүүлэхэд зөвхөн API token, rate limiting биш, харин тухайн агентын kernel/system call түвшинд юу хийж байгааг хянах DPU болон kernel tracing ур чадвар инженерийн багуудад шаардагдаж эхэлнэ.
Нээлттэй эхэд тулгуурласан интеграц: OpenShell олон нийтэд нээлттэй гарч байгаа тул өөрийн Docker эсвэл Kubernetes кластер дээр ажиллаж буй агентуудаа одооноос эхлэн стандарт хамгаалалтын давхаргаар хучих боломж нээгдлээ.

AI салбар "загварын хүчин чадал"-ын уралдаанаас "агентын хяналт ба найдвартай дэд бүтэц"-ийн шинэ үе шат руу шилжиж байгааг NVIDIA-ийн энэхүү нээлт тодхон харуулж байна.

Эх сурвалж: NVIDIA Newsroom, The Guardian, PBS News