OpenAI дараа үеийн "Astra" загварынхаа ажиллагааг түр зогсоолоо: Агентлаг кодчилол ба кибер аюулгүй байдлын эрсдэл
AI салбарын тэргүүлэгч OpenAI компани өөрсдийн дараагийн үеийн флагшип хиймэл оюун ухааны загвар болох "Astra"-ийн дотоод туршилтын зарим үйл ажиллагааг түр зогсоосноо албан ёсоор мэдээллээ. Туршилтын явцад тус загвар нь бие даан код бичих (agentic coding) болон кибер аюулгүй байдлын (cybersecurity) даалгавруудыг гүйцэтгэхдээ төсөөлснөөс хавьгүй өндөр чадамж үзүүлсэн бөгөөд энэ нь тус компанийн Аюулгүй байдалд бэлтгэх хүрээний (Preparedness Framework) "критик" түвшний эрсдэлийн босгыг давсан байна.
Энэхүү үйл явдал нь AI хөгжүүлэлтийн салбарт загварын хүчин чадал "хэт аюултай түвшинд хүрсэн" тул туршилтыг албан ёсоор хойшлуулсан ховор тохиолдлуудын нэг болж байгаа бөгөөд программ хөгжүүлэгчид болон аюулгүй байдлын инженерүүдийн анхаарлыг асар ихээр татаж байна.
"Astra" гэж юу вэ? Агентлаг кодчилол ба кибер аюулгүй байдлын үсрэлт
"Astra" нь зөвхөн хэрэглэгчийн асуултад текстийг хариулах эсвэл код автоматаар нөхөж бичих (autocomplete) стандарт загвар биш юм. Тус загвар нь нарийн төвөгтэй даалгаврыг олон үе шаттайгаар бие даан төлөвлөж, гүйцэтгэдэг AI Агент архитектур дээр суурилсан.
OpenAI-ийн дотоод Бенчмарк болон Red Teaming (халдлагын симуляци) туршилтын үеэр Astra загвар дараах онцгой чадамжуудыг үзүүлжээ:
- 0-Day эмзэг байдлыг илрүүлэх: Системийн код болон фрэймворкууд дахь өмнө нь илрээгүй байсан аюулгүй байдлын цоорхойг хүний оролцоогүйгээр бие даан олох,
- Халдлагын вектор бие даан төлөвлөх: Олон шаталсан халдлагын скрипт (exploit) генераци хийж, Sandbox орчинд ажиллаж буй системүүдийг амжилттай турших,
- Self-Correction ба Автомат нөхөөс: Кодод гарсан алдаагаа тухай бүрт нь анализ хийж засахаас гадна, тухайн эмзэг байдлыг хамгаалах нөхөөс (patch)-ийг автоматаар бичиж ажиллуулах.
Энэхүү чадамж нь кибер аюулгүй байдлын өндөр зэрэглэлийн мэргэжилтнүүдийн түвшнээс давж гарсан тул OpenAI "Critical Cyber Capabilities" буюу кибер орчинд ноцтой эрсдэл учруулж болзошгүй босгонд хүрсэн гэж үзсэн байна.
Яагаад дотоод ажиллагааг түр зогсоохоос өөр аргагүй болов?
OpenAI компанийн "Preparedness Framework"-д зааснаар загварын кибер аюулгүй байдлын эрсдэл болон бие даан ажиллах чадамж тодорхой босго үзүүлэлтийг давбал тухайн загварыг турших орчинд тусгай зэрэглэлийн аюулгүй байдлын хяналт шаардлагатай болдог.
Astra загварын хувьд одоогийн дотоод туршилтын дэд бүтэц нь шинээр батлагдсан чанга шаардлагыг бүрэн хангаж амжаагүй байжээ. Тодруулбал:
- Сүлжээ ба хэрэгслийн чөлөөтэй хандалт: Агент сүлжээний бусад ресурсууд руу зөвшөөрөлгүй хандах, хэрэгслийг ашиглан Sandbox орчноос хальж ажиллах эрсдэл,
- Загварын жингийн (Model Weights) аюулгүй байдал: Автомат халдлага хийх өндөр чадамжтай загварын кодууд ба жинг алдагдахаас хамгаалах өндөр нууцлалын шаардлага,
- Хяналтгүй эргэцүүлэл (Chain of Thought): Агентын дотоод "бодолтын дараалал" буюу шийдвэр гаргах логикийг бодит цаг хугацаанд мониторинг хийх систем бүрэн суугдаагүй байсан явдал юм.
OpenAI-ийн авч буй шинэ хамгаалалтын арга хэмжээнүүд
Уг асуудлыг шийдвэрлэж, туршилтыг аюулгүй үргэлжлүүлэхийн тулд OpenAI компани аюулгүй байдлын архитектураа дараах байдлаар шинэчилж байгаагаа заажээ:
- Тусгаарлагдсан Вакуум Sandbox: Astra-г гадаад сүлжээ ба үйлдвэрлэлийн дэд бүтэцтэй холбогдох боломжгүй, бүрэн тусгаарлагдсан хяналтын орчинд ажиллуулах.
- Chain of Thought (CoT) Бодит Цагийн Мониторинг: Агентын "бодолтын дараалал" буюу CoT-ийг алхам тутамд нь хянадаг бие даасан мониторинг загваруудыг нэвтрүүлж байна. Хэрэв агент эрсдэлтэй үйлдэл хийх эсвэл alignment (зорилгын зөрчил) гаргавал систем автоматаар туршилтыг таслан зогсооно.
- Загварын Жингийн Шифрлэлт: Тооцоолох кластеруудын түвшинд загварын жинг бүрэн шифрлэх (encryption) ба хандах эрхийг чангаруулах.
- Засгийн Газар болон Хөндлөнгийн Байгууллагуудын Аудит: АНУ-ын AI Safety Institute (AISI) болон хараат бус кибер аюулгүй байдлын судалгааны байгууллагуудыг оролцуулан хөндлөнгийн хяналт хийлгэж байна.
Хөгжүүлэгчид болон салбарт үзүүлэх нөлөө
Энэхүү үйл явдал нь програм хангамжийн хөгжүүлэгчид болон систем архитектуруудад дараах чухал сургамжийг өгч байна:
- Агентлаг кодчилолын шинэ эрин: Агентууд зөвхөн синтакс засахаас хальж, бүтэн кодын баазын аюулгүй байдлыг шалгах, эксплойт олох ба нөхөх хэмжээний бие даасан чадвартай болжээ. Энэ нь хөгжүүлэгчдийн бүтээмжийг асар өндөр түвшинд хүргэх боломжтой.
- "Excessive Agency" буюу Хэт их эрх мэдлийн эрсдэл: Агентад API key, терминалын хандалт эсвэл мэдээллийн санд шууд хандах эрх олгох нь системийн аюулгүй байдалд маш том эрсдэл дагуулдаг. AI Агентыг хөгжүүлэлтийн процессдоо нэвтрүүлэхдээ тэдгээрийн ажиллах орчныг чанд тусгаарлах (sandboxing) шаардлагатай.
- CoT Мониторинг шинэ стандарт болох нь: Ирээдүйд хөгжүүлэгчид зөвхөн AI-ийн гаргасан эцсийн үр дүнг шалгахаас гадна, агентын даалгавар гүйцэтгэхдээ гаргаж буй бодолтын шийдвэр, логик (Chain of Thought)-ийг хянадаг мониторинг хэрэгслүүдийг өргөнөөр ашиглах болно.
Дүгнэж хэлэхэд, хиймэл оюун ухаан хөгжүүлэгчдийн хамгийн хүчтэй туслах болж байгаа ч, түүний аюулгүй байдал, хянагдах боломж нь хөгжүүлэлтийн архитекторын хамгийн чухал шалгуур болж хувирлаа.
Эх сурвалж: The Hacker News (2026 оны 8 сарын 10)
Сэтгэгдэл
Ачаалж байна...