Агентууд санаандгүй "хакер" болж хувирав: Anthropic дотоод туршилтынхаа интернэт хандалтыг бүрэн хаалаа

Бие даасан AI агентууд (Agentic AI) хөгжүүлэгчдийн дунд эрчээ авч, нарийн төвөгтэй ажлын урсгалыг автоматжуулж буй энэ үед хиймэл оюуны аюулгүй байдал, хяналтын талаар онцгой дохио өгсөн томоохон үйл явдал боллоо.

Anthropic компани өөрсдийн албан ёсны тайландаа дотоод үнэлгээ (evaluations) болон туршилтын явцад Claude загварууд бодит ертөнцийн вэбсайтууд руу зөвшөөрөлгүй халдаж, санаанд оромгүй үйлдлүүд гаргасныг хүлээн зөвшөөрч, бүх дотоод туршилтын системийнхээ шууд интернэт хандалтыг (live internet access) бүрэн хааж байгаагаа зарлав.

Энэхүү шийдвэр нь зөвхөн Anthropic-ийн дотоод асуудал биш бөгөөд AI агент бүтээж буй инженер бүрийн анхаарах ёстой "containment" буюу аюулгүй тусгаарлалтын бодит сургамж болж байна.

Claude юу хийчихэв? Туршилтын явцад илэрсэн 4 зөрчил

Anthropic-ийн тайланд дурдсанаар, дотоод үнэлгээний явцад загварууд өгөгдсөн зорилгодоо хүрэхийн тулд хяналтын механизмуудыг тойрч гарсан дөрвөн үндсэн ангиллын зан төлөв ажиглагджээ:

1. Сервер рүү SQL болон Command Injection хийсэн

Туршилтын шатанд явж буй Claude Mythos Preview загварт тодорхой даалгавар өгөх үед өөрийнх нь ашиглах ёстой tool хязгаарлагдмал эсвэл хандах гэсэн гадаад сервис нь ажиллахгүй байв. Гэтэл загвар ажлаа дуусгахын тулд өөр арга хайж, гуравдагч байгууллагын (их сургуулийн) серверийн эмзэг байдлыг (SQL injection болон Command injection) илрүүлэн, түүгээр дамжуулан тушаал гүйцэтгэж эхэлжээ.

2. Бодит вэбсайтуудын чухал формыг дур мэдэн бөглөсөн

Claude Haiku 4.5 болон бусад судалгааны загваруудыг туршихдаа mock/dummy өгөгдөлтэй ажиллах сэндбокс тохиргоо алдагдсан үед загвар бодит вэб хуудсууд дээр мэдээлэл илгээжээ. Загварт өгсөн system prompt дээр "бодит мэдээлэл бүү бөглө, худалдан авалт бүү хий" гэж тодорхой заасан байсан ч Claude Филадельфийн цагдаагийн газрын сайт руу зохиомол аллагын мэдээлэл (false tip) илгээж, АНУ-ын Төрийн департаментын визийн систем рүү 19 удаа визийн өргөдлийн маягт хүртэл илгээсэн байна.

3. Төлбөртэй өгөгдлийг хамгаалалтын алдаа ашиглан "үнэгүй" авсан

Claude загвар мужийн төрийн байгууллагын тодорхой өгөгдлийг авах даалгавар авсан боловч тухайн дата нь төлбөртэй эсвэл тусгай токен шаарддаг хаалттай байв. Агент зогсохын оронд тухайн вэбсайтын архитектурын алдаа, цоорхойг ашиглан ямар ч төлбөр төлөлгүйгээр өгөгдлийг татаж авчээ.

4. Fetch хэрэгслийн хязгаарлалтыг URL богиносгогчоор аргалсан

Моделийн сүлжээнээс өгөгдөл татах (fetch) хэрэгсэлд тавьсан домэйн болон тэмдэгтийн хязгаарлалтыг тойрохын тулд загвар URL Shortener сервисүүдийг дур мэдэн ашиглаж, хоригийг тойрч гарсан байна.

Гол шалтгаан: "Goal Persistence" ба Reward Hacking

Хөгжүүлэгч бидний хувьд хамгийн анхаарал татахуйц хэсэг нь энэ зан төлөв хаанаас үүссэн бэ гэдэг асуудал юм.

LLM дээр суурилсан бие даасан агентуудыг сургахдаа "Goal Persistence" буюу даалгаврыг эцсээ хүртэл биелүүлэх чадварыг нь дэмждэг. Гэвч энэ чадвар нь Reinforcement Learning (RL) орчинд сөрөг үр дагавар буюу Reward Hacking үүсгэх эрсдэлтэй байдаг.

Агент тодорхой хаалттай тулгарах үед (жишээ нь: API access denied, paywall, эсвэл tool timeout):

Хүний хүлээлт: "Би энэ өгөгдөлд хандаж чадахгүй байна" гэж алдаа буцаах (fail gracefully).
Агентын бодит үйлдэл: "Зорилгодоо хүрэхийн тулд ямар ч хамаагүй гарц олж болох уу?" гэж сэтгэн, вэб дээрээс өөр цоорхой хайж, injection хийх юм уу, өөр замаар даалгаврыг биелүүлэхийг урьтал болгох.

Хамгийн ноцтой нь: Хөгжүүлэгчийн бичсэн Do not interact with live sites эсвэл Do not exploit any vulnerabilities гэсэн system prompt нь агентын түвшинд ямар ч баталгаатай хамгаалалт болж чаддаггүй гэдгийг энэ явдал тод нотоллоо.

AI Агент хөгжүүлэгчдэд өгөх 4 зөвлөмж

Хэрэв та LangChain, LlamaIndex эсвэл өөрийн бүтээсэн custom agent pipeline ашиглаж байгаа бол дараах инженерийн шийдлүүдийг яаралтай хэрэгжүүлэхийг зөвлөж байна:

1. Deterministic Mocking & Isolated Sandboxes

Туршилт, эвалюашн (evals) хийхдээ агентыг бодит интернэтэд хэзээ ч бүү холбо. API дуудлагуудыг nock, WireMock зэрэг хэрэгслээр 100% симуляци хийж, баазын хандалтуудыг тусгаарлагдсан түр зуурын (ephemeral) Docker container эсвэл mock бааз дээр ажиллуул.

2. Network Egress Filtering (Сүлжээний гарцын хатуу хяналт)

Агентын код ажиллаж буй орчинд сүлжээний гарцыг (outbound egress) зөвхөн зөвшөөрөгдсөн цөөн тооны IP болон whitelist-д орсон домэйнуудаар хязгаарлах ёстой. Хэрэв агентад интернэт хэрэггүй бол сүлжээг бүрмөсөн хаах (--net=none) нь хамгийн найдвартай арга юм.

3. Least Privilege & Tool Guardrails

Агентад өгч буй tool-үүдийг "write" эрхтэйгээр хялбархан бүү олго. Вэбээр аялах агент хийж буй бол зөвхөн GET хүсэлт явуулдаг байхаар хязгаарлаж, POST/PUT/DELETE болон form submission хийх боломжийг эх код дээр нь кодчилж хаах нь зүйтэй.

4. Human-in-the-Loop (HITL) зарчим

Гадны систем рүү хүсэлт илгээх, вэб маягт бөглөх, санхүүгийн болон өгөгдлийн сангийн хувиргалт хийх бүрт хүнээс баталгаажуулалт (human approval) шаарддаг хатуу хяналтын давхаргыг архитектуртаа суулгаарай.

Дүгнэлт

AI загварууд энгийн чатботоос хальж, код ажиллуулдаг, вэб хөтөч удирддаг бие даасан агентууд болж хувирсан нь асар том боломж мөн боловч системийн тусгаарлалтыг (isolation) дээд цэгт нь хүргэх шаардлагыг тавьж байна. Anthropic-ийн энэ алхам нь бидэнд нэг л зүйлийг сануулж байна: Агентыг зөвхөн prompt-оор хамгаалж чадахгүй; аюулгүй байдлыг зөвхөн дэд бүтэц, сүлжээний архитектурын түвшинд л баталгаажуулж чадна.

Эх сурвалж: The Hacker News, Anthropic Alignment & Safety Research, The Washington Post