Трейнинг хийлгүйгээр модель засварлах эрин үе: AI нейрон сүлжээний жинг шууд "код мэт" уншиж, засварлаж эхэллээ

AI загваруудыг сургах, сайжруулахын тулд бид олон арван мянган ам.долларын GPU кластер дээр backpropagation болон gradient descent бүхий нүсэр сургалтын циклийг (training loop) ажиллуулдаг билээ. Гэвч энэ уламжлалт арга барилыг бүхэлд нь өөрчлөх магадлалтай шинэ нээлт гарч, Hacker News болон хиймэл оюуны хөгжүүлэгчдийн дунд сүүлийн 24 цагийн хамгийн халуун сэдэв болоод байна.

MIT CSAIL-ийн судлаачдын нийтэлсэн "Sparks of Weight-Space Programming" хэмээх судалгаа нь том хэлний загварууд (LLM) бусад нейрон сүлжээний түүхий жинг (raw floating-point weights) яг л уншигдахуйц текст мэт задлан шинжилж, ямар ч сургалтын процессгүйгээр шууд засварлах чадвартай болохыг харууллаа.

"Weight-Space Programming" гэж юу вэ?

Нейрон сүлжээний "жин" (weights) гэдэг нь эцсийн дүндээ сая сая, тэрбум тэрбум хөвөгч таслалтай тоонуудын (floating-point numbers) цуглуулга юм. Хүн эдгээр түүхий тоон матрицуудыг нүдээр хараад тухайн загвар ямар үүрэгтэйг, хаанаа алдаатай ажиллаж байгааг ойлгох ямар ч боломжгүй бөгөөд үүнийг бид "хар хайрцаг" (black box) хэмээн нэрлэдэг.

Харин судлаачид тэргүүлэх загвар болох GPT-6 Astra-д эдгээр түүхий жингийн тоон өгөгдлийг энгийн текст байдлаар дамжуулахад, загвар уг жинг шууд "уншиж", ямар архитектур, ямар зорилготой болохыг нь тайлбарлаж чадсан байна. Тухайлбал, Atari видео тоглоомуудыг тоглохоор бэлтгэгдсэн жижиг сүлжээний жинг өгөхөд уг сүлжээ Pong эсвэл Breakout тоглоомын аль дээр нь зориулагдсаныг ямар ч кодын орчин ажиллуулахгүйгээр тодорхойлж чаджээ.

Судлаачид энэхүү чадварыг "Weight-Space Programming" буюу загварын жингийн орон зайд шууд программчлах үйл явц гэж нэрлэсэн байна.

0.016% жинг гар аргаар засаж, чадварыг 6 дахин өсгөсөн туршилт

Энэхүү судалгааны хамгийн их шуугиан тарьсан бодит жишээ нь Qwen3.5-0.8B загвар дээр хийсэн дебаг байв. Энэхүү жижиг загвар нь математикийн хүнд бодлого бодох үедээ төгсгөлгүй эргэцүүлэх давталтад (thinking loop) орж, токений хязгаартаа тулан гацдаг (тохиолдлын 93%-д нь) суурь алдаатай байжээ.

Судлаачид уг загварыг дахин сургахын оронд GPT-6 Astra-д хандан, жинг нь шууд шинжилж засах даалгавар өгсөн байна:

Алдааг илрүүлсэн нь: Astra нь 15 болон 19-р MLP давхаргуудад эргэцүүлэл төгсгөлгүй үргэлжлэх чиглэлийг (loop direction vector) үүсгэж буйг олж тогтоов.
Мэс заслын засвар: Тэрхүү чиглэлийг саармагжуулахын тулд ердөө 131,072 жинг (нийт загварын 0.016%) хасаж өөрчилсөн байна.
Үр дүн: Ямар ч gradient descent хийгдээгүй байхад загварын MATH-500 үнэлгээний оноо 7.9%-иас шууд 48.1% болж өсч, токений хязгаарт тулах алдаа 93%-иас 33% болж буурчээ. Түүнчлэн заавар биелүүлэх чадвар (IFEval) нь даруй 3 дахин нэмэгдсэн байна.

Программ хангамжийн хөгжүүлэгчдийн хувьд энэ нь: Компайл хийгдсэн бэлэн бинар (.exe эсвэл ELF) файлыг disassembler ашиглан нээгээд, хэдхэн байтыг нь hex editor-оор patch хийж засахтай (binary patching) яг адил зарчим юм.

Зөөврийн компьютер дээр ч давтагдсан нь

Судалгаа гарснаас хэдхэн цагийн дараа нээлттэй эхийн нэрт мэргэжилтэн Саймон Уиллисон (Simon Willison) энэхүү чадварыг орон нутгийн (local) орчинд туршиж үзсэн байна. Тэрээр өөрийн MacBook Pro дээр ажиллаж буй нээлттэй эхийн Qwen 3.8 27B загварт жижиг сүлжээний түүхий жинг өгч шалгахад, уг загвар ч мөн адил бодлогын сүлжээнүүдийг 72-88%-ийн нарийвчлалтайгаар таньж чаджээ.

Энэ нь зөвхөн суперкомпьютерт хаалттай ажилладаг "нууцлаг" том моделиудын чадвар төдий биш, ерөнхий логик сэтгэлгээний түвшин өндөртэй ямар ч загварын гаргаж чадах парадигм болохыг баталлаа.

Шүүмж: Хэт хөөсрөл үү, эсвэл бодит шинэ технологи уу?

Хэдийгээр үр дүн нь гайхалтай харагдаж байгаа ч ML судалгааны хамт олон, тэр дундаа алдарт spaCy санг бүтээгч Мэттью Хоннибал (Matthew Honnibal) уг нийтлэлийг тодорхой хэмжээнд "сенсацилсан, төөрөгдүүлсэн" гэж шүүмжлэв.

Түүний тайлбарласнаар:

Astra загвар жингийн сая сая тоог ямар ч багажгүйгээр харж байгаад ид шидийн мэт шууд засаагүй.
Үүний оронд Python скрипт болон 50 шахам практик тест ажиллуулан, механистик интерпритацийн (mechanistic interpretability) уламжлалт "steering vector" илрүүлэх техникийг л агент байдлаар гүйцэтгэсэн байна.
Гэхдээ шүүмжлэгчид хүртэл нэг зүйлийг хүлээн зөвшөөрч буй: Хүний шинжээчид хэдэн өдөр зарцуулж хийдэг интерпритацийн нарийн дебаг ажлыг AI загвар өөрөө төлөвлөж, бие даан жин дээр засвар хийсэн нь өөрөө маш том амжилт юм.

Хөгжүүлэгч бидэнд энэ нь ямар хамаатай вэ?

Энэхүү шинэ чиг хандлага ойрын жилүүдэд бидний ажилд бодитоор нөлөөлөх хэд хэдэн үүд хаалгыг нээж байна:

Загварын "мэс заслын" засвар (Model Hotpatching): Хэрэв таны ашиглаж буй AI загвар тодорхой төрлийн бодлого дээр алдаа гаргадаг, эсвэл давталтад ордог бол бүх өгөгдлөөрөө дахин fine-tune хийж сая сая токен шатаах шаардлагагүй болно. Хөгжүүлэгч агентууд асуудалтай нейроныг нь олж, хэдхэн жинг шууд засварлах боломжтой.
Backpropagation-гүй оновчлол: Градиент бодох шаардлагагүй тул загварыг засахад асар их VRAM болон GPU тооцоолол хэрэггүй болж, загвар сайжруулалтын зардал эрс буурна.
AI аюулгүй байдал ба аудит: Загварын жин дотор нуугдсан хортой логик, backdoor, эсвэл jailbreak-д өртөмтгий эмзэг цэгүүдийг жингийн түвшинд уншиж илрүүлдэг статикийн шинжилгээний (SAST-тай төстэй) шинэ үеийн хэрэгслүүд бий болох зам тавигдаж байна.

Бид программ хангамжийг эх код (source code) болон хөрвүүлэгч (compiler)-ийн түвшинд ойлгодогтой нэгэн адил, ирээдүйд нейрон сүлжээг жингийнх нь түвшинд дебаг хийж засварладаг шинэ төрлийн инженерчлэл мэндэлж байна.

Эх сурвалж:

Rikiya Takehi et al. (MIT CSAIL) — Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (2026)
Simon Willison — Qwen 3.8 27B on my laptop can interpret model weights, too
Matthew Honnibal (honnibal.dev) — The 'Astra can read and write weights to improve Qwen' post is misleading