Backpropagation түүх болох уу: AI өөрийнхөө жинг (weights) ямар ч сургалтгүйгээр өөрөө засаж эхэллээ
Хиймэл оюун ухааны хөгжилд сүүлийн арван жил мөрдөгдөж ирсэн бичигдээгүй нэгэн хатуу дүрэм бий: "Сурга (Train) -> Хөлдөө (Freeze) -> Нийтэл (Deploy)". Загварыг нэгэнт сургаад production орчинд гаргасан л бол түүний дотоод параметрүүд буюу жингүүд (weights) чулуу шиг хөдөлгөөнгүй болдог. Хэрэв бид модельд шинэ мэдлэг олгох эсвэл алдааг нь засахыг хүсвэл асар үнэтэй GPU кластер дээр backpropagation болон gradient descent ашиглан дахин сургах (fine-tuning) эсвэл prompt injection, RAG, Chain-of-Thought зэрэг "гаднаас нь аргацаах" механизмуудыг ашигладаг байв.
Гэвч энэ 11 дүгээр сард AI судалгааны ертөнцийг доргиосон цоо шинэ судалгаа arXiv дээр нийтлэгдлээ: "Language Models Can Rewrite Their Own Weights" (Fan et al., 2026).
Судлаачид хэлний том загвар өөрийнхөө алдаа дутагдлыг өөрөө оношилж, өөрийнхөө нейроны жингүүдийг кодоор шууд засаж бичих (self-rewriting) чадвартай болохыг амжилттай туршсан байна. Энд ямар ч градиент, optimizer, багш загвар байхгүй.
Сургалтгүйгээр өөрийгөө сайжруулсан туршилт: Юу болсон бэ?
Иллинойсын их сургууль (UIUC), CMU, Стэнфорд зэрэг байгууллагуудын хамтарсан судалгааны баг 27 тэрбум параметр бүхий Qwen3.5 загварыг авч туршжээ.
Судлаачид загварт өөрийнхөө параметрүүд (weights)-ийг дуудан унших, засах тусгай интерфейс өгөөд, түүний шийдэж чадаагүй хүнд бодлогуудыг өгсөн байна. Загвар яаж ажилласан бэ?
- Өөрийгөө оношлох: Загвар өөрийнхөө гаргасан алдаа, бодолтын дарааллыг (reasoning trace) задлан шинжилж, яг аль түвшний нейронууд буруу үр дүнд хүргэж байгааг тооцоолсон.
- Жин засах скрипт бичих: Алдааг залруулахын тулд загвар шууд математик тооцоолол хийж, тодорхой layer-ийн жингүүдэд оруулах өөрчлөлтийг (weight edit) өөрөө тооцоолж, хэрэгжүүлсэн.
- Үр дүнг баталгаажуулах: Өөрчилсөн жингээрээ дахин шалгалт хийж, хэрэв сайжирсан гэж үзвэл өөрчлөлтөө хадгалж үлдээсэн.
Үр дүнд нь уг загвар өмнө нь огт харж байгаагүй 490 нарийн төвөгтэй бодлого дээр нарийвчлалаа (accuracy) шууд 6.6 пунктээр өсгөж чаджээ. Хамгийн сонирхолтой нь дараалсан 8 удаагийн self-rewriting сессийн туршид нарийвчлал огт уналгүй, шат дараалан зөвхөн өссөн үзүүлэлт үзүүлсэн байна.
Өөрийгөө "эмчилдэг" нейрон сүлжээ
Судлаачид уг чадварыг шалгахын тулд өөр нэг хатуу сорилт бэлтгэжээ: загварын зарим чухал жингүүдийг санаатайгаар эвдэж (catastrophic weight corruption), загварыг бараг ажиллах чадваргүй болгосон байна.
Хамгийн гайхалтай нь загвар өөрийнх нь анхны эх жингүүд (original weights) ямар байсныг огт мэдэхгүй байсан ч эвдрэлийг өөрөө оношилж, алдагдсан бүтцийг сэргээн засварласнаар өөрийн анхны нарийвчлалын 80 гаруй хувийг эргүүлэн олж авчээ! Бүр текст дээр үндэслэн өөртөө хийсэн засвар нь өмнө нь огт заагаагүй харааны (vision/multimodal) даалгавруудыг шийдвэрлэхэд нь эергээр нөлөөлж, cross-modal чадвар үзүүлсэн байна.
Хэмжээ чухал: Энэ чадвар хаанаас гарч ирэв?
Энэ нь бүх моделд байдаг энгийн скрипт биш, харин тодорхой цар хүрээн дээр гэнэт илэрдэг "Emergent Capability" байжээ.
Судлаачид нэг гэр бүлийн 4 өөр хэмжээтэй загвар дээр энэ туршилтыг хийж үзэхэд:
- 2B загвар: Өөрийн жингээ засах ямар ч оролдлого хийж чадаагүй.
- 4B болон 9B загварууд: Жингүүдээ засах гэж оролдсон боловч өөрийн бүтцийг улам бүр эвдэж, бүрэн ажиллагаагүй болсон.
- 27B загвар: Өөрийн архитектур, математик бүтцийг бүрэн ойлгож, логик гаргалгаагаараа өөрийгөө амжилттай засаж сайжруулж чадсан ганц загвар нь байв.
Өөрөөр хэлбэл, модель хангалттай томрох үед өөрийн дотоод параметрийн орон зайг (weight space) код эсвэл өгөгдөл мэтээр харж, түүн дээрээ "программчлал" хийх чадвартай болдог болох нь харагдаж байна.
Хөгжүүлэгчид болон AI инженерүүдийн хувьд энэ юу гэсэн үг вэ?
Энэ судалгаа нь бидний олон жил баримталж ирсэн суурь ойлголтуудыг нурааж байна:
-
"Training" ба "Inference"-ийн зааг арилж байна: Судалгааны баг "Сургалт болон инференсийн хоорондох хана нь оюун ухааны өөрийнх нь шинж биш, харин бидний багаж хэрэгслийн хязгаарлагдмал байдлаас үүдэлтэй байжээ" хэмээн онцолсон байна. Загвар суралцахын тулд заавал асар том өгөгдлийн бааз, градиент тооцоолол хийх шаардлагагүй, тухайн агшинд логик дүн шинжилгээгээр өөрийгөө хувиргах боломжтой болж байна.
-
Загварын аудит болон CI/CD-ийн шинэ сорилт: Өнөөдөр бид Git commit эсвэл Docker image шиг загварын тодорхой жин бүхий
.binэсвэлsafetensorsфайлыг production-д суулгаад, "энэ бол манай шалгагдсан систем" гэж үздэг. Гэтэл хэрэв загвар өөрөө өөрийнхөө жинг ажиллах явцдаа (runtime) өөрчилчихвөл юу болох вэ? Бидний аюулгүй байдлын шалгалт хийсэн тэр модель хэдэн цагийн дараа цоо шинэ зан авиртай өөр загвар болж хувирч болно. Энэ нь аюулгүй байдлын аудитыг "deploy хийх үед нэг удаа шалгадаг" биш, "runtime дээр тасралтгүй шалгадаг" цоо шинэ архитектур луу түлхэж байна. -
Compute зардлын хувьсгал: Шинэ чадвар эзэмшүүлэхийн тулд сая сая долларын GPU түрээслэх шаардлага багасаж, хэрэглэгчийн асуултад хариулах явцдаа өөрийгөө хямд өртгөөр өнгөлөн сайжруулдаг бие даасан системүүдийн эрин үе эхэлж байна.
AI зөвхөн хүнд зориулж код бичих биш, өөрийнхөө бүтцийг өөрөө кодчилон дахин бүтээж эхэллээ.
Эх сурвалж:
- arXiv:2611.21885 - "Language Models Can Rewrite Their Own Weights" (Jiajun Fan, Neil He, Changyi Yang et al., Nov 2026)
Сэтгэгдэл
Ачаалж байна...