Backprop-гүйгээр LLM сургах шинэ эрин: Түүхэнд анх удаа буцах тархалтгүй сургалт амжилттай боллоо

Сүүлийн дөчин жилийн турш хиймэл оюун ухаан, гүн сургалтын (deep learning) ертөнц ганцхан тулгуур багана дээр тогтож ирсэн: Backpropagation буюу алдааг арагш тархаах алгоритм. Бидний өдөр тутмын хэрэглээ болсон GPT, Claude, Llama зэрэг асар том Transformer загваруудыг ч мөн л градиент тооцож, сүлжээний бүх давхаргаар буцаан гүйлгэх замаар сургаж байгаа билээ.

Гэвч энэ 40 жилийн ноёрхол анх удаа бодитоор ганхаж эхэллээ. Q Labs Research баг "Dust: Pretraining Transformers Without Backpropagation" нэртэй судалгааны ажлаа нийтэлж, түүхэнд анх удаа backprop-ийн хэмжээний үр дүнд хүрсэн zeroth-order (градиент шаарддаггүй) сургалтын шинэ аргыг зарлав.

Энэ нь зүгээр нэг лабораторийн туршилт биш бөгөөд загварын хэмжээ томрох тусам улам үр дүнтэй болж, зарим нөхцөлд бүр анхдагч градиент тооцооллоос илүү гарч байгаа нь хиймэл оюуны салбарыг донсолгоод байна.

Backpropagation-ийн 40 жилийн "зовлон" юу байв?

Backpropagation ажилладаг нь үнэн боловч өнөөгийн хөгжүүлэгчид болон дата төвүүдэд асар том зардал, хязгаарлалтыг үүсгэдэг:

Санах ойн (VRAM) хэт ачаалал: Загварыг зүгээр л ажиллуулах (inference) болон сургах (training) хоёрын хооронд асар том зөрүү бий. Загварыг сургах үед forward pass-ийн явцад үүссэн бүх давхаргын завсрын утгуудыг (intermediate activations) GPU санах ойд хадгалах хэрэгтэй болдог. Учир нь backward pass дээр тэдгээрийг ашиглан градиент тооцоолдог. Үүнээс болж сургалтын санах ойн хэрэгцээ inference-ээс даруй 2–3 дахин өсдөг.
Forward-Backward хоёр туйлт түгжээ (Lockstep): Загварын бүх тооцоолол урагш явж дуустал арагш тооцооллыг эхлүүлж болдоггүй. Энэ дараалал нь тооцооллын паралельчлалыг гацаадаг.
Ялгаварлах чадварын шаардлага: Сүлжээний бүх блок, идэвхжүүлэлтийн функц (activation function) нь математик талаасаа заавал ялгаварлагдах (differentiable) ёстой.

Үүнийг шийдэхээр хувьслын алгоритмууд (Evolutionary Strategies буюу ES), zeroth-order optimization зэргийг олон жил судалсан ч том хэмжээний загварууд дээр дэндүү удаан, үр ашиггүй гэгдэн орхигдоод байсан юм.

"Dust" хэрхэн ажилладаг вэ?

Q Labs-ийн шийдэл болох Dust нь сургалтын үндсэн парадигмыг өөрчилсөн.

Тэд өмнөх судалгаанууд шиг сүлжээний тэрбум тэрбум жин (weights) бүрийг нэг бүрчлэн өөрчлөх (perturbation) гэж оролдоогүй. Харин тооцооллын давхарга бүрийн доторх гарцыг токен түвшинд өөрчлөх Activation-Space Perturbation (Node Perturbation) аргыг нэвтрүүлжээ.

Энгийнээр тайлбарлавал:

Transformer-т орж ирж буй контекстийн токен бүрийг тусдаа виртуал туршилтын гишүүн (virtual population member) гэж үздэг.
Нэг удаагийн forward pass ажиллах үед бүх токен дээр бага зэргийн санамсаргүй чичиргээ (noise/perturbation) зэрэг өгөгдөнө.
Загвар ганцхан удаа урагш гүйхдээ (forward pass) эдгээр бүх өөрчлөлтийн үр дүнг зэрэг тооцоолж, алдааны шагналын утгаар (reward-weighted signal) жингүүдийг шинэчлэх чигийг тодорхойлно.
Backward pass гэж огт байхгүй! Алдааг эсрэг чиглэлд дамжуулах, градиент урвуу гүйлгэх ямар ч шаардлагагүй болж байна.

Хамгийн гайхалтай нь уг алгоритм нь одоогийн бүх хөгжүүлэгчдийн стандарт хэрэглээ болсон Adam optimizer-тэй шууд зохицон ажиллаж чаддаг явдал юм.

Яагаад энэ нээлт онцгой вэ?

1. Санах ойн зардлыг хувьсгал мэт багасгана

Forward pass-аас өөр тооцоолол хийхгүй тул олон гигабайт завсрын санах ой (activations)-ийг хадгалах шаардлагагүй болно. Энэ нь нэг GPU дээр сургаж болох загварын багтаамжийг хэд дахин тэлнэ гэсэн үг юм.

2. Өмнөх ES аргуудаас 10,000 дахин хурдан

Сүлжээний жинг шууд таамаглаж өөрчилдөг EGGROLL болон уламжлалт хувьслын алгоритмуудтай харьцуулахад Dust нь 1,000-аас 10,000 дахин өндөр бүтээмжтэй болох нь батлагдсан.

3. Тооцоолол нэмэгдэх тусам Backprop-оос илүү гарна

Судалгааны хамгийн сонирхолтой хэсэг нь: загварын виртуал популяци буюу тооцооллын нөөц нэмэгдэх тусам Dust-ийн гаргаж буй чиглэл нь ердийн backprop-ийн нэгдүгээр эрэмбийн градиенттэй бараг ижил болж эхэлдэг төдийгүй зарим туршилтаар backprop-ийн хүрээгүй оновчтой цэгт хүрч байна. Backpropagation нь Hessian матрицийн төлөвөөс болж гацах магадлалтай байдаг бол Dust энэ хязгаарлалтыг бүрэн тойрч гарчээ.

Хөгжүүлэгчид болон техник хангамжийн ирээдүй

Хэрэв энэ арга цаашид бүрэн стандарт болж батлагдвал хиймэл оюуны салбарт томоохон өөрчлөлт авчирна:

Шинэ үеийн чипүүд: Одоогийн Nvidia CUDA микроархитектур нь матриц үржүүлэх болон backward gradient тооцоход бүрэн зориулагдсан байдаг. Хэрэв бидэнд зөвхөн forward pass хэрэгтэй болвол аналог чип, оптик тооцоолол (optical computing), эсвэл тархины бүтэцтэй нейроморф чипүүд дээр LLM сургах хаалга нээгдэнэ.
On-device Continuous Learning: Ухаалаг утас, энгийн сервер, IoT төхөөрөмж дээр хязгаарлагдмал VRAM-тай үед ч төхөөрөмж өөрийн орчинд тааруулан суралцах боломж бүрдэнэ.

Q Labs-ийн энэхүү судалгаа нь "Backpropagation бол хиймэл оюун сургах цорын ганц зам" гэсэн хөдөлшгүй үнэнийг эвдэж, тооцооллын шинэ эрин үе эхэлж буйг харууллаа.

Эх сурвалж: Q Labs Research — Dust: Pretraining Transformers Without Backpropagation