AutoGen-ийг бүтээсэн "AI Frontiers" баг татан буугдлаа: Суурь судалгаа Scaling-д ялагдав уу?
Хөгжүүлэгчдийн дунд өргөн тархсан олон агентын алдартай фрэймворк болох AutoGen болон компьютерийн үйлдлийг автоматжуулагч Fara зэрэг төслүүдийн ард байсан Microsoft Research-ийн элит "AI Frontiers" (AIF) баг үндсэндээ төгсгөл боллоо. Тус багийг үүсгэн байгуулагч, Machine Learning салбарын нэрт эрдэмтэн Жон Лангфорд (John Langford) өөрийн блогтоо "The End of AI Frontiers" гарчигтай нийтлэл нийтэлж, Microsoft-оос бүрмөсөн гарч буйгаа мэдэгдсэн нь дэлхийн AI болон програм хангамж хөгжүүлэгчдийн нийгэмлэгт хүчтэй маргаан дэгдээгээд байна.
Энэхүү үйл явдал нь зөвхөн нэг баг тарсан тухай мэдээ биш бөгөөд өнөөгийн технологийн салбарт үүсээд буй хамгийн том зөрчил болох "Суурь шинжлэх ухааны судалгаа (Fundamental Research)" болон "Зөвхөн масштаблах уралдаан (Scaling-only Law)" хоёрын хоорондох мөргөлдөөний бодит илрэл болов.
"AI Frontiers" юу бүтээсэн бэ?
2023 онд ChatGPT гарч ирсний дараа тусдаа бие даасан судлаачид дангаараа шинэ breakthrough хийх боломжгүй болсныг анзаарсан Жон Лангфорд болон түүний нөхөд 50 орчим элит судлаач, инженерээс бүрдсэн "AI Frontiers" дэд бүтцийг Microsoft Research (MSR) дотор байгуулжээ.
Тэд ердөө нэг жилийн хугацаанд хөгжүүлэгчдийн өдөр тутмын хэрэглээ болсон дараах бүтээгдэхүүнүүдийг гаргасан юм:
- AutoGen: Өнөөдөр GitHub дээр олон арван мянган одтой, өөр хоорондоо харилцан ажилладаг олон AI агентуудыг (multi-agent systems) удирдах хамгийн алдартай нээлттэй эхийн фрэймворк.
- Fara: Дэлгэцийн график интерфэйсийг уншиж, хүний өмнөөс хулгана, гар ашиглан компьютерийн нарийн төвөгтэй үйлдлүүдийг гүйцэтгэдэг Computer-Use Agent (CUA).
- Суурь архитектурын шинэчлэлүүд: Моделийн параметрийг зүгээр л томоор үлээлгэх биш, харин архитектурыг нь сайжруулах зорилгоор Next Latent (загварт extrapolation хийх чадвар олгох зорилтот функц) болон Full Bandwidth Transformer (рекурсив тооцооллын тусламжтайгаар моделийн хэмжээг 2 дахин багасгасан ч адил чадавх үзүүлдэг шийдэл) зэрэг шинэ загваруудыг туршин хөгжүүлж байв.
Тэд мөн MSR-ийн нийт багуудын дунд хамтын ажиллагааны монорепо (monorepo) үүсгэж, нээлттэй хандалтыг бий болгохыг зорьж байв.
Реорг (Reorg) буюу Бүтээгдэхүүний хананд мөргөсөн нь
Асуудал 9-р сард эхэлсэн байна. Microsoft-ийн удирдлага уг 50 хүнтэй судалгааны багийг Microsoft Research-ийн эрх чөлөөт, академик орчноос хүчээр салгаж, DeepMind-ийн хамтран үүсгэн байгуулагч асан Мустафа Сулейманы удирдаж буй "Microsoft AI" (MAI) бүтээгдэхүүний нэгж рүү шилжүүлжээ.
Энэхүү шилжилт нь суурь судалгаа эрхэлдэг багийн хувьд үхлийн цохилт болсныг Лангфорд нуусангүй.
"Тэндхийн удирдлагын гол философи нь 'Зөвхөн Scale хийх, ямар ч судалгаа байхгүй' гэсэн зарчим байв. Ийм орчинд шинэ санаа, шинжлэх ухааны нээлт огт сонирхол татдаггүй. Гол ажил нь зөвхөн дата цуглуулах, дата бэлтгэх, цэвэрлэхэд төвлөрдөг. Миний боловсруулсан инновацууд бодит амьдрал дээр ашиглагдах ямар ч гарц үгүй болсон тул би компаниас гарахаар шийдлээ." — Жон Лангфорд
Бизнесийн хувьд "Scaling" яагаад үргэлж судалгааг ялдаг вэ?
Лангфорд өөрийн нийтлэлдээ компанийн удирдлагуудын энэ логикийг ойлгож буйгаа хүлээн зөвшөөрсөн байна:
- Судалгаа (Research) нь урьдчилан таамаглах аргагүй: Та хэдэн сая доллар, хэдэн сарын хугацаа зарцуулан цоо шинэ архитектур туршлаа ч тэр нь ажиллахгүй байх өндөр эрсдэлтэй.
- Масштаблах (Scaling) нь найдвартай математик: Хэрэв та GPU-ийн тоог 10 дахин нэмэгдүүлж, их өгөгдөл цутгавал тухайн модель тодорхой хувиар сайжирна гэдэг нь "Scaling Law"-оор тодорхой болчихсон.
Хөрөнгө оруулагчдад хариуцлага хүлээдэг Big Tech-ийн захирлуудын хувьд эрсдэлтэй шинжлэх ухааны нээлт хүлээж сууснаас хэдэн тэрбум долларын GPU кластер худалдаж аваад Transformer-ийг "хайлуулах" нь хамаагүй найдвартай бөгөөд аюулгүй бизнес сонголт болж хувирчээ.
Гэвч Лангфордын анхааруулж буйгаар энэ бол маш богино хугацааны харалган хандлага юм. Жишээ нь тэдний хөгжүүлж байсан Full Bandwidth Transformer нь загварын хэмжээг 2 дахин багасгаж, training болон inference-ийн зардлыг шууд тал хувиар бууруулах боломжтой байв. Гэтэл өнөөгийн аварга компаниуд зардлыг ухаалгаар бууруулах шинэ архитектур туршихын оронд зөвхөн "том загвар" лүү сохроор дайрч байна.
Энэ нь хөгжүүлэгчид болон салбарын хувьд ямар дохио вэ?
- MSR-ийн сонгодог зарчим эвдэрлээ: Microsoft Research нь сүүлийн 30 жилийн турш "Сайн судалгаа хийвэл сайн үр дүн заавал гарч ирнэ" гэсэн академик эрх чөлөөний баян бүрд байсан. Харин одоо судалгаа нь бэлэн бүтээгдэхүүний богино хугацааны KPI болон дата цэвэрлэгээний ажилд залгигдаж эхлэв.
- Нээлттэй эхийн хэрэгслүүдийн ирээдүй: AutoGen гэх мэт хөгжүүлэгчдэд зориулсан үнэ цэнтэй нээлттэй технологиудыг бий болгосон багууд таран бутарснаар эдгээр төслүүдийн арчилгаа, шинэчлэл цаашид хэрхэх вэ гэсэн эргэлзээ үүсэж байна.
- Хиймэл оюуны төвлөрөл: Хэрэв AI-ийн дэвшил зөвхөн "асар их тооцоолох хүч ба өгөгдөл" гэсэн ганц замаар явбал жижиг гарааны компаниуд болон бие даасан хөгжүүлэгчид тоглоомоос бүрэн шахагдаж, салбар тэр чигтээ цөөн хэдэн монополь кластер эзэмшигчдийн гарт үлдэнэ.
Жон Лангфордын Microsoft-оос явсан явдал нь хиймэл оюуны хувьсал "Шинжлэх ухааны бүтээлч эрин"-ээс "Тооцооллын үйлдвэржсэн уралдаан" руу эргэлт буцалтгүй шилжсэнийг зарласан нэгэн тод дохио болов.
Эх сурвалж: Machine Learning (Theory) – The End of AI Frontiers, Hacker News Discussion
Сэтгэгдэл
Ачаалж байна...