AI биднийг 180% илүү кодоор бөмбөгдөж байхад бүтээгдэхүүний Release яагаад ердөө 30%-иар нэмэгдэв? Wharton ба MIT-ийн томоохон судалгаа

Сүүлийн хоёр жилд программ хөгжүүлэлтийн орчин танигдахын аргагүй өөрчлөгдлөө. Cursor, Claude Code, GitHub Copilot болон төрөл бүрийн бие даасан AI агентуудын ачаар хөгжүүлэгчид хэдэн арван мөр кодыг хэдхэн хоромд бичүүлж байна. Гэвч үүнийг дагаад компаниуд бодит бүтээгдэхүүн, шинэ боломжуудаа хэрэглэгчдэд хэд дахин хурдан хүргэж чадаж байна уу?

Энэхүү эргэлзээтэй асуултад Wharton-ий профессор Леон Мусолфф (Leon Musolff) болон MIT Sloan сургуулийн судлаач Мерт Демирэл (Mert Demirer), Лиюань Янг (Liyuan Yang) нар өчигдөр нийтлэгдсэн томоохон хамтарсан судалгаагаараа тодорхой хариулт өглөө.

100,000 гаруй хөгжүүлэгчийн бодит телеметр юу өгүүлэв?

Судлаачид GitHub дээрх 100,000 гаруй идэвхтэй инженерүүдийн 2022-2026 оны хоорондох бодит репозитор, commit, PR болон Microsoft-оос авсан AI ашиглалтын телеметр өгөгдөлд дүн шинжилгээ хийжээ.

Тэд AI кодинг хэрэгслүүдийг гурван үе шатаар ангилсан байна:

1. Autocomplete үе: Анхны GitHub Copilot шиг дараагийн мөрийг санал болгодог хэрэгслүүд.
2. Interactive Sync Agents: IDE дотор кодчитой зэрэгцэн ажиллаж, контекстоор засвар хийдэг ухаалаг туслахууд.
3. Autonomous Async Agents: Хүний шууд оролцоогүйгээр даалгавар авч, бүхэл бүтэн файл, архитектурыг үүсгэдэг бие даасан агентууд.

Судалгааны дүн код бичих түвшинд үнэхээр гайхалтай гарсан: Автоном агентууд ашиглаж эхэлснээр хөгжүүлэгчдийн бичиж буй кодын идэвх (Commit-ийн хэмжээ) дунджаар 180%-иар өсөж, бичигдсэн нийт кодын мөр бараг 17 дахин нэмэгджээ.

Гацааны юүлүүр: Хаашаа алга болоод байна вэ?

Гэвч хамгийн сонирхолтой нь үйлдвэрлэлийн эцсийн шат буюу хэрэглэгчид хүрэх цэг рүү дөхөх тусам энэхүү үлэмж бүтээмж хайлан алга болж байна.

• Код үүсгэлт (Coding activity): +180%
• Шинэ төслүүд (Projects): +50%
• Бодит хувилбар гаргалт (Releases): Ердөө +30%!

Энэхүү үзэгдлийг судлаачид эдийн засгийн "O-ring hypothesis" буюу сул холбоосын зарчим-аар тайлбарлаж байна. Программ хангамж бүтээнэ гэдэг зөвхөн код бичих биш, харин маш олон дараалсан гинжин хэлхээнээс тогтдог систем юм. Хэлхээний нэг холбоос (код бичих) хэт хурдассан ч дараагийн холбоосууд (Code Review, Integration, QA, Deployment) хүний хурдаар хэвээр үлдвэл нийт дамжуулах чадвар өсдөггүй.

Судалгааны гол дүгнэлт:

"Программ хангамжийн салбарт гол гацаа (binding constraint) код бичих шатнаас кодоо шалгах (review), нэгтгэх (integrate), түгээх (distribute) шат руу бүрэн шилжлээ."

Pull Request-ийн цунами ба "Хүний гацаа"

Өмнө нь хөгжүүлэгч өдөрт 1-2 бодолтой PR (Pull Request) гаргадаг байсан бол одоо AI-ийн тусламжтайгаар 5-10 том PR-ийг төвөггүй илгээж байна. Гэвч түүнийг хянах, архитектурын алдааг олж харах, бизнес логикт нийцэж буйг баталгаажуулах үүрэг хүний нуруун дээр хэвээр үлдсэн.

AI-ийн бичсэн код харахад маш цэвэрхэн, алдаагүй мэт боловч нарийн edge-case, аюулгүй байдлын цоорхой, эсвэл системийн архитектурын хувьд үл нийцэх шийдлүүдийг агуулж байдаг. Түүнийг нягтлах нь хүн өөрөө бичсэн кодоо шалгахаас хамаагүй их сэтгэн бодох хүч шаарддаг. Үүний үр дүнд инженерүүд "PR цунами"-д дарагдаж, Code Review хийх хугацаа геометрийн прогрессоор уртасжээ.

Мөн судалгаагаар гар утасны App Store болон marketplace-уудад байршсан аппликейшнуудын тоо огцом нэмэгдсэн ч тэдгээрийн бодит таталт, ашиглалт огт дорвитой өсөөгүй байгааг тогтоосон байна. Энэ нь зүгээр л "амархан код үүсгэсэн" нь хэрэглэгчийн жинхэнэ асуудлыг шийдсэн гэсэн үг биш болохыг харуулж буй хэрэг юм.

Энэ нь хөгжүүлэгчдэд юу гэсэн үг вэ?

Энэ судалгаанаас монгол инженерүүд болон бүтээгдэхүүний багууд дараах хоёр чухал сургамжийг авах хэрэгтэй:

1. Инженерүүд AI-аар халагдахгүй, харин илүү үнэ цэнтэй болно: Судлаачид AI болон хүний хөдөлмөрийн орлуулах уян хатан чанарыг (elasticity of substitution) 0.25 гэж үнэлсэн байна. Эдийн засгийн хувьд энэ нь AI ба хүний ур чадвар хоорондоо хүчтэй "нэмэлт" (strong complements) буюу нэг нь хямдрах тусам нөгөөгийнх нь үнэ цэн улам өсдөг хамааралтай гэсэн үг юм. Код бичих зардал тэг рүү тэмүүлж байгаа энэ үед кодын чанарыг үнэлэх, системийн дизайн гаргах, логик зөрчлийг шүүн тунгаах чадвар хамгийн үнэтэй хөрөнгө болно.

2. Багийн процессоо даруй шинэчлэх шаардлагатай: Хэрэв танай баг гишүүддээ AI хэрэгсэл авч өгсөн хэрнээ PR review, автомат CI/CD, интеграцийн тестүүдээ хуучин хэвээр нь үлдээсэн бол та бүтээмжийн асар том түгжрэл үүсгэж байна гэсэн үг. Одоо хамгийн чухал зүйл бол:

• Маш жижиг, тусгаарлагдсан PR-уудыг хүлээн авах соёл суулгах,
• Автомат integration болон e2e тестийн хамрах хүрээг 80%+ болгох,
• Хөгжүүлэгчдийг код бичигч бус, бүтээгдэхүүний архитекторын түвшинд сэтгэхэд чиглүүлэх явдал юм.

AI бидэнд код бичих гайхалтай хурдыг бэлэглэсэн нь үнэн. Гэвч тэрхүү кодыг бодит хэрэглэгчийн гарт очих найдвартай бүтээгдэхүүн болгон хувиргах "жинхэнэ инженеринг" урьд өмнөхөөсөө ч илүү хүний ухаан, хариуцлагыг нэхэж байна.

Эх сурвалж: Knowledge at Wharton / MIT Sloan Research ("Writing Code vs. Shipping Code: Productivity Effects Across Generations of AI Coding Tools", NBER)