Код бичилт 240% өссөн ч хүргэлт ердөө 30%: Wharton ба MIT-ийн судалгаа "AI Bottleneck"-ийг илчлэв

Сүүлийн хоёр жилийн хугацаанд программ хангамжийн салбар "код бичих хурд"-ны хувьсгалыг хийж чадлаа. Хөгжүүлэгчид дэлгэцийн ард хэдэн арван цаг суулгүйгээр асар том функцүүдийг хэдхэн хоромд үүсгэж, терминалаас бүтэн сервисийг угсрах болсон билээ. Гэвч энэ их үүсгэгдсэн код яагаад хэрэглэгчийн гарт очихдоо өмнөхөөсөө дорвитой хурдсахгүй байна вэ?

Энэхүү асуултад хариулт өгөхөөр Wharton School-ийн профессор Леон Музолфф (Leon Musolff) болон MIT Sloan-ийн эдийн засагчид хамтран GitHub-ийн 500,000 гаруй хөгжүүлэгчийн дата болон бодит телеметрийг судалсан томоохон тайлангаа шинэчлэн танилцууллаа. Судалгааны дүн энгийн бөгөөд цочирдом байна: AI нь код үйлдвэрлэлийг галзууруулсан боловч програм хангамж нийлүүлэх (shipping) процессын гацааг (bottleneck) шийдэж чадаагүй байна.

Судалгааны гол тоо баримтууд: "Monotonic Decay" буюу бууралтын синдром

Судлаачид 2022 оноос өнөөг хүртэл AI хэрэгслүүдийг 3 үндсэн үе шатаар нь ангилж, хөгжүүлэгчдийн бүтээмжид үзүүлсэн нөлөөг хэмжжээ:

Autocomplete үе (GitHub Copilot-ийн эхний үе): Код бичилтийн хурдыг 30-40%-иар өсгөсөн.
Synchronous Agents (Cursor, Claude Code зэрэг интерактив засварлагчид): Код бичилт буюу commit-ийн хэмжээг 180% хүртэл өсгөсөн.
Autonomous / Async Agents (Бүрэн бие даасан агентууд): Кодын бүтээмжийг 240% хүртэл огцом өсгөсөн байна.

Гэвч энэ өсөлт төслийн эцсийн шат руу ойртох тусам эрчимтэй замхарчээ.

Кодын бүтээмж 240% өссөн ч нийт шинэ төслийн тоо ердөө 80%,
Харин production түвшинд хүрдэг бодит release ердөө 30%-иар л нэмэгдсэн байна.

Судлаачид үүнийг "Weak-Link Hypothesis" буюу гинжин хэлхээний хамгийн сул холбоос нийт системийн хурдыг тодорхойлдог зарчмаар тайлбарлаж байна.

Шинэ бодит байдал: Код үүсгэх нь үнэгүй, түүнд итгэх нь хэт үнэтэй

Үйлдвэрлэлийн эдийн засгийн сонгодог хуулиар, аливаа процессын нэг хэсэг хэт хямдарвал гацаа нь автоматаар хамгийн үнэтэй, ховор хэвээр үлдсэн хэсэг рүүгээ шилждэг.

Өмнө нь програм хангамжийн багийн хамгийн том саад нь "хүн гараараа код шивэх хурд" байсан. Хөгжүүлэгчийн синтакс бичих, тест тавих, логик хайх хугацаа төслийн хугацааг тодорхойлдог байв. Харин өнөөдөр AI агент 300 мөр кодыг хэдхэн секундэд бичиж байна. Гэвч дараагийн алхамд юу болдог вэ?

1. Code Review-ийн "тархины ядаргаа" (Review Debt)

Хөгжүүлэгч бүр өдөрт 5-10 том Pull Request (PR) үйлдвэрлэх чадалтай болсон ч түүнийг нарийвчлан шалгаж, архитектурын дагуу зөв эсэхийг батлах хүний анхаарал хязгаартай хэвээр байна. Агентуудын бичсэн код "syntax-correct" буюу ажилладаг харагдах боловч бизнесийн логикийн нарийн алдаа, edge-case, санах ойн leak-үүдийг агуулж болдог. Үүнийг уншиж шалгахад шаардагдах хугацаа өмнөхөөсөө ч уртсаж байна.

2. Context Gap буюу уламжлагдаагүй дүрэм

Инженерүүдийн толгойд олон жилээр хуримтлагдсан архитектурын уламжлал, систем хоорондын интеграцын нууц дүрэм, бизнес эрсдэлийн мэдрэмж байдаг. AI агентууд энэ мэдлэгийг бүрэн агуулж чаддаггүй тул гаргасан шийдлийг системтэй нийцүүлэх, integration тест хийх ажил хүний хүчин зүйл дээр гацдаг.

3. Verification & Trust хямрал

AI-аар үүсгэгдсэн кодод баг итгэхгүй байх тусам нэмэлт QA шат, аюулгүй байдлын аудит, staging орчны тестүүдийг шаарддаг. Үр дүнд нь PR-аас Deploy хүртэлх хугацаа (Cycle Time) бараг өөрчлөгдөөгүй эсвэл бүр удааширсан нь судалгаагаар илэрчээ.

Хөгжүүлэгчид болон Engineering Team-үүд үүнээс юу ойлгох ёстой вэ?

Wharton болон MIT-ийн энэхүү судалгаа нь AI эриний программистуудын ур чадварын үнэлэмж хаашаа шилжиж буйг тодорхой зааж өгч байна.

Код бичигч биш, "Системийн Архитектор" болох: Код шивэх ур чадвар хэдийнэ commodity (түүхий эд) болсон. Харин модуль хоорондын зааг, API контракт, өгөгдлийн урсгал, системийн аюулгүй байдлыг оновчтой тодорхойлох чадвар хамгийн өндөр үнэлэмжтэй болж байна.
Review соёлыг автоматаар өөрчлөх: Хэрэв танай баг өдөрт гарч буй асар олон PR-ыг хуучин арга барилаараа гар аргаар бүхэлд нь уншиж байгаа бол тун удахгүй хүргэлт бүрэн зогсоно. Strict Schema Validation, хүчирхэг E2E интеграцын тестүүд болон контракт дээр суурилсан CI/CD пайплайныг эртнээс нэвтрүүлэх шаардлагатай.
Metric-ээ өөрчлөх: Хэдэн мөр код үүсгэсэн (Lines of Code) эсвэл хэдэн commit хийсэн гэдэг нь одоо ямар ч үр дүнгийн үзүүлэлт биш. Production-д гарч, бодит хэрэглэгчид хүрсэн "Shipped Value" л цорын ганц хэмжүүр юм.

Код бичих хэзээ хэзээнээс илүү хялбар болсон. Гэвч хүргэх (shipping) ажил цэвэр хүний инженерчлэл, сахилга бат, зөв архитектураас хамаарсан хэвээр байна.

Эх сурвалж:

Demirer, M., Musolff, L., & Yang, L. "Writing Code vs. Shipping Code: Productivity Effects Across Generations of AI Coding Tools", NBER / Knowledge at Wharton & MIT Sloan.
MIT Sloan School of Management, "AI boosts worker productivity — but does that translate to final outputs?".