Код 30% нэмэгдсэн ч гарсан бүтээгдэхүүн 0%: Харвардын 700 гаруй компанид хийсэн цочирдом судалгаа

Сүүлийн хоёр жилд AI код бичих агентууд болон туслахууд (Copilot, Cursor, Claude Code г.м.) хөгжүүлэгчдийн өдөр тутмын амьдралыг орвонгоор нь эргүүллээ. "Одоо програм хангамж хэд дахин хурдан бүтээгдэнэ", "нэг хөгжүүлэгч бүтэн багийн ажлыг амжуулна" гэсэн сурталчилгаа хаа сайгүй сонсогдож буй.

Гэвч бодит байдал дээр компаниуд үнэхээр өмнөхөөсөө 2 дахин хурдан бүтээгдэхүүнээ зах зээлд нийлүүлж (ship) чадаж байна уу?

Харвардын их сургуулийн (Harvard University) эдийн засаг, технологийн судлаачид энэ асуултад хариулахаар инженерчлэлийн аналитикийн Jellyfish платформтой хамтран түүхэн дэх хамгийн том эмпирик судалгааг хийж гүйцэтгэлээ. Судалгааны үр дүн технологийн салбарынхныг, тэр дундаа инженерийн удирдлагуудыг цочролд оруулаад байна.

700 гаруй компани, 300 сая үйл явдал: Дата юу хэлэв?

Харвардын судлаачид болох Фиона Чен (Fiona Chen), Жэймс Страттон (James Stratton) нар 2021 оноос хойших хугацаанд 718 технологийн компанийн 725,000 гаруй инженерүүдийн 300 сая гаруй ажлын үйл явдал (commits, pull requests, code reviews, task resolution)-д дүн шинжилгээ хийжээ.

Компаниуд AI coding assistant болон бие даасан AI agents нэвтрүүлснээр дараах үзүүлэлтүүд эрс өссөн байна:

• Нийт бичигдсэн кодын мөр (Lines of Code): +30% өссөн
• Нийт Git Commit-ийн тоо: +20% өссөн
• Үүсгэсэн Pull Request (PR)-ийн тоо: +23% өссөн

Гаднаас нь өнгөц харвал багийн бүтээмж гайхалтай нэмэгдсэн мэт. Хөгжүүлэгчид өдөрт хэдэн зуун мөр boilerplate код, шинэ классууд, функцуудыг хэдхэн минутад үүсгэж чадаж байна.

Гэвч хамгийн чухал хэмжүүр болох "Бүрэн дууссан ажлууд болон хэрэглэгчийн гарт хүрсэн бодит бүтээгдэхүүний өсөлт" (Shipped software & resolved tasks) статистикийн хувьд 0% буюу ямар ч өөрчлөлтгүй гарчээ.

Асуудал хаана байна вэ? "Code Review"-ийн их бөглөрөл

Хөгжүүлэгчид кодоо хурдан бичиж байгаа нь үнэн боловч програм хангамж үйлдвэрлэлийн бүх процесс хурдсаагүй. Харин ч эсрэгээрээ асуудал конвейерийн дараагийн шат руу шилжиж, аварга том гацаа (bottleneck) үүсгэсэн байна:

1. PR хянах хугацаа 49%-иар уртассан: Компаниуд AI нэвтрүүлсний дараа нэг PR-ийг хянаж дуусгах (review cycle time) дундаж хугацаа 3.45 өдрөөр нэмэгджээ.
2. Буцааж засах шаардлага (Revision Requests) бараг 2 дахин өссөн: AI-ийн үүсгэсэн PR-ууд шууд approve авахаас илүүтэй дахин дахин засвар шаардах болсон.
3. PR дээрх сэтгэгдлийн тоо 35%-иар өссөн: Ахлах (Senior) инженерүүд хиймэл оюуны санал болгосон логикийн нарийн алдаа, architecture-ийн зөрчлийг засахын тулд илүү их цаг зарцуулан сэтгэгдэл бичих шаардлагатай болжээ.

AI нь код бичих ажлыг хэд дахин хурдасгасан ч, кодоо унших, шалгах, бизнесийн шаардлагад нийцэж буйг батлах хүний хурдыг нэмэгдүүлж чадсангүй. Өөрөөр хэлбэл, хөгжүүлэгч 5 минутад үүсгэсэн 500 мөр кодыг багийн ахлах нь нэг бүрчлэн уншиж шалгахад 1 цаг зарцуулж, нийт хүргэлтийн хурд өмнөх түвшиндээ буцаад гацчихаж байгаа хэрэг юм.

"Мөр бүр бол хариуцлага": Түүхий кодын цунами

Програм хангамжийн инженерийн алтан дүрмүүдийн нэг бол: "Код бол хөрөнгө биш, харин өр төлбөр (liability)" юм. Системд нэмэгдсэн код болгоныг ирээдүйд засварлах, арчлах, тестлэх хэрэгтэй болдог.

Хөгжүүлэгчид AI ашиглан маш цэвэрхэн харагдах боловч далд bug, security цоорхойтой, эсвэл системийн архитектурыг хэт хүндрүүлсэн "plausible-looking" кодуудыг олноор нь нийлүүлэх болсон. Senior инженерүүд үүнийг шууд нүдээ аниад merge хийж чадахгүй тул line-by-line review хийхэд хамаг цагаа барж байна.

Нөгөө талаас, олон менежерүүд инженерийн бүтээмжийг "Lines of Code" буюу бичсэн кодын хэмжээгээр хэмжих буруу хандлагатай байдаг. Хэрэв танай баг маш их код бичиж байгаа ч feature-үүд prod орчин руу гарч чадахгүй удаж байвал танайд яг энэ асуудал нүүрлэсэн байна гэсэн үг.

Цаашид хөгжүүлэгчид болон багууд яах ёстой вэ?

Энэхүү судалгаа нь "AI хэрэггүй" гэсэн үг огт биш юм. Харин бидний ажлын процесс хуучирсан болохыг харуулсан дохио юм. Цаашид инженер багуудад дараах өөрчлөлтүүд нэн тэргүүнд шаардагдаж байна:

• Бүтээмжийн хэмжүүрийг өөрчлөх: Хэдэн мөр код бичсэнээр бус, хэрэглэгчийн гарт очсон үнэ цэнэ, Lead Time, DORA metrics (Deployment Frequency, Change Failure Rate)-ээр үнэлэх.
• Автомат тест, CI/CD-г нэн тэргүүнд тавих: AI бичсэн кодыг хүн нүдээрээ хайж суухаас илүү өндөр түвшний Unit test, Integration test, E2E test-үүд хүчтэй байх шаардлагатай. Тестгүй AI код бол зүгээр л цаг нь таарсан тэсрэх бөмбөг юм.
• Жижиг, салангид PR (Atomic / Stacked PRs): AI ашиглаж байна гээд нэг дор 1000 мөрийн PR нээхээ больж, хянахад хялбар жижиг хэсгүүдэд хувааж илгээх соёлд шилжих.
• Код үүсгэхээс илүү ойлгох чадвар: Хөгжүүлэгчийн үнэ цэнэ "хурдан бичих"-д биш, системийн архитектур, бизнесийн логикийг зөв тодорхойлох, аюулгүй байдлыг хангах чадварт шилжиж байна.

AI нь гар ажиллагааг хурдасгаж болох ч, инженерийн шүүмжлэлт сэтгэлгээ болон чанарын хяналтыг орлож чадахгүйг Харвардын дата баталлаа. Код бичих нь хялбар болсон энэ үед жинхэнэ чадвар "бичих"-дээ бус, "зөв эсэхийг нь шалгаж, шийдвэр гаргах"-д оршиж байна.

---

Эх сурвалж: Ars Technica, Harvard University & Jellyfish Research ("Artificial Intelligence in the Firm: Bottlenecks in Software Production")