AI кодоо өөрөө шалгаж чадаж байна уу? GitHub хиймэл оюуныг сорих анхны "ReviewBench" стандартыг танилцууллаа
Хиймэл оюун код бичих хурдыг 10 дахин нэмэгдүүлсэн ч программ хангамжийн багуудын өмнө шинэ гацаа (bottleneck) үүссэн нь Pull Request (PR) шалгалт буюу Code Review юм. Багууд энэ асуудлыг шийдэхийн тулд Copilot, Cursor, Devin, Qodo зэрэг AI агентуудад кодоо хянуулах ажлыг даатгаж эхэлсэн. Судалгаагаар хөгжүүлэгчдийн бараг 45% нь өдөр тутмын хөгжүүлэлтдээ AI-аар кодоо шалгуулж байна.
Гэвч нэг чухал асуулт хариултгүй байсаар ирсэн: AI код шалгагчид үнэхээр найдвартай юу? Тэд бодит алдааг олж чадаж байна уу, эсвэл зүгээр л хоосон коммент үлдээж байна уу?
GitHub болон Microsoft-ын судлаачид (Michelle Zhou, Alejandro Carderera de Diego нар) энэ асуултад цэг тавихаар AI код хянагч агентуудыг бодитоор үнэлэх анхны нээлттэй жишиг стандарт болох ReviewBench-ийг албан ёсоор танилцууллаа. Үр дүн нь программ хөгжүүлэгчдийн төсөөлснөөс ч илүү сонирхолтой бөгөөд сэрэмжлүүлэг дагуулсан байв.
Хиймэл жишээ биш: 100 сая PR-ийн бодит статистик
Өмнө нь хиймэл оюуны код хянах чадварыг шалгахдаа ихэвчлэн нийлэг (synthetic) жижиг кодууд эсвэл ганц файл дээр хийсэн өөрчлөлтийг ашигладаг байсан тул бодит амьдрал дээр хэр ажиллахыг харуулж чаддаггүй байв.
GitHub ReviewBench-ийг бүтээхдээ дараах өндөр стандартыг баримталжээ:
- 103.9 сая PR-ийн дата дүн шинжилгээ: Бодит амьдрал дээрх репозиторын хэмжээ, программчлалын хэл, өөрчлөлтийн далайцыг нарийн тусгасан.
- 219 бодит PR, 19 программчлалын хэл: 187 нээлттэй эхийн (OSS) репозитороос түүвэрлэсэн, олон файлыг хамарсан жинхэнэ PR-уудыг ашигласан.
- Олон эх сурвалжит "Golden Set": Хүний сеньор инженерүүдийн шалгалт, статик анализын багажууд болон шилдэг LLM-үүдийн дүгнэлтийг нэгтгэн, жишиг зөв хариултын санг бүрдүүлсэн. Шүүгчээр (judge) Claude Sonnet-ийг ашигласан бөгөөд сеньор хөгжүүлэгчид түүний үнэлгээтэй 96.6%-ийн давхцалтай санал нийлжээ.
Шилдэг AI агент ч алдааны ердөө 26%-ийг л олж чадав
ReviewBench-ийн эхний үнэлгээний самбар (Leaderboard) салбарынхныг цочирдуулав. AI код бичихдээ гайхалтай боловч өөрийнхөө болон бусдын бичсэн кодноос бодит алдаа, регрессийг олох тал дээр хангалтгүй байгаа нь батлагдлаа.
ReviewBench-ийн баталгаажсан илрүүлэлтийн хувь (Grounded Recall):
- GitHub Copilot Code Review (Balanced горим): 26.0%
- Devin: 23.8%
- Qodo (хуучнаар Codium): 22.1%
- Cursor: 9.6%
Энэ тоо юуг илтгэж байна вэ?
Хамгийн шилдэг үнэлгээ авсан Copilot хүртэл PR доторх бодит алдаа, архитектурын доголдол, аюулгүй байдлын цоорхойнуудын ердөө дөрөвний нэгийг л илрүүлж, үлдсэн 74%-ийг нь анзааралгүй өнгөрөөж байна. Cursor-ийн хувьд бодит алдааны дөнгөж 9.6%-ийг л барьж чаджээ.
Түүнчлэн AI агентуудад нэг нийтлэг дутагдал ажиглагдсан нь дуу чимээ (noise) буюу чухал биш хэв маягийн (style/formatting) өөрчлөлт дээр хэт их төвлөрөх, эсвэл эсрэгээрээ чимээгүй өнгөрөх гэсэн туйлшрал байв.
Precision ба Recall: Хөгжүүлэгчдэд ямар аюултай вэ?
Код шалгах явцад хоёр үндсэн үзүүлэлт байдаг:
- Precision (Оновчлол): Бичсэн коммент нь хэр бодитой, зөв байсан бэ? (False Positive бага байх)
- Recall (Илрүүлэлт): Нийт алдаанаас хэдийг нь илрүүлж чадсан бэ? (False Negative бага байх)
Одоогийн AI код шалгагчид Precision тал дээрээ 80-88% орчим үзүүлэлттэй байгаа ч (өөрөөр хэлбэл коммент бичвэл ихэвчлэн зөв зүйл хэлдэг), Recall буюу гүний алдааг олж илрүүлэх чадвар нь тун сул байна.
Хэрэв багууд "Манай AI агент PR-ийг шалгаад ямар нэгэн ноцтой юм хэлээгүй тул merge хийчихье" гэсэн сэтгэхүйгээр хандвал продакшн руу ноцтой алдаатай код нэвтрэх эрсдэл 70 гаруй хувьтай байна гэсэн үг юм.
Хөгжүүлэгчид болон багууд юуг анхаарах ёстой вэ?
ReviewBench-ийн судалгаа бидэнд хэд хэдэн практик дүгнэлтийг өгч байна:
- Merge товчийг хэзээ ч AI-д даатгаж болохгүй: Код review хийх эцсийн хариуцлагыг сеньор инженерүүд болон хүний хяналтад үлдээх ёстой. AI бол хараахан бие даасан Tech Lead биш.
- AI-г туслах болгож ашиглах: Тэд syntax алдаа, баримтжуулалтын зөрүү, энгийн логик алдааг хурдан барихад сайн. Харин систем хоорондын уялдаа холбоо, бизнес логик, сүлжээний ачаалал, аюулгүй байдлын гүний эмзэг байдлыг олох тал дээр найдваргүй.
- Өөрийн багийн агентыг шалгах боломж: ReviewBench нь бүрэн MIT лицензтэй, нээлттэй эх код тул инженерийн багууд өөрсдийн ашиглаж буй дотоод агентуудыг тус бенчмаркаар туршиж, ямар хэмжээний алдаа алдаж байгааг бодитоор хэмжих боломжтой (BYOA — Bring Your Own Agent).
AI хөгжүүлэлтийн эрин үед код үйлдвэрлэх зардал тэг рүү дөхөж байгаа ч тухайн кодыг ойлгох, хариуцах, чанарыг нь батлах үүрэг инженерүүдийн нуруун дээр улам бүр өндөр хариуцлага болон ирж байна.
Эх сурвалж: GitHub Engineering Blog, ReviewBench: An open benchmark for AI code review (Michelle Zhou & Alejandro Carderera de Diego)
Сэтгэгдэл
Ачаалж байна...