Код бичихээс илүү хянах нь хэцүү: GitHub AI-ийн кодын чанарыг шалгах нээлттэй "ReviewBench"-ийг зарлалаа
Сүүлийн хоёр жилд хиймэл оюуны загварууд кодоо хэр хурдан, хэр чадварлаг бичиж чаддагийг хэмжих SWE-bench, HumanEval зэрэг шалгуурууд технологийн салбарыг эзэгнэж ирсэн билээ. Гэвч өдөр тутмын инженерчлэлд кодоос илүү үнэ цэнтэй зүйл бол түүнийг хянах, архитектурын согог болон нуугдмал багийг илрүүлэх процесс юм.
Хөгжүүлэгчид AI ашиглан асар их код үйлдвэрлэх тусам PR (Pull Request) шалгах ажил багуудын гол гацаа болж хувираад байна. Үүнийг шийдвэрлэхээр олон төрлийн AI Code Reviewer агентууд зах зээлд гарч ирсэн ч тэдгээрийн хэн нь бодитоор алдаа олдог, хэн нь дэмий хэлбэр хөөсөн коммент үлдээдгийг бодитой хэмжих нэгдсэн хэмжүүр огт байхгүй байв.
Энэхүү орон зайг нөхөхөөр GitHub албан ёсоор ReviewBench нэртэй нээлттэй эхийн бие даасан бенчмаркийг албан ёсоор цацлаа.
100 сая PR-ийн бодит орчныг хуулбарласан бенчмарк
ReviewBench нь лабораторийн хиймэл жишээнүүд дээр бус, GitHub-ийн платформ дээр хийгдсэн 103.9 сая гаруй бодит Pull Request-ийн тархалт дээр үндэслэгджээ.
Энэхүү тест нь:
- 19 программчлалын хэл, нээлттэй эхийн лицензтэй 187 репозитор-оос сонгосон 219 бодит PR-ийг агуулсан.
- Нэг файлын өчүүхэн засваруудыг хасаж, хэд хэдэн файлыг хамарсан, бодит ревью шаардлагатай дунд болон том хэмжээний өөрчлөлтүүдэд жин өгсөн.
- "Golden Set" буюу суурь үнэн (Ground Truth): Зөв хариултын сан нь зөвхөн нэг загварын таамаглал биш юм. Үүнд туршлагатай ахлах инженерүүдийн бичсэн review комментууд, кодын зохиогчийн дараагийн commit-оор зассан алдаанууд, статик анализ хэрэгслүүдийн илрүүлсэн дүгнэлт болон олон төрлийн frontier загваруудын үр дүнг синтакс, семантик түвшинд нэгтгэн бүтээжээ.
- Шүүгч систем: Гаралтын чанарыг шүүх шүүгч загвараар Claude Sonnet 5-ийг ашигласан бөгөөд ахлах инженерүүдийн хийсэн бие даасан шалгалтаар уг шүүгчийн үнэлгээ нь туршлагатай инженерүүдийн дүгнэлттэй 96.6 хувийн тохироотой байв.
Анхны Leaderboard: Бодит үнэн ба "аймшигтай" тоо
ReviewBench-ийн анхны лидербордод өнөө үед түгээмэл хэрэглэгдэж буй зах зээлийн гол AI системүүдийг сорьсон дүн нийтлэгдсэн нь багагүй шуугиан тарьж байна. Хэмжүүрийн гол үзүүлэлт болох Grounded Recall буюу тухайн кодод гарсан бодит алдаануудыг илрүүлэх хувь дараах байдалтай гарчээ:
- GitHub Copilot Code Review (Balanced) — 26.0%
- Devin AI — 23.8%
- Qodo (хуучнаар CodiumAI) — 22.1%
- Codex / Greptile / Cubic — 15%–19% орчим
- Cursor — 9.6%
Эдгээр үзүүлэлт хөгжүүлэгч бидэнд юуг харуулж байна вэ?
Хамгийн шилдэг үнэлгээ авсан систем хүртэл кодод нуугдсан бодит алдаануудын дөнгөж дөрөвний нэгийг (26%) л олж чадаж байна. Үлдсэн 74 хувийн алдаа AI-ийн хараанаас шууд мултарч байна гэсэн үг.
Нөгөө талаас, код бичих туслахаар олон нийтийг байлдан дагуулж буй Cursor нь код боловсруулах инлайн түвшиндээ маш сайн боловч бүхэл бүтэн репозитор, том хэмжээний PR-ийн архитектурын уялдааг хянахад recall нь ердөө 9.6%-тай байсан нь багагүй анхаарал татаж байна. Энэ нь зүгээр л чатлах интерфэйстэй байх, контекст бүхий бүрэн хэмжээний код шалгагч агент ажиллуулах хоёрын хоорондын асар том ялгааг илчиллээ.
Инженерүүд болон бүтээгдэхүүний багуудад энэ яагаад чухал вэ?
-
Маркетингийн "шуурга"-аас бодит хэмжигдэхүүн рүү: Өдийг хүртэл олон стартап, платформууд "Манай AI 99%-ийн алдааг олдог" гэж сурталчилж ирсэн. ReviewBench нээлттэй болсноор инженерийн багууд өөрсдийн сонгох гэж буй review agent-ийн нарийвчлал (precision), бодит чанар (grounded recall)-ийг хөндлөнгийн баталгаатай тоогоор харьцуулах боломжтой боллоо.
-
AI-аар код шалгуулаад шууд Merge хийж хэрхэвч болохгүй: 26%-ийн recall гэдэг бол туслах үүрэг гүйцэтгэхэд сайн үзүүлэлт боловч хүний шийдвэрийг орлох түвшнээс хол байгааг баталж байна. Хэрэв танай баг AI код шалгагчид найдаж хүний хяналтыг сулруулсан бол системд ноцтой цоорхой үлдэх эрсдэл маш өндөр байна.
-
Бүх зүйл нээлттэй эх (MIT License): GitHub энэхүү бенчмаркийн өгөгдлийн сан, Claude-ийн prompt логик, үнэлгээний runner кодуудыг бүгдийг нь нээлттэй болгосон байна. Ингэснээр байгууллагууд өөрсдийн дотоод codebase болон өөрсдийн бүтээсэн custom LLM harness-уудыг ReviewBench дээр ажиллуулан үр дүнгээ хэмжих боломжтой боллоо.
Хөгжүүлэгчийн ертөнцөд "Код бичихээс илүүтэй унших, шалгах нь хамгийн их цаг авдаг" гэсэн бичигдээгүй хууль бий. Энэхүү хууль AI-ийн эринд ч хүчинтэй хэвээр байгааг ReviewBench тод сануулж байна.
Эх сурвалж: The GitHub Blog: ReviewBench – An open benchmark for AI code review, Help Net Security, The New Stack
Сэтгэгдэл
Ачаалж байна...