Мэдээ
TOGTOKH2026 оны есдүгээр сарын 13
Нээлттэй эхийн "хуурмаг амжилт" төгсөв: Real-SWE бенчмарк AI агентуудыг бодит компаниудын кодоор шалгаж эхэллээ
SWE-bench дээр 80%-ийн үнэлгээ авч байсан шилдэг AI агентууд бодит компаниудын хувийн codebase дээр очиход амжилт нь 38.8% хүртэл унав. Шинээр гарсан Real-SWE бенчмаркийн үр дүн яагаад инженерүүдийн анхаарлыг татаж байна вэ?