"Токен шатааж бүтээмжтэй харагдахаа боль": Amazon инженерүүдийнхээ "Tokenmaxxing" халуурлыг зогсоохоор зарлиг буулгав

Эдийн засагч Чарльз Гудхартын алдарт хуульд: "Аливаа хэмжүүр өөрөө зорилго болох мөчид тэрээр хэмжүүр байхаа больдог" гэж заасан байдаг. Тэгвэл энэ хууль хиймэл оюуны эрин үеийн программ хангамжийн ертөнцөд бодитоор биелэв.

Технологийн аварга Amazon компани өөрийн бүх програм хангамжийн инженерүүд болон менежерүүддээ зориулсан дотоод удирдамжийг шинэчлэн нийтэлж, инженерүүдийн дунд газар авсан "Tokenmaxxing" гэх үзэгдлийг эрс буруушааж, шаардлагагүй тохиолдолд AI хэрэгслүүдийг хүчээр ашиглахаа зогсоохыг шаардлаа.

"Tokenmaxxing" гэж чухам юу вэ?

Энэ оны эхээр Big Tech компаниуд инженерүүдээ хиймэл оюуны хэрэгслүүд (AI coding assistants, LLM API) хэр сайн ашиглаж байгааг хянахын тулд дотооддоо токен зарцуулалтын онооны самбар (internal leaderboard), идэвхтэй ашиглалтын метрикүүдийг нэвтрүүлж эхэлсэн билээ.

Гэвч удирдлагын энэ шийдвэр эсрэгээрээ инженерийн соёлыг эвдэж эхлэв. Дээд шатны удирдлагууд болон KPI үнэлгээнд "хамгийн их хиймэл оюун ашигладаг, идэвхтэй баг" болж харагдахын тулд инженерүүд энгийнRegex бичих эсвэл нэг мөр код засварлах төдийд ч олон арван сая токены хүчин чадалтай томоохон хэлний загваруудыг (LLM) ажиллуулж, өдөрт хэдэн зуун удаа кодоо дахин бичүүлэх агент ажиллуулах болсон байна.

Энэхүү "ажил хийж бүтээсэн дүртэй харагдахын тулд токен шатаах" гаж үзэгдлийг хөгжүүлэгчдийн дунд хошигнон Tokenmaxxing хэмээн нэрлэжээ.

Амазоны сануулга: Токен бол бүтээмж биш, зүгээр л төлбөрийн нэгж

Amazon-ий Дэд ерөнхийлөгч бөгөөд Хүндэт инженер (Distinguished Engineer) Терк Терковицын (Terk Terkowitz) гарын үсэгтэй уг санамж бичигт компанийн зүгээс дараах хатуу байр суурийг илэрхийлжээ:

"AI багаж хэрэгслийн ашиглалтын хувь, зарцуулсан токены тоо, эсвэл хиймэл оюунаар үүсгүүлсэн кодын хэмжээ зэрэг нь багийн бүтээмжийг хэмжихэд 'туйлын учир дутагдалтай, буруу' метрикүүд юм. Эдгээрийг зорилтот үзүүлэлт болгох нь программ хангамжийг сайжруулах биш, харин дэд бүтцийн зардлыг хяналтгүй өсгөж, системийн нарийн төвөгтэй байдлыг (complexity) зохиомлоор нэмэгдүүлж байна."

Тайланд дурдсанаар, Amazon өмнө нь инженерүүдийнхээ AI ашиглалтыг урамшуулах зорилгоор гаргасан дотоод чансааны самбараа ажилчид нь хий хоосон токен шатааж уралдаад эхэлсэн тул хаахад хүрсэн байна.

Хамгийн том аюул нь: LLM-ээр үүсгүүлсэн код нь өнгөн дээрээ ажиллаж байгаа мэт боловч шаардлагагүй давхаргууд, асар олон boilerplate логик агуулж, урт хугацаандаа засвар үйлчилгээ хийхэд хүндрэлтэй, эмзэг кодын сан (codebase) үүсгэж байжээ.

"Сэргэн мандалтын хөгжүүлэгч" буюу Renaissance Developer-ийн эрин

Amazon энэхүү удирдамжаараа дамжуулан шинэ эриний инженерийн дүрэм журмыг дахин тодорхойлов:

1. Үр дүн ба Бизнесийн үнэ цэнэ хамгийн чухал: Хэдэн мянган мөр код эсвэл хэдэн терабайт токен үрсэн нь хамаагүй. Хамгийн гол нь хэрэглэгчийн туршлага сайжирсан уу, систем найдвартай болсон уу гэдэг л цорын ганц үнэлгээ байх болно.
2. AI ашиглахгүй байх нь ур чадвар: Бүх даалгавар, бүх функц заавал хиймэл оюунаар дамжих албагүй. Энгийн алгоритм, хатуу бичигдсэн дүрэм, эсвэл инженер өөрөө 30 секундэд бодоод бичих кодод LLM дуудах нь нөөцийн гарз юм.
3. Хяналт ба Архитектур: Кодыг хиймэл оюун үүсгэсэн ч эцсийн бүтээгдэхүүний архитектур, аюулгүй байдал, өргөтгөх боломжийг инженер 100% ойлгож, хариуцах ёстой.

Компанийн үзэж буйгаар ирээдүйн программ хангамжийн салбарт "код бичдэг хүн" бус, харин хиймэл оюуныг шаардлагатай үед нь зөв удирдаж, шаардлагагүй үед нь хойш тавьж чаддаг өргөн мэдлэгтэй, шүүмжлэлт сэтгэлгээтэй "Сэргэн мандалтын инженерүүд" (Renaissance Developers) үнэд орох юм.

Монголын хөгжүүлэгчид болон багийн ахлагч нарт өгөх сургамж

Энэхүү мэдээ нь зөвхөн Amazon гэлтгүй өнөөдөр AI хэрэгслүүдийг нэвтрүүлж буй технологийн бүх багуудад том сэрэмжлүүлэг болж байна:

• Багийнхаа бүтээмжийг юугаар хэмжиж байна вэ? Хэрэв танай баг гишүүдээ "Copilot, Claude эсвэл ChatGPT-д өдөрт хэдэн prompt өгсөн", "хичнээн PR гаргасан" гэдгээр нь үнэлж байвал та өөрөө ч мэдэлгүй багийнхандаа "код үйлдвэрлэх үйлдвэр" шиг ажиллах дарамт үүсгэж байж мэднэ.
• Токен үнэгүй биш: Компанийн төсвөөр өгөгдсөн API эрхүүдийг хяналтгүй үрэх нь Cloud дэд бүтцийн зардлыг үлэмж хэмжээгээр өсгөдөг. Хямд шийдлийг үнэтэй загвараар давтан гүйлгэх нь бүтээмж биш.
• Инженерийн үндсэн мөн чанар: Код бичих нь программ хангамжийн инженерийн ажлын дөнгөж 20-30 хувь байдаг. Үлдсэн 70 хувь нь систем дизайн, асуудлыг ойлгох, зөв шийдвэр гаргах үйл явц юм.

Хиймэл оюун бол хүчирхэг хөшүүрэг, гэхдээ түүнийг хэрэглэж буй хүний ухаан, архитектурын шийдэл хэзээд нэгдүгээрт тавигдах ёстойг дэлхийн хамгийн том технологийн аваргын энэхүү алхам сануулж байна.

---

Эх сурвалж: CNBC, Business Insider, IT Pro