Худлаа залхаа больж "мэдэхгүй"-гээ хүлээдэг AI: Европын Aleph Alpha нээлттэй "Kolibri" MoE моделио цацлаа
Хиймэл оюуны салбарт өгөгдлийн нууцлал, бие даасан байдал (Data Sovereignty) болон нээлттэй эхийн (Open-weight) загваруудын өрсөлдөөн шинэ шатанд гарч байна. Германы AI салбарын томоохон төлөөлөл болох Aleph Alpha компани өөрсдийн бие даан боловсруулсан, шинэ үеийн холимог бүтээцтэй (Mixture-of-Experts - MoE) Kolibri загвараа Apache 2.0 лицензээр Hugging Face дээр нийтэд нээлттэй байршууллаа.
Уг загвар нь чадавхын хувьд хаалттай зах зээлийн томоохон LLM-үүдтэй эн зэрэгцэх атлаа, байгууллагуудад өөрсдийн сервэр дээр (on-premise) өгөгдлөө алдалгүй ажиллуулах бүрэн эрх чөлөөг олгож буйгаараа Hacker News болон дэлхийн хөгжүүлэгчдийн нийгэмлэгийг шуугиулж байна.
Архитектур: 78B-ийн чадал, 3.5B-ийн тооцооллын зардал
Kolibri нь нийт 78.1 тэрбум параметр бүхий MoE (Mixture of Experts) бүтэцтэй. Гэхдээ хамгийн гол инженерчлэлийн шийдэл нь нэг токен боловсруулах тутамд 384 экспертээс дөнгөж 6 нь л идэвхжиж, ердөө 3.46 тэрбум параметр тооцоололд оролцдог.
Ингэснээр загварын тооцооллын өртөг (FLOPs) жижиг 3.5B моделийн түвшинд байх боловч гаргаж буй үр дүн, өргөн сэдвийн мэдлэг нь 78B ангиллын аварга загваруудтай тэнцэхүйц чансаатай болж байгаа юм. Aleph Alpha-ийн туршилтаар өмнөх 123B хувилбарууд хоёр H100 GPU дээр ердөө 3 зэрэгцээ урт хүсэлтийг дийлж байсан бол Kolibri 78B нь 18 хүсэлтийг 28%-иар хурдан тайлж (decode) амжжээ.
Европ дахь (Герман болон Финланд) суперкомпьютерын 768 ширхэг NVIDIA B200 GPU дээр 24 их наяд (trillion) токен өгөгдлөөр загварыг тэгээс нь сургасан байна.
1 сая токен ба эрлийз Attention механизм
Kolibri нь шууд 262,144 токеноор эхлэн сургагдсан бөгөөд инференс үед 1 сая (1,048,576) токен хүртэл ажиллах боломжтойг баталгаажуулжээ.
Урт контексттэй ажиллах үед хамгийн том бэрхшээл нь санах ойн KV Cache-ийн хэт ачаалал байдаг. Kolibri үүнийг Hybrid Attention механизмаар шийджээ:
- Ихэнх давхаргууд (layers) нь зөвхөн сүүлийн 512 токенийг хардаг sliding-window горимоор ажиллана.
- Харин 5 давхарга тутамд нэг удаа бүтэн контекстийг харах бүрэн хэмжээний attention ажилладаг.
Энэхүү бүтэц нь бүтэн хуулийн хавтаст хэрэг, урт гэрээ, зузаан техникийн бичиг баримтыг системд оруулан асуулт хариулт (RAG) хийх үед санах ойн зардлыг хэд дахин бууруулж байна.
"Би мэдэхгүй" гэж хэлдэг AI: Trained Abstention
Орчин үеийн LLM-үүдийн хамгийн том дутагдал бол өөрийн мэдэхгүй зүйлээ үнэн мэт итгэлтэйгээр худлаа зохиох буюу хий үзэгдэл (hallucination) юм. Үйлдвэрлэл, банк санхүү, эрүүл мэнд зэрэг чухал салбарт буруу шийдвэр асар их хохирол дагуулдаг.
Kolibri-д энэ асуудлыг шийдэхийн тулд Merlin-Arthur протокол болон баримт нуух тоглоомын аргачлалыг сургалтын үе шатанд суулгажээ. Загварт өгөгдлийг оруулахдаа баримтын зарим хэсгийг зориуд нууж, уг мэдээллийн эх үүсвэр хангалтгүй байгаа эсэхийг тааварлуулж сургасан байна.
Үр дүнд нь Kolibri өөрийн мэдэхгүй, нотлох баримтгүй зүйлтэй тулгармагц худлаа зохиохын оронд "Би мэдэхгүй" эсвэл "Мэдээлэл хангалтгүй байна" гэж шууд татгалздаг (abstain) болжээ. Албан ёсны шалгалтын үеэр загвар мэдэхгүй зүйлдээ 44% тохиолдолд үнэнээ хүлээсэн нь бусад загваруудын 11%-иас даруй дөрөв дахин өндөр үзүүлэлт болов.
Хөгжүүлэгчийн хувиар ажиллуулахад юуг анхаарах вэ?
Хэрэв та уг загварыг өөрийн сервер дээр байршуулахаар шийдсэн бол дараах техникийн чухал цэгүүдийг анхаарах шаардлагатай:
- Санах ойн босго: Тооцоолол нь 3.46B параметр дээр явагдах ч 78.1B параметрийн бүх жин санах ойд (VRAM) суух шаардлагатай. FP8 горимд ажиллахад дор хаяж ~78 GB VRAM шаардагдах тул ердийн хэрэглэгчийн график картад тохирохгүй. Бодит орчинд 2 ширхэг A100 (80GB) эсвэл 1 ширхэг H200/B200 төхөөрөмж хэрэгтэй.
- Тусгай парсер шаардлагатай: Стандарт vLLM нь Kolibri-ийн MoE бүтцийг шууд уншиж чадахгүй тул албан ёсны залгаас суулгах ёстой:
pip install "aleph-alpha-inference>=1"
Серверийг эхлүүлэх командаа ингэж өгнө:
vllm serve Aleph-Alpha/Kolibri-1 \
--kv-cache-dtype fp8 \
--reasoning-parser kolibri1 \
--tool-call-parser kolibri1
- Хэлний токенайзер: Загварын UniBPE 128k токенайзер нь нийлмэл урт үгсийг бага токеноор кодчилдог тул урт текстийг боловсруулахад бусад LLM-ээс дунджаар 15% бага токен зарцуулдаг.
Түүнчлэн уг модель математик шалгалтын AIME benchmark дээр 96.0% оноо авсан нь өөрийн оврын нээлттэй жинтэй загваруудаас эрс даван гарчээ.
Kolibri нь өгөгдлийн бүрэн хяналтаа авч үлдэхийг хүссэн энтерпрайз байгууллагууд болон нээлттэй эхийн үнэнч хөгжүүлэгчдэд зориулсан 2026 оны хамгийн бодитой, технологийн бие даасан байдлыг илтгэсэн шийдэл болж чаджээ.
Эх сурвалж: Aleph Alpha Official Announcement & Technical Report, Hacker News Community Discussion
Сэтгэгдэл
Ачаалж байна...