Whisper-ээс 9 дахин авсаархан, 6 дахин хурдан: Ердөө 16.9MB хэмжээтэй "Whistle" дуу танигч загвар гарлаа

Хиймэл оюуны салбарт сүүлийн жилүүдэд хэдэн арван тэрбум параметртэй аварга загварууд ноёрхож байгаа ч "Edge AI" буюу төхөөрөмж дээр бие даан ажиллах технологийн чиглэлд цоо шинэ өрсөлдөөн эхэлж байна. OpenAI-ийн нээлттэй эхийн Whisper загвар нь дуу хоолой таних (Speech-to-Text / ASR) салбарт алтан стандарт болсон ч хөнгөн хувилбар болох Whisper Base нь 145MB багтаамж шаарддаг бөгөөд жижиг микроконтроллер, ухаалаг цаг эсвэл хямд төхөөрөмжүүдийн санах ойд ачаалахад хүндрэлтэй байдаг.

Энэхүү хязгаарлалтыг эвдэх зорилготой Cactus Compute судалгааны баг ердөө 16.9 MB хэмжээтэй, дурын энгийн CPU дээр ажиллах чадвартай Whistle загварыг нээлттэй эхээр танилцуулж, Hacker News дээр хөгжүүлэгчдийн дунд хүчтэй хэлэлцүүлэг өрнүүллээ.

16.9MB дотор Whisper Base-ийг давсан үзүүлэлт

Whistle нь нийт 55 сая параметр (үүний 36 сая нь идэвхтэй)-тэй бөгөөд 2-битийг квантжуулалт (CQ2bit)-ын техникээр шахагдсан авсаархан загвар юм. Хэмжээ нь Whisper Base-ээс даруй 9 дахин жижиг боловч туршилтын үр дүнгээр түүнийг хэд хэдэн гол бенчмарк дээр давж гарсан байна:

• LibriSpeech (test-clean): Whistle-ийн үгийн алдааны түвшин (WER) 4.31% байсан бол Whisper Base-ийнх 4.9% байв.
• Хурд болон хоцролт: Эхний токенийг ялгах хугацаа (first-token latency) ердөө 11 миллисекунд бөгөөд Whisper-ээс 6 дахин хурдан хөрвүүлж байна.
• Хэлний дэмжлэг: Англи, Герман, Франц, Испани, Итали, Голланд, Польш зэрэг 7 хэл дээр нэмэлт тохиргоогүйгээр ажиллана.

Энэ нь төхөөрөмж дээр клауд серверээс хамааралгүйгээр шууд дуу хоолой таних даалгаврыг ямар ч хоцрогдолгүй гүйцэтгэх бүрэн боломжийг олгож байна.

Инженерчлэлийн шийдэл: Юугаараа өөр вэ?

Cactus Compute баг Whistle-ийг хөгжүүлэхдээ зөвхөн бэлэн сүлжээг шахахаас илүүтэй суурь архитектурыг төхөөрөмжийн нөөцөд тохируулан шинэчилжээ:

1. Laddered Decoder бүтэц: Уг декодер нь 2 түвшнээс эхлээд шат дараалан гүнзгийрэх уян хатан шаталсан архитектуртай. Төхөөрөмжийн хүчин чадлаас хамааран загварын декодерын гүнийг багасгаж эсвэл нэмэгдүүлж ажиллуулах боломжтой.
2. Keyword Biasing: Хэрэглэгчийн өвөрмөц нэр, ховор хэрэглэгддэг тусгай нэр томьёог (жишээ нь тусгай команд эсвэл харилцагчийн нэрс) загварт beam search хийх үед нь нөлөөлүүлэн дэмжих (bias) механизмаар найдвартай таньдаг.
3. Word Timestamps шууд гарна: Нэмэлт alignment загвар ашиглалгүйгээр декодерын attention матрицыг ашиглан үг бүрийн эхлэх болон дуусах хугацаа, магадлалыг шууд гаргаж өгдөг.
4. Hadamard MLP болон энгийн анхаарлын бүтэц: Стандарт хүнд Attention-ий оронд Simple Attention болон Monarch Hadamard MLP ашигласан нь тооцооллын үйлдлийг эрс багасгасан байна.

17 платформ болон WebAssembly дэмжлэг

Хөгжүүлэгчдийн хувьд хамгийн том давуу тал нь суулгах, ажиллуулахад гадаад хамаарал (dependency) шаарддаггүй явдал юм. Тус загвар нь C++ цөмтэй бөгөөд дараах 17 платформ дээр шууд ажиллана:

• macOS болон Windows (x64, ARM)
• Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32)
• Гар утас болон зүүдэг төхөөрөмжүүд: Android, iOS, watchOS, tvOS
• WebAssembly (WASM): Хөтөч дотор ямар ч вебсокет эсвэл сервер рүү өгөгдөл явуулахгүйгээр цэвэр клиент талд 16.9MB модел татагдан аудиог шууд бичвэр болгоно.

Хөгжүүлэгчдэд ямар боломж нээгдэх вэ?

• Ухаалаг гэр ба IoT (Smart Home): Олон хэрэглэгчид Amazon Alexa эсвэл Google Assistant төхөөрөмжөө сүлжээнээс салгаж, Home Assistant платформ дээр хувийн нууцлалтайгаар ажиллуулахыг хүсдэг. Whistle-ийг өчүүхэн чадалтай бичил төхөөрөмж дээр суулгаснаар 100% офлайн, хувийн нууцаа хамгаалсан дуут хяналтын систем бүтээх боломж бүрдлээ.
• Speech-to-Tool Calling: Cactus-ийн хөгжүүлсэн Needle төсөлтэй хамтран ажиллах чадвартай тул хэрэглэгчийн ярьсан дуут файлыг шууд API Tool Call буюу параметр бүхий JSON команд болгон хөрвүүлэх хосолсон нэгдсэн pipeline үүсгэх боломжтой.
• Серверийн зардал тэглэх: Хэрэглэгчийн веб хөтөч эсвэл гар утасны апп дээр дууг шууд хөрвүүлснээр Whisper API эсвэл үүлэн тооцооллын төлбөрт зарцуулах мянга мянган долларын зардлыг хэмнэх боломжтой болж байна.

Загварын жин (weights) нь нээлттэй хэлбэрээр Hugging Face дээр тавигдсан тул Python болон C++ дээр хөгжүүлэгчид өнөөдрөөс эхлэн өөрсдийн бүтээгдэхүүнд туршиж үзэх боломжтой.

Эх сурвалж: Cactus Compute Engineering Blog & Hugging Face (cactus-compute/whistle)