Текстгүйгээр ярьж сурсан AI: Block компани төхөөрөмж дээр локал ажилладаг "Dessa" дуут моделио танилцууллаа

Хиймэл оюуны салбарт сүүлийн жилүүдэд гарсан хамгийн том хувьсгалууд ихэвчлэн триллион токен текст уншсан аварга хэлний модель (LLM)-үүд дээр суурилж байв. Хэрэв бид хиймэл оюунтай ярихыг хүсвэл дууг эхлээд текст болгож хөрвүүлээд (STT), текстийн моделиор боловсруулан хариуг гаргаж, эцэст нь түүнийгээ буцаагаад дуу хоолой болгодог (TTS) билээ.

Харин Жэк Дорсигийн үүсгэн байгуулсан Block компани энэ уламжлалт ойлголтыг бүрэн эвдэж, нэг ч үсэг текст уншуулалгүй зөвхөн хүний ярианы авиа, аудио бичлэгээс бүрэн эхнээс нь (from scratch) сургасан Dessa хэмээх full-duplex ярианы моделио албан ёсоор танилцууллаа.

Өнөөгийн "дуу хоолойт AI"-ийн гацаа: Текстийн хиймэл гинж

Одоогийн зах зээлд ашиглагдаж буй ихэнх дуут туслахууд (OpenAI, Anthropic болон бусад платформуудын хоолойнууд) цаанаа дараах гинжин холбоосоор ажилладаг:

ASR / STT (Speech-to-Text): Хүний ярьсан авиаг задлан текст болгоно.
LLM Inference: Текстийг уншиж, контекстийг дүгнээд дараагийн текст токенуудыг үүсгэнэ.
TTS (Text-to-Speech): Текстийг хүний хоолойгоор нийлэгжүүлэн уншина.

Энэ бүтцийн хамгийн том дутагдал нь хоцрогдол (latency) болон сэтгэл хөдлөл, аялга, ритм (prosody)-ийн алдагдал юм. Хүний яриа бол зүгээр нэг үгсийн дараалал биш; өргөлт, хоолойн өнгө, эргэлзээ, амьсгаа авалт, ёжлол, түр амсхийлт зэрэг нь утгын асар том хэсгийг тээдэг. Түүнчлэн STT-LLM-TTS дамжлага нь хүнтэй зэрэг ярих, яриаг нь таслах эсвэл харилцан ярианы дундуур "тийм ээ", "ойлголоо" гэх мэт байгалийн хариу үйлдэл (backchanneling) үзүүлэх боломжийг хязгаарлаж байв.

Dessa гэж юу вэ? Жинхэнэ "Full-Duplex" ярианы бүтэц

Dessa-г Block компанийн харьяа хиймэл оюуны судалгааны тусгай лаборатори (2020 онд худалдаж авсан Dessa багийн цөм) хөгжүүлжээ. Тус модель нь дараах үндсэн зарчмаар ажилладаг:

Zero Text (Нэг ч текст ашиглаагүй): Модель сургалтын явцдаа ямар ч урьдчилсан текстийн токенайзер, Википедиагийн өгөгдөл эсвэл бэлэн pre-trained LLM ашиглаагүй. Хүний нялх хүүхэд эх хэлээ зөвхөн эргэн тойрныхоо яриаг сонсож сурдагтай яг адил дуу авианаас дуу авиаг шууд ойлгож, хариулах зарчмаар сурсан байна.
Full-Duplex чадвар: Dessa нь нэгэн зэрэг ярьж бас сонсож чаддаг. Хэрэглэгч ярьж байх хооронд модель өөрийн байгалийн авиагаар хариу өгөхөөс гадна, дундуур нь тасалж ярихад ямар ч сааталгүйгээр сонсох горим руу автоматаар шилжинэ.
Байгалийн ритм ба сэтгэл хөдлөл: Туршилтын бичлэгүүдээс харахад Dessa нь ярианы завсар завсраар эргэлзэх, инээх, амьсгаа авах болон хоолойн өнгөө нөхцөл байдалд тохируулан өөрчлөхдөө одоогийн текстийн суурьтай бүх моделиос хамаагүй амьд, хүнтэй ярьж буй мэт сэтгэгдэл төрүүлж байна.

Бага дата, асар өндөр үр ашиг: Ганцхан GB200 NVL72 өлгүүр

Өнөөгийн LLM-үүдийг сургахад олон арван мянган GPU, олон их наяд үг, олон сая долларын цахилгааны зардал шаардагддаг. Харин Block-ийн инженерүүдийн онцолсноор:

"LLM-үүдэд байж боломгүй их хэмжээний текст шаардагддаг. Харин Dessa хүний хэлийг тэдгээрээс хэдэн зуу дахин бага үгийн өгөгдөл дээрээс бүрэн эзэмшсэн."

Түүнчлэн энэхүү загварыг бүхэлд нь сургахад ердөө нэгхэн ширхэг NVIDIA GB200 NVL72 кластер ашигласан нь тооцооллын үр ашгийн хувьд гайхалтай амжилт юм. Заавал интернет даяарх бүх санах ой, код баазыг "чихэх" шаардлагагүйгээр зөвхөн харилцан ярианы модаль дээр оновчтой фокуслаж чадвал модель ямар бага нөөцөөр өндөр үр дүнд хүрч болохыг энэ төсөл харууллаа.

MacBook Pro дээр Local ажиллана: Хөгжүүлэгчдэд яагаад чухал вэ?

Энэхүү зарлалын хамгийн шуугиан тарьж буй хэсэг нь түүний инференс (inference) шаардлага юм.

Block-ийн мэдэгдсэнээр Dessa нь Apple Silicon (MacBook Pro M4 Max буюу түүнээс дээш) чип дээр ямар нэг үүлэн серверийн холболтгүйгээр, 100% локал байдлаар бодит цагаас ч хурдан (faster than real-time) ажилладаг.

Хөгжүүлэгчид болон системийн архитекторуудад энэ нь дараах боломжуудыг нээнэ:

Үнэмлэхүй нууцлал (Privacy-First): Хэрэглэгчийн яриа, нууц мэдээлэл гуравдагч компанийн сервер рүү дамжихгүй, шууд тухайн төхөөрөмж дээр боловсруулагдана.
Zero Cloud API Costs: Дуут агентуудыг ажиллуулахад минут тутамд төлдөг үүлэн үйлчилгээний өндөр өртгийг үгүй хийнэ.
Сүлжээний хоцрогдолгүй (Zero Network Latency): Интернет тасарсан ч гэсэн офлайн орчинд жинхэнэ утгаараа чөлөөтэй ярилцах дижитал туслахуудыг бүтээх боломж бүрдэж байна.

Хязгаарлалт ба эргэцүүлэл

Мэдээж Dessa нь бүхнийг чадагч шидэт саваа биш юм. Түүнийг зөвхөн аудио дээр сургасан тул төвөгтэй алгоритм бодох, урт програмчлалын код тайлбарлах, эсвэл баримт бичгийн нарийн фактуудыг шүүх тал дээр ерөнхий зориулалтын хэлний моделиудыг орлож чадахгүй. Түүний гол зорилго нь "ярих ба сонсох" үндсэн чадварыг төгс эзэмших явдал юм.

Одоогоор Block уг моделийг аюулгүй байдлын цөөн тооны судлаачдад хаалттай хүрээнд туршуулж байгаа бөгөөд олон нийтэд зориулсан аппликейшн тун удахгүй гарах төлөвтэй байна. Гэсэн ч энэхүү технологийн шилжилт нь ирээдүйн дуут агентууд заавал текстийн том сүлжээгээр дамжих албагүй, харин "уугуул авианы" тусгай, хөнгөн моделиудаар шийдэгдэх бодит эрин эхэлснийг илтгэж байна.

Эх сурвалж:

Block, Inc. албан ёсны танилцуулга: block.xyz/dessa
Hacker News: Dessa: the most authentic full-duplex speech model ever built
ExplainX AI Research: Block's Dessa: A Voice Model Trained on Speech Alone