Утас дээр ажиллах нэгдсэн вектор хайлт: Google нээлттэй эхийн мультимодал "EmbeddingGemma 2"-г танилцууллаа

Орчин үеийн хиймэл оюуны хэрэглээний дийлэнх нь Retrieval-Augmented Generation (RAG) болон семантик хайлт дээр тогтож байна. Гэвч өнөөг хүртэл мультимодал хайлт хийхийн тулд зураг тайлбарлагч (image captioning), яриаг бичвэрт буулгагч (speech-to-text) болон бичвэрийн эмбеддинг загваруудыг тус тусад нь цуваа байдлаар (pipeline) холбож, эсвэл үүлэн тооцооллын үнэтэй API-уудад найдахаас өөр аргагүй байсан билээ.

Google DeepMind энэ асуудлыг шийдвэрлэхээр өчигдөр EmbeddingGemma 2 нэртэй цоо шинэ нээлттэй загвараа танилцууллаа. Gemma 4 архитектурт суурилсан уг загвар нь нийт 740 сая (740M) параметртэй ба хэрэглэгчийн гар утас, зөөврийн компьютер дээр бүрэн локал байдлаар ажиллах боломжтой. Хамгийн гол нь арилжааны бүрэн эрхтэй Apache 2.0 лицензээр нийтийн хүртээл болсон нь хөгжүүлэгчдийн хувьд онцлох мэдээ болоод байна.

Бүх төрлийн өгөгдлийг 768 хэмжээст нэг орон зайд

EmbeddingGemma 2-ын гол онцлог нь текст, код, зураг, аудио болон видеог тус тусад нь бус, нэгдсэн нэг 768 хэмжээст вектор орон зайд (unified embedding space) шууд хөрвүүлдэгт оршино.

Энэ нь хөгжүүлэгчдэд юу өгөх вэ?

• Дуут бичлэг эсвэл дуут тэмдэглэлээр хайлт хийж холбогдох видео клипийг олох,
• Бичвэр асуулга (text query) ашиглан олон цагийн аудио архиваас яг тухайн хэсгийг шүүн хайх,
• Хэрэглэгчийн зурсан ноорог зургаар холбогдох эх код эсвэл баримт бичгийг илрүүлэх зэрэг үйлдлийг нэг л загвараар шийдэх боломж бүрдэж байна.

Өмнөх EmbeddingGemma 1 загвар нь зөвхөн текст дээр төвлөрдөг байсан бол шинэ үеийн хувилбар нь 100 гаруй хэлийг дэмжихээс гадна 8,192 (8K) токены контекст цонхтой болжээ. Энэ нь нэг дуудалтаар (inference) 5.5 минутын аудио, 29 ширхэг зураг эсвэл 58 видео фрэймийг нэгтгэн боловсруулах хангалттай багтаамж юм.

Модуляр бүтэц: Зөвхөн хэрэгтэй хэсгээ санах ойд ачаал

Хэдийгээр бүрэн хэмжээний загвар нь 740M параметр боловч Google-ийн инженерүүд үүнийг маш уян хатан, салангид модуляр бүтэцтэйгээр зохион бүтээжээ. Загвар нь 270M үндсэн текст модуль (130M трансформер + 140M эмбеддер), 170M харааны (vision) модуль болон 300M аудио модуль гэсэн гурван тусдаа бүтцээс бүрдэнэ.

Хэрэв таны систем зөвхөн код болон бичвэр хайх шаардлагатай бол зөвхөн 270M хэмжээтэй текст модулийг ачаалж болох ба энэ нь Google Pixel 11 Pro түвшний ухаалаг төхөөрөмжийн RAM дээр ердөө ~191MB зай эзэлнэ. Харин бүх модалийг зэрэг ачаалсан ч төхөөрөмжийн идэвхтэй санах ойд ердөө ~567MB шаардагдах тул хэрэглэгчийн аппликэйшнд бараг ямар ч дарамт учруулахгүй. Бүх модулиуд нь өөр хоорондоо яг ижилхэн 768 хэмжээст вектор гаргадаг тул сангууд нь хоорондоо бүрэн нийцдэг.

Matryoshka буюу Вектор сангийн зардлыг хэмнэх нууц

Вектор өгөгдлийн сангууд (Vector Database) нь олон сая өгөгдлийг санах ойд (RAM) хадгалахад ихээхэн хэмжээний зардал шаарддаг билээ. Үүнийг шийдэхийн тулд EmbeddingGemma 2 нь Matryoshka Representation Learning (MRL) технологийг унаган байдлаар дэмждэг.

MRL-ийн ачаар хөгжүүлэгчид 768 хэмжээст гаралтын векторыг 512, 256, эсвэл бүр 128 хэмжээс хүртэл динамикаар таслан богиносгох боломжтой. Qdrant багийнхны хийсэн туршилтаар, 10 сая баримтын хэмжээтэй баазад бүтэн float32 хэмжээст векторууд 30GB гаруй RAM шаарддаг байсан бол хэмжээс тайралт болон квантчлалыг (quantization) хослуулснаар загварын чанарыг 94.5%-д нь хадгалан санах ойн хэрэглээг 77 дахин бууруулж чадсан байна. Энэ нь дэд бүтцийн зардлыг үлэмж хэмжээгээр танах бодит боломж юм.

Код индексжүүлэлт ба Төхөөрөмж дээрх шийдвэр гаргалт

Хөгжүүлэгчдийн хувьд нэгэн таатай мэдээ бол кодын хайлтын чанар эрс сайжирсан явдал юм. Эмбеддинг чанарыг хэмждэг нээлттэй MTEB Code бенчмарк дээр өмнөх үеийн EmbeddingGemma 1 загвар 68.76 оноо авч байсан бол EmbeddingGemma 2 загвар 78.68 оноо болж, бараг 10 пунктээр өсчээ. Энэ нь орон нутгийн эх кодын сангуудыг индексжүүлэх, код хайх AI туслахуудыг хөгжүүлэхэд тун өндөр нарийвчлалыг амлаж байна.

Нэмж дурдахад, уг загвар нь тусдаа нарийн тааруулалт (fine-tuning) хийгээгүй үед ч хэрэглэгчийн асуулгыг ангилал, шошгуудтай маш бага латенттайгаар шууд нийцүүлж чаддаг тул орон нутгийн төхөөрөмж дээр тушаал чиглүүлэгч (zero-shot intent router) болгон ашиглахад нэн тохиромжтой.

Хэрхэн ашиглах вэ?

EmbeddingGemma 2-ын жингүүд (weights) Hugging Face болон Ollama платформууд дээр нээлттэй тавигдсан байна. Мөн Google AI Edge сангаар дамжуулан Android, iOS болон Mac үйлдлийн системүүд дээр шууд NPU ашиглан интеграци хийх боломжтойгоор зарлагджээ.

Үүлэн үйлчилгээний төлбөрт дарамтлуулахгүйгээр, хэрэглэгчийн хувийн мэдээллийг гадагш дамжуулахгүй (privacy-first) мультимодал RAG бүтээгдэхүүн хөгжүүлэхийг зорьж буй инженерийн багуудын хувьд EmbeddingGemma 2 нь энэ намрын хамгийн шилдэг сонголтуудын нэг болох нь тодорхой байна.

Эх сурвалж: Google Developers Blog, Google DeepMind