Үүлнээс хараат бус AI: Google нээлттэй эхийн LiteRT-LM фрэймворкоо албан ёсоор цацлаа

Хиймэл оюуны загварууд өдрөөс өдөрт томорч, үүлэн дэд бүтцийн зардал (Cloud API bills) огцом өсөж буй өнөө үед мобайл болон вэб хөгжүүлэгчдийн хамгийн их хүсэж байсан шийдлийг Google нээлттэй эхээр олон нийтэд дэлгэлээ. Тэд хуучин TensorFlow Lite экосистемээ бүрэн шинэчлэн "LiteRT" болгож, түүний суурь дээр суурилсан төхөөрөмж дээрх LLM хөдөлгүүр болох LiteRT-LM-ийг албан ёсоор хөгжүүлэгчдийн гарт өглөө.

Энэхүү шинэчлэл нь ямар ч интернэт холболтгүй, серверийн төлбөргүйгээр хэрэглэгчийн утас, зөөврийн компьютер, хөтөч (Browser), тэр бүү хэл Raspberry Pi дээр орчин үеийн хэлний загваруудыг (Gemma, Llama, Qwen, Phi-4) бүрэн хүчин чадлаар нь ажиллуулах замыг засаж байна.

Зүгээр нэг runtime биш: LiteRT-LM яагаад чухал вэ?

Өмнө нь хөгжүүлэгчид загварыг утсан дээр эсвэл локал орчинд ажиллуулахын тулд llama.cpp эсвэл ONNX runtime ашиглаж, өөрсдөө context window, KV-cache менежмент, санах ойн хязгаарлалт, tokenization зэрэг нарийн төвөгтэй дэд бүтцийг гараар шийдэх шаардлагатай тулгардаг байсан.

LiteRT-LM нь эдгээр асуудлыг нэгэн дор шийдсэн үйлдвэрлэлийн түвшний (production-ready) orchestration layer юм. Энэ нь зөвхөн моделийн график тооцооллыг гүйцэтгээд зогсохгүй дараах боломжуудыг суулгасан:

1. Hardware Acceleration (NPU, GPU, CPU): Төхөөрөмж бүрийн чипсетэд (Apple Silicon, Qualcomm Snapdragon, Intel, Nvidia, ARM) зориулан NPU болон GPU-г дээд зэргээр дайчилдаг. Төхөөрөмжийн санах ойг хэмнэхийн тулд динамик квантчлал (INT4, INT8)-ыг саадгүй дэмжинэ.
2. Олон модаль (Multimodal) дэмжлэг: Зөвхөн текстийн оролт биш, зураг болон аудиог төхөөрөмж дээрээ шууд боловсруулах боломжтой.
3. Constrained Decoding ба Tool Use: Хиймэл оюуны агентуудад зайлшгүй шаардлагатай Function Calling буюу структуртай JSON хариулт үүсгэх явцыг грамматик түвшинд алдаагүй хянаж үүсгэдэг.

Бүх платформд зориулсан SDK-ууд

LiteRT-LM нь хөгжүүлэгчдийг платформоор нь хязгаарласангүй. Албан ёсны дэмжлэг бүхий дараах хэлнүүдийн SDK-ууд нэгэн зэрэг гарсан байна:

• Kotlin / Android: Android 14+ үйлдлийн системийн NPU дээр Gemini Nano болон Gemma загваруудыг хэдхэн мөр кодоор дуудаж ажиллуулна.
• Swift / iOS & macOS: Apple-ийн Metal GPU болон Neural Engine-тэй шууд холбогдоно.
• JavaScript & WebGPU (@litert-lm/core): Хөтөч дотор ямар ч backend сервергүйгээр хэрэглэгчийн график карт дээр шууд загварыг гүйлгэх боломж олгодог.
• Python болон C++: Сервергүй микро үйлчилгээ болон IoT системүүдэд зориулсан өндөр хурдны native хэрэгсэл.

Мөн CLI туршилт хийхэд зориулан pip install litert-lm эсвэл uv tool ашиглан консолоос шууд загвар татан турших команд нэмэгдсэн байна:

uv tool install litert-lm
litert-lm run \
  --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
  --prompt="Монгол хэл дээр код бичиж сурах зөвлөгөө өгөөч"

Бодит бүтээмж: Хэр хурдан бэ?

Google-ийн нийтэлсэн албан ёсны бенчмарк үзүүлэлтээр:

• Орчин үеийн ухаалаг утсан дээр Gemma 4 (2B) загварыг ажиллуулахад Decode speed секундэд 45-56 token гарч байна.
• Apple M-цувралын чип дээр энэ хурд секундэд 160 token-д хүрч, Time to First Token (TTFT) ердөө 0.1 секунд болж буурчээ.
• Хамгийн гол нь RAM-ийн хэрэглээ дөнгөж 600MB - 1.5GB орчимд тогтож байгаа тул энгийн аппликейшн дотор арын горимд асуудалгүй ажиллана.

Хөгжүүлэгч бидэнд ямар боломж авчрах вэ?

Энэхүү шийдэл нь апп хөгжүүлэгчдэд цоо шинэ давуу талуудыг үүсгэж байна:

• Дата нууцлал (Privacy-First): Хэрэглэгчийн эмзэг мэдээлэл, файлууд гадаад сервер рүү явахгүй, төхөөрөмж дээрээ боловсрогдоно. Эрүүл мэнд, санхүүгийн аппуудад нэн чухал.
• Интернэтгүй ажиллах чадвар (Offline Capability): Хөдөө хээр, сүлжээ тасарсан орчинд ч AI функцууд бүрэн ажиллана.
• Тэг зардал (Zero Cloud Cost): Өдөрт хэдэн сая хэрэглэгч хандсан ч танд OpenAI эсвэл Anthropic-ийн токен нэхэмжлэх ирэхгүй. Бүх тооцоолол хэрэглэгчийн өөрийнх нь төхөөрөмж дээр хийгдэнэ.

Google нь уг фрэймворкоо аль хэдийн Chrome хөтчийн дотоод AI болон Pixel төхөөрөмжүүддээ бодит туршилтаар шалгасан бөгөөд одоо дэлхийн нээлттэй эхийн нийгэмлэг Hugging Face-тэй хамтран бэлэн тохируулсан загваруудыг үнэгүй санал болгож байна.

Эх сурвалж: Google AI Edge Documentation & GitHub Releases (google-ai-edge/LiteRT-LM)