Google Gemini Omni 1.1 Flash бүрэн гарлаа: 4K чанар, Keyframe удирдлага ба видео засварлах API-ийн шинэ эрин
Хиймэл оюун ухаанаар видео үүсгэх салбарт сүүлийн хоёр жил "текстээс ямар нэг гоё бичлэг гаргаж чадах уу?" гэсэн ерөнхий чадамжийн өрсөлдөөн давамгайлж байсан бол одоо "үүнийг программ хангамжийн түвшинд бүрэн удирдаж, системдээ найдвартай интеграц хийж чадах уу?" гэдэг шатанд шилжлээ.
Google компани энэхүү шаардлагад хариулт болгон gemini-omni-1.1-flash загварыг Gemini API болон Enterprise Agent Platform дээр General Availability (GA) буюу албан ёсоор ашиглалтад гаргалаа. Энэхүү хувилбар нь зүгээр нэг үзүүлэн бичлэг хийх демо биш, харин видеог код болон API-аар дамжуулан нарийн удирдах, өөрчлөх, уртасгах бүрэн боломжтой студийн түвшний платформ болж хөгжжээ.
1. Stateful харилцан яриа ба 40 секундийн Scene Extension
Өмнөх үеийн видео загваруудын хамгийн том бэрхшээл нь "санах ойгүй" (stateless) байдал байв. Хэрэв та өмнөх бичлэгээ бага зэрэг өөрчлөх эсвэл үргэлжлүүлэхийг хүсвэл бүх бичлэгийг дахин ачаалж, анхны prompt-оо дахин тооцоолох шаардлагатай болдог байсан.
Gemini Omni 1.1 Flash нь Interactions API-аар дамжуулан бүрэн stateful горимд ажилладаг. Хөгжүүлэгчид хүсэлтдээ previous_interaction_id дамжуулснаар загвар нь өмнөх контентын төлөвийг санах бөгөөд зөвхөн хэрэглэгчийн хүссэн хэсэгт засвар хийнэ:
- 10 секундийн контекст санах ой: Бичлэгийг уртасгах (scene extension) үед загвар нь зөвхөн хамгийн сүүлийн 1 фрэймийг харах биш, өмнөх 10 секундийн хөдөлгөөн, объектын динамик, гэрэлтүүлгийг бүхэлд нь шинжилдэг.
- 40 секундийн дараалсан үргэлжлэл: 10 секундийн интервалаар гинжин байдлаар дуудаж, нийт 40 секунд хүртэлх урт хэмжээний бичлэгийг логик болон визуал зөрчилгүйгээр угсрах боломжтой болсон.
2. Эхлэл, төгсгөлийн фрэймийн удирдлага (Keyframe Interpolation)
Кино бүтээгчид болон UI/UX хөгжүүлэгчдэд зориулсан хамгийн чухал шинэчлэл нь First and Last Frame Interpolation юм.
{
"task": "image_to_video",
"start_image": "gs://bucket/frame_01.png",
"end_image": "gs://bucket/frame_end.png",
"prompt": "Smooth cinematic camera pan between the two scenes"
}
Та эхлэх зураг болон дуусах зургийг тодорхой зааж өгөхөд загвар хоорондох хөдөлгөөн, камерын шилжилтийг байгалийн жамаар нөхөж үүсгэнэ. Энэ нь бүтээгдэхүүний танилцуулга, интерфейсийн динамик анимейшн, камерын нарийн замнал шаардсан төслүүдэд AI-г бүрэн хяналттай ашиглах үүдийг нээж байна.
Мөн бичлэгт 3 секунд хүртэлх бодит видео клипийг reference болгон оруулах боломжтой болсон тул тодорхой дүр, стилийг өөр өөр кадрт тогтвортой хадгалахад дөхөм болжээ.
3. Токенд суурилсан үнэ ба 360p Draft горим: Хөгжүүлэгчийн зардал 60% буурна
AI видео гаргахад тулгардаг хамгийн том зардал бол туршилтын шат (iteration loop) байдаг. Хүссэн үр дүндээ хүрэхийн тулд дунджаар 10–12 удаа бичлэг үүсгэж үзэхэд өндөр өртөг гардаг байв.
Google энэ асуудлыг токенд суурилсан үнийн систем болон нягтаршлын тохиргоогоор шийдвэрлэжээ:
| Нягтаршил (Resolution) | Секундын ойролцоо үнэ | Зорилго |
|---|---|---|
| 360p (Draft) | ~$0.03 / сек | Хурдан туршилт, prompt тестлэх (~60% хурдан) |
| 720p (Default) | ~$0.10 / сек | Үндсэн чанар, интерактив аппликейшн |
| 1080p / 4K | ~$0.15 - $0.30 / сек | Upscaling ашигласан эцсийн бүтээгдэхүүн |
Хөгжүүлэгчид эхний ээлжинд 360p тохиргоотойгоор загвараа туршиж, логик болон найруулга зөв болсон үед ганцхан API дуудалтын resolution: "4k" параметрээр upscale хийж авах боломжтой болсон нь бүтээгдэхүүн хөгжүүлэлтийн зардлыг 3 дахин багасгаж байна.
4. Хөгжүүлэгчид үүнийг хэрхэн ашиглах вэ?
Gemini Omni 1.1 Flash нь зөвхөн медиа агентлагуудад зориулагдаагүй. Орчин үеийн программ хангамжийн бүтээгдэхүүнүүд үүнийг доорх байдлаар ашиглаж эхэллээ:
- Дизайн ба Прототайпинг (Figma Weave, Adobe Firefly): Канвас дээр зураг тавиад түүнийг хөдөлгөөнт бичлэг болгох, бичлэгийн сүүлийн фрэймээс цааш үргэлжлүүлэн салбарлуулж (branching) өөр өөр хувилбар гаргах.
- Динамик контент ба Маркетингийн автоматжуулалт: Хэрэглэгчийн өгөгдөл дээр суурилан хувь хүнд тохирсон видео тайлбар, бүтээгдэхүүний богино танилцуулгыг API-аар секундын дотор боловсруулах.
- Автомат тест ба Интерактив AI Агентууд: AI агент өөрийн хийсэн үйлдлийг дүрсжүүлэх эсвэл зааварчилгааг хэрэглэгчид видео хэлбэрээр үзүүлэн тайлбарлах.
Хуучин gemini-omni-flash-preview эндпойнт 2026 оны 9-р сарын 30-нд хаагдах тул системдээ интеграц хийсэн багууд шинэ gemini-omni-1.1-flash хувилбар руу шилжих хэрэгтэйг Google сануулж байна.
Эх сурвалж: Google Cloud & DeepMind Official Release Notes
Сэтгэгдэл
Ачаалж байна...