Cloudflare Workers AI болон AI Gateway-ийг нэгтгэлээ: AI Моделиудыг Удирдах Нэгдсэн Control Plane Зарлагдав

AI аппликейшн болон бие даасан AI агентуудын (Agentic AI) хөгжүүлэлт асар хурдацтай өсөхийн хэрээр хөгжүүлэгчдэд олон өөр AI провайдеруудтай (OpenAI, Anthropic, Google эсвэл өөрийн сервер дээрх open-source моделиуд) нэгэн зэрэг харилцах, тэдгээрийн хэрэглээ, лог, зардлыг нэгдсэн байдлаар хянах асуудал томоохон сорилт болж байгаа билээ.

Энэхүү асуудлыг шийдвэрлэхийн тулд Cloudflare 2026 оны 8 дугаар сарын 7-нд өөрийн Workers AI болон AI Gateway бүтээгдэхүүнүүдээ нэгтгэж, AI хөгжүүлэлтэд зориулсан Нэгдсэн AI Control Plane болгосноо албан ёсоор зарлалаа.

Энэхүү шинэчлэлтийн хүрээнд хөгжүүлэгчид Cloudflare-ийн өөрийн Edge GPU дээр байрлах моделиуд болон гадны LLM провайдеруудыг ганцхан API код болон нэгдсэн төлбөрийн системээр удирдах боломжтой болж байна.

Хоёр Өөр Дэд Бүтэц Нэг Дээвэр Доор

Өмнө нь Cloudflare-ийн AI дэд бүтэц хоёр тусдаа архитектуртай үйлчилгээ байв:

Workers AI: Cloudflare-ийн дэлхий даяарх 330 гаруй дата төвд суурилсан managed GPU дээр Open-Source моделиудыг (Llama, GLM, Qwen, DeepSeek г.м.) ажиллуулж, inference-as-a-service байдлаар бага latency-тэй ашиглах боломж олгодог байсан.
AI Gateway: Гадны AI провайдеруудын (OpenAI, Anthropic, Google) урдуур Proxy хэлбэрээр сууж, API хүсэлтийг caching хийх, rate limiting тохируулах, логийг шинжлэх болон аюулгүй байдлын хамгаалалт олгодог байв.

Бүтээгдэхүүний түвшинд хоёр өөр үүрэгтэй байсан ч хөгжүүлэгчийн хувьд олон провайдерийн API key удирдах, систем бүрт тусдаа лог хянах зэрэг хүндрэлүүд гардаг байв. Тиймээс Cloudflare энэхүү хоёр бүтээгдэхүүнийг нэгтгэн, ямар ч AI модель руу хандсан нэг ижил удирдлага, хяналтын цэгээр дамждаг архитектур руу шилжүүлэв.

Хөгжүүлэгчдэд Олгож Буй Гол Боломжууд

1. Нэгдсэн API Binding ба Кодын Бүтэц (`env.AI.run()`)

Хөгжүүлэгчид JavaScript, TypeScript эсвэл Cloudflare Workers дээр код бичихдээ олон янзын SDK суулгах шаардлагагүй боллоо. Өөрийн GPU дээрх модель уу эсвэл OpenAI-ийн модель уу гэдгээс үл хамааран ганцхан env.AI.run() binding ашиглана.

// Workers AI болон AI Gateway-ээр дамжуулан модель дуудах жишээ
export default {
  async fetch(request, env) {
    const response = await env.AI.run(
      "@cf/zai-org/glm-5.2",
      {
        messages: [
          { role: "user", content: "AI агентын хөгжүүлэлтийн шинэлэг талууд юу вэ?" }
        ],
      },
      {
        gateway: { id: "default" },
      }
    );

    return new Response(JSON.stringify(response));
  }
};

Энд gateway: { id: "default" } тохиргоог дамжуулснаар тухайн хүсэлт автоматаар AI Gateway-ээр дамжин өнгөрч, хяналтын самбарт бүртгэгдэнэ.

2. Автомат Observability ба Төвлөрсөн Логинг

Gateway-ийн тохиргоо хийгдсэнээр анхны хүсэлт явахад автоматаар default gateway үүсдэг. Ингэснээр хөгжүүлэгчид ганц ч нэмэлт тохиргоо хийлгүйгээр:

Request Volume & Latency: Хүсэлтийн тоо болон сүлжээний хоцролт.
Token Tracking & Cost Attribution: Хэрэглэсэн токен болон яг аль аппликейшн, хэрэглэгч ямар өртөг гаргаж байгааг.
Semantic Caching & Rate Limiting: Давхардсан хүсэлтүүдийг cache-ээс шууд буцааж API зардлыг хэмнэх.
Error Rates & Security Guardrails: Системийн алдаа болон Prompt Injection зэрэг халдлагаас хамгаалах боломжтой.

3. Нэгдсэн Төлбөрийн Систем (Unified Billing)

Өмнө нь гадны провайдеруудын API хэрэглээ болон Cloudflare-ийн өөрийн GPU хэрэглээг тус тусад нь тооцож төлдөг байсан. Шинэ удирдах самбар ирснээр AI Gateway-д урьдчилан цэнэглэсэн (Prepaid credits) ганцхан үлдэгдлээр OpenAI, Anthropic, Google болон Cloudflare Workers AI-ийн GPU хэрэглээний төлбөрийг зэрэг санхүүжүүлэх боломжтой боллоо.

4. Model-First ба Smart Dynamic Routing (Туршилтын шатанд)

Cloudflare-ийн хөгжүүлэлтийн дараагийн том шат бол Model-First Routing ба Smart Routing юм. Ингэснээр API дуудалтыг кодон дээр тодорхой нэг провайдер руу хатуу бичих шаардлагагүй болно:

Automatic Fallback: Хэрэв OpenAI-ийн API доголдолтой эсвэл Rate Limit-д хүрсэн байвал хүсэлтийг автоматаар Anthropic эсвэл Cloudflare дээрх ижил түвшний модель руу шилжүүлэх,
Cost/Latency Routing: Сүлжээний хоцролт (latency) багатай эсвэл зардлын хувьд хамгийн хямд провайдерийг автоматаар сонгож замчлах боломжууд тун удахгүй бүрэн нээгдэх юм.

AI Агент (Agentic AI) Хөгжүүлэлтэд Үүсэх Ач Хобогдол

Сүүлийн үед программ хангамжийн салбар зөвхөн энгийн чатбот хийхээс илүүтэйгээр бие даан шийдвэр гаргадаг AI Агент (Agentic AI) руу шилжиж байна. Агентууд секундын дотор олон зуун API дуудлага автоматаар хийдэг тул зардлын хяналт болон найдвартай ажиллагаа хамгийн чухал асуудал болдог.

Cloudflare-ийн энэхүү нэгдсэн Control Plane нь AI агентууд ямар модель ашиглаж байгаагаас үл хамааран зардлын лимит хэтрэхээс сэргийлэх (Real-time Spend Limits), хяналтгүй зантай агентуудыг илрүүлэх (Identity-Aware Analytics), мөн провайдерийн саатал гарахад агент тасралтгүй ажиллах боломжийг код дээр нэмэлт логик бичих шаардлагагүйгээр дэд бүтцийн түвшинд шийдэж өгч байна.

AI загваруудыг хооронд нь хялбар солих, төлбөр болон аюулгүй байдлыг нэг дороос удирдах энэхүү шийдэл нь бэкенд болон cloud хөгжүүлэгчдийн хувьд AI системүүдээ үйлдвэрлэлийн орчинд (Production) итгэлтэйгээр ажиллуулах том дэвшил болж байна.

Эх сурвалж: Cloudflare Official Blog