AI агентад тусдаа scraper хэрэггүй: Cloudflare нэгдсэн "Web Search API"-г цацлаа

Хиймэл оюуны агент (AI Agent) эсвэл RAG (Retrieval-Augmented Generation) систем хөгжүүлж буй хүн бүхний өмнө тулгардаг хамгийн том бэрхшээлүүдийн нэг бол загварыг (LLM) хамгийн сүүлийн үеийн, үнэн бодит мэдээллээр хангах явдал юм. Хэлний загварууд өнгөрсөн мэдээлэл дээр сургагдсан тул одоогийн бодит цагийн мэдээлэл шаардлагатай үед гацаанд ордог.

Үүнийг шийдэхийн тулд инженерийн багууд Google, Bing, Brave, Exa зэрэг хайлтын системүүдийн API-г тус тусад нь холбож, эсвэл тусгай вэб scraper ашиглан HTML цэвэрлэж, API түлхүүрүүдээ өөр өөр газар удирдах гэж багагүй цаг хугацаа, зардал үрдэг байв. Харин Cloudflare өчигдөр өөрийн AI Gateway бүтээгдэхүүндээ зориулсан төрөлхийн (native) Web Search API үйлчилгээг албан ёсоор нээлттэй бета хувилбараар зарлалаа.

Хайлт өөрөө дэд бүтэц болсон нь

Cloudflare-ийн гаргасан уг Web Search API нь ердийн нэг хэрэглэгчийн хайлтын хуудас биш, харин AI агентуудад контекст өгөхөд зориулагдсан хайлтын дэд бүтэц юм. Уг үйлчилгээ нь хөгжүүлэгчдэд интернэтээс өгөгдөл татаж, LLM-ийн ажиллаж буй context window руу шууд бүтэцлэгдсэн (structured JSON) хэлбэрээр оруулах боломж олгодог.

Энэхүү шинэ боломжийн хамгийн сонирхолтой тал нь Cloudflare зөвхөн өөрийн сүлжээгээр хязгаарлагдалгүй, AI ертөнцөд хүлээн зөвшөөрөгдсөн тэргүүлэх гурван хайлтын компанитай түншилсэн явдал юм:

1. Ceramic.ai (үндсэн сонголт буюу default)
2. Exa (семантик буюу утга зүйн нарийн хайлт хийдэг)
3. Linkup (бизнесийн найдвартай эх сурвалжуудад төвлөрсөн)

Хөгжүүлэгчийн хувьд эдгээр гурван систем тус бүрт бүртгэл үүсгэж, тусдаа SDK бичих ямар ч шаардлагагүй. Нэг л стандартын параметр солиход л ард талын хайлтын моторыг хялбархан сольж ашиглах боломжтой болжээ.

Хөгжүүлэгчдэд ямар асуудлуудыг шийдэж өгсөн бэ?

1. Нэгдсэн формат ба Provider-agnostic архитектур

Өөр өөр хайлтын API-ууд өгөгдлийг өөр өөр JSON бүтэцтэй буцаадаг тул систем солих үед код дахин бичих шаардлага гардаг. Cloudflare уг асуудлыг нэг стандартын бүтэц болгон хувиргасан байна. Хайлтын хариу бүрт илэрцийн гарчиг (title), эх сурвалжийн холбоос (url), болон агуулгын товч агуулга (description) тогтмол форматаар ирэх тул LLM-ийн prompt руу шууд татаж хийхэд туйлын хялбар болжээ.

2. Тооцоолол ба BYOK (Bring Your Own Key)

Тусгай төлбөрийн картын мэдээлэл олон газар бүртгүүлэх шаардлагагүй болсон. Хөгжүүлэгчид AI Gateway дээрх одоогийн балансаасаа хайлтын системийн үндсэн үнээр (ямар ч нэмэлт шимтгэлгүй markup-гүйгээр) төлбөрөө суутгуулж болно. Хэрэв танай баг тухайн хайлтын үйлчилгээ үзүүлэгчтэй тусдаа enterprise гэрээтэй бол өөрийн API түлхүүрээ (BYOK) Cloudflare-д тохируулан ашиглах бүрэн боломжтой.

3. Бүрэн хяналт ба Logging (Observability)

AI Gateway-ээр дамжиж буй учир хайлтын хүсэлт бүрийн latency, алдаа, token зарцуулалт, хариу ирсэн хугацаа зэрэг нь таны үндсэн загварын (LLM inference) бүртгэлүүдтэй нэг дор dashboard дээр харагдана. Ингэснээр бүтээгдэхүүний debug хийх болон зардал хянах үйл явц үлэмж хөнгөвчлөгдөнө.

4. Zero Data Retention ба Ёс зүйт мөлхөлт

Аюулгүй байдал, дата нууцлал чухал энэ цаг үед эдгээр гурван хамтрагч систем нь Cloudflare-ээр дамжсан хүсэлтүүдийн хувьд Zero Data Retention зарчмыг баримталдаг. Өөрөөр хэлбэл, хэрэглэгчийн хайлтын өгөгдлийг сервэртээ хадгалж, загвар сургалтад ашиглахгүй. Мөн эдгээр системүүдийн crawler-ууд Cloudflare-ийн Verified Bot стандартыг бүрэн хангаж, сайтуудын robots.txt дүрмийг хүндэтгэн ажилладаг байна.

Код дээр хэрхэн харагдах вэ?

Cloudflare энэ функцийг хоёр замаар нээсэн: Cloudflare Workers ашигладаг бол env.AI.websearch() binding-ээр, харин бусад ямар ч backend (Node.js, Python, Go, г.м.) дээр ажиллаж байгаа бол ердийн REST API-аар дуудах боломжтой.

Cloudflare Worker дээр дуудах жишээ:

export default {
  async fetch(request, env) {
    const response = await env.AI.websearch({
      gatewayId: "my-gateway",
      query: "Rust headstart patch compile time benchmarks",
      provider: "exa",
      limit: 5,
    });

    const searchResults = await response.json();
    
    // Олдсон хайлтын үр дүнгээ загварын контекстэд оруулах
    return Response.json(searchResults);
  }
};

Энгийн REST API ашиглан дуудах жишээ:

curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/websearch/ \
  --request POST \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "Content-Type: application/json" \
  --data '{
    "query": "Сүүлийн үеийн хиймэл оюуны мэдээ",
    "provider": "ceramic",
    "limit": 5,
    "options": {
      "gateway": { "id": "default" }
    }
  }'

Хайлтын хариу нь нэг хүсэлтэд 10 хүртэлх илэрцийг 1,024 тэмдэгтэд багтаасан асуултаар авдаг бөгөөд энэ нь агентуудын tool call-д яг тохирсон хөнгөн жинтэй дэд бүтэц юм.

Дүгнэлт: Агентуудад зориулсан интернэт бүрэлдэж байна

Өмнө нь хайлтын системүүд зөвхөн хүн төрөлхтнийг цэнхэр линкүүд дээр даруулах зорилгоор зар сурталчилгааны бизнес загвартай бүтээгддэг байсан. Харин одоо мэдээллийн гол хэрэглэгчид нь өөрсдөө бие даан шийдвэр гаргадаг хиймэл оюуны агентууд болж эхэллээ. Cloudflare уг зах зээлийг маш соргогоор мэдэрч, хайлтыг DNS, CDN шиг шууд сүлжээний дэд бүтэц болгон хувиргаж байна.

Хэрэв та өөрийн апп, бот эсвэл агентдаа вэбээс бодит цагийн мэдээлэл шүүх чадвар олгохыг хүсэж байвал тусдаа дэд бүтэц угсарч толгой өвтгөхгүйгээр AI Gateway-ээр дамжуулан туршиж үзэх боломж бүрдлээ.

---

Эх сурвалж: Cloudflare Blog: Introducing Web Search API via AI Gateway