Чат биш цэвэр шийдвэр: OpenAI 10 дахин хурдан, гаралтын төлбөргүй "Decisions API"-аа танилцууллаа

Орчин үеийн программ хангамжийн системд Large Language Model (LLM)-ийг ихэвчлэн чатлах зорилгоор биш, харин системийн цаад логикийг удирдах, өөрөөр хэлбэл шийдвэр гаргах (decision making) зорилгоор ашигладаг.

Бид хэрэглэгчийн хүсэлт ямар төрлийнх болохыг ангилах (classification), тохирох микросервис рүү чиглүүлэх (routing), эсвэл AI агентад дараагийн ямар tool ажиллуулахыг зааж өгөхөд LLM дууддаг. Гэвч энэ үед нэг нийтлэг асуудал үүсдэг: энгийн хоёртын утга (boolean) эсвэл тодорхой сонголт хийлгэхийн тулд модель үг үгээр нь (token by token) текст, JSON үүсгэхийг хүлээх хэрэгтэй болдог бөгөөд энэ нь илүүц саатал (latency) болон зардал үүсгэдэг.

Энэхүү асуудлыг сууриар нь шийдэх зорилгоор OpenAI өөрсдийн цоо шинэ Decisions API-аа бүх хөгжүүлэгчдэд зориулан Public Beta хэлбэрээр албан ёсоор нээлээ.

---

Decisions API гэж юу вэ?

Decisions API (POST /v1/decisions) нь загвараас урт задгай текст авах бус, урьдчилан тодорхойлсон асуултуудад шууд бүтэцлэгдсэн, хатуу өгөгдлийн төрөлтэй (typed) хариулт авах зориулалттай тусгай интерфейс юм.

Одоогоор уг API нь шинэ gpt-6-luna модель дээр ажиллаж байгаа бөгөөд оролтонд текстээс гадна зураг (base64) дамжуулах боломжтой.

Decisions API нь ерөнхий 3 төрлийн асуултад хариулах зориулалттай:

1. predicate (Нөхцөл шалгах): Өгөгдсөн нөхцөл үнэн эсэхийг шалгаж, 0.0-оос 1.0-ийн хооронд магадлалын утга (probability) буцаана. Жишээ нь: "Энэ хүсэлт гомдол мөн үү?", "Энэ зураг дээр эвдрэл байна уу?" гэх мэт.
2. choice (Сонголт хийх): Хөгжүүлэгчийн урьдчилан өгсөн тогтмол жагсаалтаас нэгийг сонгож, хувилбар тус бүрийн магадлалыг буцаана. Жишээ нь хэрэглэгчийн асуудлыг billing, tech_support, эсвэл sales баг руу хуваарилах.
3. score (Үнэлгээ өгөх): Эрэмбэлэгдсэн шатлалаар (жишээ нь: алдааны ноцтой байдал 1-ээс 5 хүртэл) үнэлгээ гаргана.

Ажиллах энгийн жишээ:

curl https://api.openai.com/v1/decisions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-6-luna",
    "input": [
      {
        "role": "user",
        "content": [{"type": "input_text", "text": "Систем рүү нэвтрэхэд 500 алдаа заагаад байна."}]
      }
    ],
    "questions": [
      {
        "type": "predicate",
        "name": "is_urgent",
        "instructions": "Системийн ноцтой саатал мөн үү?"
      },
      {
        "type": "choice",
        "name": "category",
        "instructions": "Хамаарах ангиллыг сонгоно уу",
        "options": ["auth", "billing", "ui_glitch"]
      }
    ]
  }'

Энэхүү хүсэлтийн хариуд ямар ч сул үггүйгээр шууд тодорхой магадлалуудтай JSON массив ирдэг.

---

Яагаад 10 дахин хурдан бөгөөд гаралтын зардал $0 вэ?

Decisions API-ийн хамгийн анхаарал татаж буй хоёр үзүүлэлт нь хурд болон үнийн загвар юм.

1. 10 дахин бага саатал (Latency): Уламжлалт Responses API эсвэл Chat Completions дээр модель хариултыг нэг нэг токеноор (autoregressively) үүсгэдэг тул сүлжээ болон тооцооллын цаг их шаарддаг. Харин Decisions API нь боломжит хариултуудын орон зайг загварын гаралтын давхарга (logit probabilities) дээр шууд тооцоолж, нэг forward pass-аар шалгадаг тул хариу бараг агшин зуур ирдэг.
2. Output Token = $0: Тийм ээ, гаралтын токенд ямар ч төлбөр авахгүй. Зөвхөн оролтын өгөгдөлд 1 сая токен тутамд $0.10 төлнө. Энэ нь өдөрт сая сая хүсэлт шалгадаг энтерпрайз системүүдийн хувьд AI-ийн дэд бүтцийн зардлыг үлэмж хэмжээгээр бууруулж байна.

---

Хөгжүүлэгчдийн архитектурт юу өөрчлөгдөх вэ?

Өнөөг хүртэл инженерүүд хурдан ангилал хийхийн тулд жижиг Bert загваруудыг өөрсдөө host хийх, эсвэл Structured Outputs ашиглан том загваруудыг JSON схемээр хүлж, өндөр зардал төлөн суулгадаг байсан.

Decisions API нь дараах хэрэглээнүүдийг үндсээр нь хөнгөвчилнө:

• Ухаалаг Router (Intent Routing): Хэрэглэгчийн асуултыг тусгай зориулалтын нарийн модель эсвэл хайлтын вектор индекс рүү хэдхэн миллисекундэд чиглүүлэх.
• Аюулгүй байдал ба Guardrails: Промпт инжекшн (Prompt Injection), зохисгүй үг хэллэг, нууц мэдээлэл алдагдаж буй эсэхийг үндсэн бизнес логик руу орохоос нь өмнө маш бага сааталтайгаар шалгаж хаах.
• Agentic Workflows: Олон агентуудын хамтын ажиллагаанд агент дараагийн алхам, үйлдлийг сонгох процесс гацалтгүй, бодит цагийн горимд ажиллах нөхцөл бүрдэнэ.

OpenAI SDK-ийн шинэ хувилбарууд (Python 3.26+, JavaScript 7.30+) уг API-ийг албан ёсоор дэмжиж эхэлсэн бөгөөд ойрын долоо хоногуудад General Availability (GA) төлөвт шилжүүлэхээр төлөвлөжээ.

Энэхүү шийдэл нь бусад томоохон үүлэн үйлчилгээ үзүүлэгчдийн хувьд ч шинэ жишиг стандарт болон тархах нь тодорхой харагдаж байна.

---

Эх сурвалж: OpenAI Developers Documentation & Community Announcement, Hacker News