Текст үүсгэхийг халж, шийдвэр гаргадаг болов: OpenAI гаралтын токенгүй "Decisions API"-г албан ёсоор цацлаа

Хиймэл оюуны агент болон LLM-д суурилсан backend систем хөгжүүлж буй инженер бүрт нэгэн нийтлэг асуудал тулгардаг: загвараар ердөө тийм/үгүй гэсэн шийдвэр гаргуулах, эсвэл хэрэглэгчийн хүсэлтийг аль нэг ангилалд хуваарилах (routing) гэж бүхэл бүтэн текстийн үүсгэлт (text generation) хийлгэдэг байдал. Бид prompt дотор "Зөвхөн JSON форматаар хариул", "Тайлбар бичихгүйгээр зөвхөн ангиллын нэрийг буцаа" гэж хичнээн анхааруулсан ч загвар токен нэг бүрээр үг үүсгэж, цаг хугацаа алдаж, хааяа алдаатай бүтэц буцаадаг зовлонтой байв.

OpenAI өнгөрсөн хэдхэн цагийн өмнө энэ асуудлыг сууриар нь шийдвэрлэх Decisions API-аа бүх хөгжүүлэгчдэд зориулан Public Beta хэлбэрээр албан ёсоор нээлээ. Энэ бол чат бичих бус, цэвэр шийдвэр гаргахад зориулагдсан цоо шинэ төрлийн endpoint юм.

"Decisions API" гэж юу вэ?

Уламжлалт Responses эсвэл Chat Completions API нь оролтын өгөгдлийг хүлээн аваад дараагийн токенийг дарааллуулан таамаглаж (autoregressive text generation) текстийн хариу үүсгэдэг. Харин Decisions API нь өгөгдсөн нөхцөл, асуултад хязгаарлагдмал хариултуудаас шууд тооцоолол хийж, магадлал бүхий утгыг буцаадаг интерфейс юм.

Энгийнээр хэлбэл: та асуулт болон сонголтуудаа тодорхойлж илгээнэ, загвар текст бичихгүйгээр тухайн нөхцөл үнэн байх магадлалыг шууд логикоор тооцоолж өгнө.

Энэхүү шинэ боломжийн гол үзүүлэлтүүд:

10 дахин хурдан latency: Текст үүсгэх шат дамжлагыг алгасдаг тул өмнөх загваруудаас даруй 10 дахин бага хугацаанд хариу буцаана.
Output Tokens = 0: Гаралтын токен огт үүсгэхгүй тул output_tokens тоолуур нь тэг байна. Ингэснээр гаралтын токены төлбөр $0 болж, хөгжүүлэгчид зөвхөн оролтын өгөгдөлдөө (1 сая оролтын токенд $0.10) төлнө.
100% найдвартай төрөлжсөн өгөгдөл (Typed Answers): Хариу нь ямар ч сул үггүй, зөвхөн тодорхойлсон нөхцөлийн магадлал (probability) бүхий өгөгдөл болж ирэх тул JSON парсерын алдаа гарах ямар ч боломжгүй.

Хэрхэн ажилладаг вэ? (Бодит жишээ)

Decisions API нь GPT-6 Luna суурьтай загвар дээр ажиллаж байгаа бөгөөд endpoint нь /v1/decisions хэлбэртэй.

Хэрэглэгчийн сэтгэгдэл гомдол мөн эсэхийг шалгах хүсэлтийн жишээ:

POST https://api.openai.com/v1/decisions
{
  "model": "gpt-6-luna",
  "input": [{
    "role": "user",
    "content": [
      {"type": "input_text", "text": "Энэ шинэ функц чинь огт ажиллахгүй байна, засаач ээ!"}
    ]
  }],
  "questions": [
    {
      "type": "predicate",
      "name": "is_complaint",
      "instructions": "Is this a complaint?"
    },
    {
      "type": "predicate",
      "name": "is_compliment",
      "instructions": "Is this a compliment?"
    }
  ]
}

Ирэх хариу үйлдэл:

{
  "model": "gpt-6-luna",
  "answers": [
    { "type": "predicate", "name": "is_complaint", "probability": 0.96 },
    { "type": "predicate", "name": "is_compliment", "probability": 0.02 }
  ],
  "usage": {
    "input_tokens": 125,
    "output_tokens": 0,
    "total_tokens": 125
  }
}

Загвар ямар ч тайлбар бичилгүйгээр шууд шалгуур бүрийн магадлалын утгыг богино хугацаанд буцааж байна. Хөгжүүлэгч системдээ if (res.answers.is_complaint.probability > 0.8) гэж бичээд л цаашдын бизнес логикоо найдвартай удирдах боломжтой.

Хөгжүүлэгчдэд яагаад чухал вэ?

1. AI агентын хурдны гацааг (Bottleneck) арилгана

Autonomous agent архитектурт "Дараагийн алхамд ямар tool дуудах вэ?", "Даалгавар дууссан уу?", "Хэрэглэгчээс нэмэлт тодруулга авах уу?" гэдэг шийдвэрийг давталт бүрд хийдэг. Үүнд ердийн LLM ашиглах нь бүтэн 1–3 секундийн хоцролт үүсгэдэг байсан бол Decisions API-г ашигласнаар хэдэн арван миллисекундын дотор дараагийн үйлдэл сонгогдоно.

2. Задалж унших (JSON parsing) асуудлыг үндсээр нь шийднэ

Structured outputs, Function calling зэрэг нь ахиц дэвшил байсан ч ардаа л текст генераци хийж байсан тул заримдаа схемийн зөрчил, context хэтрэхэд логик тасрах эрсдэл байдаг. Decisions API-д тийм ойлголт байхгүй—бүх хариулт анхнаасаа тодорхойлсон матриц, сонголт дундаас гарна.

3. Зардал ба Token хэмнэлт

Том хэмжээний системүүд дээр өдөрт сая сая хүсэлтийг ангилах, spam шалгах, эсвэл харилцагчийн үйлчилгээний дараалалд чиглүүлэхэд сая сая гаралтын токенд мөнгө төлдөг. Харин энд гаралтын токены зардал 0 байх нь дэд бүтцийн зардлыг огцом бууруулна.

Шинэ де-факто стандарт болох уу?

Нээлттэй эхийн хүрээний нөлөө бүхий хөгжүүлэгч Саймон Уиллисон (Simon Willison) уг мэдээ цацагдсан даруйд аль хэдийн өөрийн llm хэрэгсэлдээ зориулсан плагин бичсэнээ хуваалцжээ. Түүний тэмдэглэснээр: "OpenAI-аас тодорхойлсон /v1/decisions бүтэц нь цаашид бусад бүх AI провайдеруудын хувьд нэгэн төрлийн де-факто стандарт болж тархах магадлал маш өндөр байна".

Хэрэв та өөрийн төсөлдөө intent classification, routing, контент модераци, эсвэл AI агентын алхам төлөвлөгч хийж байгаа бол уламжлалт чат дуудлага хийхийн оронд Decisions API-г шалгаж үзэхийг зөвлөж байна.

Эх сурвалж: OpenAI Developer Platform (developers.openai.com/api/docs/guides/decisions), Hacker News Community Updates.