API байхгүй хуучин системүүд рүү Copilot өөрөө нэвтэрнэ: GitHub CLI-д "Computer Use" нэмэгдлээ

Хөгжүүлэгчийн өдөр тутмын амьдралд нэг нийтлэг асуудал үргэлж тулгардаг: байгууллагын аль нэг чухал процесс ямар ч API байхгүй, command-line интерфейсгүй, бүр Model Context Protocol (MCP) холбогч ч үүсгэх боломжгүй 15 жилийн настай хуучин desktop програмын цаана гацсан байдаг. Хэн нэгэн заавал тухайн цонхыг нээж, гараараа товшиж, өгөгдлийг нэг нэгээр нь хуулж тавих (copy-paste) шаардлага гардаг шүү дээ.

Тэгвэл GitHub энэ саадыг давахаар шийдэж, өөрийн GitHub Copilot CLI болон GitHub Copilot App-д график орчныг бие даан удирдах чадвартай Computer Use функцийн public preview хувилбарыг албан ёсоор танилцууллаа. Энэхүү шинэчлэл нь Copilot-ийг зүгээр л текст засагч туслахаас бүрэн хэмжээний үйлдлийн систем удирдагч агент болгон хувиргаж байна.

"Computer Use" хөшигний ард хэрхэн ажилладаг вэ?

Өнөөдрийг хүртэл GitHub Copilot CLI нь зөвхөн терминал дотор комманд үүсгэх, код санал болгох, файлын систем дээр өөрчлөлт оруулах хүрээнд ажилладаг байв. Харин шинэ горим идэвхжсэнээр агент нь хүний нүд, гар шиг график интерфэйсийг (GUI) удирдаж чаддаг болж байна.

Энэхүү боломж дараах техникийн бүтцээр хэрэгждэг:

1. Accessibility Tree ба Screenshot шинжилгээ: Үйлдлийн системийн accessibility бүтцийг уншиж товчлуур, текстийн талбар, цэсүүдийг логик түвшинд танина. Хэрэв график бүтцийг илүү нарийвчлан харах шаардлагатай бол дэлгэцийн агшин (screenshot) авч мультимодал байдлаар дүрслэлд шинжилгээ хийнэ.
2. Оролтын удирдлага: Хулганыг хөдөлгөх, товчлуур дээр товших (click), чирэх (drag & drop), дэлгэц гүйлгэх (scroll) болон гарнаас текст шивэх, комманд товч дарах зэрэг бүх үйлдлийг бие даан хийнэ.
3. MCP архитектурт суурилсан бүтэц: Хэдийгээр "компьютер удирдах" гэж нэрлэж байгаа ч энэ нь агентын цөмд MCP сервер хэлбэрээр савлагдсан тусгай залгаас (plugin) байдлаар ажилладаг. Терминал дээрээс /computer show коммандыг дуудахад MCP сервер болон тухайн ажлыг гүйцэтгэх "skills" жагсаалт харагдана.

Хөгжүүлэгч терминал дотроо /computer on гэж бичихэд л уг горим бэлэн болно. Жишээлбэл, browser доторх тайланг уншаад түүнийгээ desktop presentation програм руу зөөх, эсвэл legacy санхүүгийн програм дээр очиж хэд хэдэн тохиргоог цувралаар хийхийг байгалийн энгийн англи хэлээр даалгаж болно.

GitHub-ийн анхааруулга: "API байгаа бол бүү ашигла!"

Хамгийн сонирхолтой нь GitHub-ийн инженерүүд хөгжүүлэгчдэд хандан нэгэн чухал зөвлөгөөг онцолж байна: Хэрэв тухайн үйлдэлд зориулсан API, MCP сервер эсвэл CLI комманд байгаа бол Computer Use-ийг хэзээ ч анхны сонголтоо бүү болго.

Яагаад тэр вэ?

• Тодорхойгүй байдал ба алдаа: Програмчлалын API нь алдааны код, тодорхой бүтэцтэй payload буцаадаг бол GUI орчин нь цонхны фокус алдагдах, гэнэтийн pop-up гарч ирэх, үйлдлийн системийн масштабаас шалтгаалан буруу цэгт дарах эрсдэлтэй.
• Хурд ба зардал: Дэлгэцийн агшинг LLM руу дамжуулж зураг шинжлэх нь энгийн JSON хүсэлт илгээхээс хамаагүй их токен зарцуулж, саатал (latency) үүсгэдэг.
• Тиймээс энэхүү боломж нь зөвхөн ямар ч холболтын цэг үлдээгээгүй legacy системүүдийн "хамгийн сүүлчийн найдвар" (fallback) гэдгийг санаарай.

Аюулгүй байдал: Таны дэлгэцийг AI-д найдаж болох уу?

Хулгана, гараа хиймэл оюунд даатгана гэдэг эрсдэлтэй алхам. Алдаатай prompt өгснөөс болоод чухал файлуудыг устгах, эсвэл буруу өгөгдлийг commit хийхээс сэргийлж GitHub дараах аюулгүй байдлын хамгаалалтуудыг суулгажээ:

• Үйлдэл бүрт зөвшөөрөл авах (Confirmation Prompts): Анхдагч тохиргоогоор Copilot шинэ програм удирдах бүртээ хөгжүүлэгчээс зөвшөөрөл нэхнэ.
• "Always allow" ба санах ойн нэгдэл: Хэрэв та тодорхой нэг аппликейшныг найдвартай гэж үзээд зөвшөөрөл өгвөл энэ нь CLI болон тусдаа desktop app хооронд синхрон хадгалагдана. Түүнчлэн хүссэн үедээ энэ эрхийг цуцлах боломжтой.
• Яаралтай зогсоох (Panic button): Хэрэв Copilot дэлгэц дээр хачин үйлдэл хийж эхэлбэл Esc товчийг хоёр удаа дарахад л агентын гүйцэтгэл нэн даруй цуцлагдана.
• Байгууллагын бодлого: Enterprise хэрэглэгчдийн хувьд админууд энэ горимыг байгууллагын хэмжээнд бүрэн хаах бодлогын тохиргоотой. macOS дээр Screen Recording болон Accessibility эрхийг хэрэглэгч систем дээрээсээ гар аргаар нээж өгөх шаардлагатай.

Дүгнэлт

Anthropic-ийн Claude Code, OpenAI-ийн Codex CLI хойноос GitHub Copilot ийнхүү дэлгэцийн түвшний автоматжуулалт руу орж ирсэн нь програм хангамжийн хэрэгслүүдийн өрсөлдөөн шинэ шатанд гарсныг харуулж байна. Хөгжүүлэгч бидний хувьд зөвхөн цэвэр REST/GraphQL API-тай орчинд ажиллах албагүй болж, автоматжуулахад хамгийн их толгой өвтгөдөг "хуучин системүүдийн хар дарсан зүүд"-ийг шийдэх нэгэн хүчирхэг хэрэгсэл гарт ирлээ.

Одоогоор туршилтын горимд байгаа тул чухал production өгөгдөл дээр туршихаасаа өмнө өөрийн орон нутгийн (local) энгийн даалгаврууд дээр туршиж үзэхийг зөвлөж байна.

Эх сурвалж: GitHub Docs & Changelog / Tech Insider