GitHub Copilot таны дэлгэц, хулганыг удирдаж эхэллээ: "Computer Use" горим CLI болон Desktop дээр нээгдэв
Хиймэл оюуны кодчлолын туслахууд зөвхөн редактор дотор синтакс санал болгох, эсвэл чатаар хариулах үе ард хоцорчээ. Сүүлийн саруудад AI агентууд терминал дээр тушаал ажиллуулах, git үйлдлүүдийг бие даан хийх тал дээр асар хурдацтай сайжирч байсан бол GitHub өнгөрсөн 24 цагийн дотор цоо шинэ түвшний алхам хийлээ.
GitHub албан ёсны GitHub Copilot CLI болон GitHub Copilot Desktop app-д зориулсан "Computer Use" боломжийг macOS болон Windows үйлдлийн системүүд дээр Public Preview хэлбэрээр нийтэд зарлав.
Энэхүү шинэчлэлтийн үр дүнд Copilot зөвхөн кодын файлтай харьцаад зогсохгүй, таны өмнөөс компьютерийн дэлгэцийг "харж", хулганаар товчлуур дарах, цонх гүйлгэх (scroll), текст шивэх, олон төрлийн десктоп программуудын хооронд навигаци хийх чадвартай болж байна.
API байхгүй "Legacy" ертөнцийг агентад холбох гүүр
Орчин үеийн программ хөгжүүлэлтийн хамгийн том саад бэрхшээлүүдийн нэг бол бодит амьдрал дээрх бүх хэрэгсэл цэвэр REST API, GraphQL эсвэл Model Context Protocol (MCP) холболттой байдаггүйд оршдог.
Хөгжүүлэгчид өдөр тутмын ажлынхаа явцад хуучны дотоод удирдлагын системүүд, зөвхөн GUI (график интерфэйс)-тэй ажилладаг ширээний хэрэгслүүд, төвөгтэй вэб порталууд, тайлан мэдээний хүснэгтүүдтэй гар аргаар харилцахаас өөр аргагүй болдог. Эдгээр тусгай систем бүрт зориулж API хөгжүүлэх эсвэл агент холбох тусгай драйвер бичих нь цаг хугацаа, эдийн засгийн хувьд боломжгүй байв.
GitHub Copilot-ийн "Computer Use" нь яг энэ асуудлыг шийдэж байна. Тухайн системд ямар ч API, CLI интерфейс байхгүй байсан ч Copilot тухайн программын цонхыг нээж, хүн ажиллаж байгаа мэтээр шаардлагатай мэдээллийг оруулан, урсгалыг (workflow) дуусгах боломжтой болжээ.
Техникийн зарчим: Компьютерийг хэрхэн "харж", удирдаж байна вэ?
Энэхүү боломж нь саяхан Anthropic-ийн гаргасан Computer Use концепцтой ижил төстэй суурьтай боловч GitHub үүнийг хөгжүүлэгчийн терминал болон десктоп экосистемд шууд суулгаж өгснөөрөө онцлогтой.
- Accessibility Tree + Vision Hybrid: Copilot нь зөвхөн дэлгэцийн зургийг аваад пикселээр баримжаалдаггүй. Үйлдлийн системийн Accessibility API-г ашиглан дэлгэц дээрх товчлуур, текстийн талбар, цэсүүдийн бүтцийг уншина. Хэрэв хүртээмжийн давхарга хангалтгүй бол харааны загвар (computer vision) ашиглан байршлыг нарийн тодорхойлдог.
- Native Input Simulation: Загвар шаардлагатай координатыг тодорхойлсны дараа хулганы дарөлт (click), чирэх (drag-and-drop), хулганы гүйлгэлт (scroll), болон гарын товчлуурын коммандуудыг симуляци хийн гүйцэтгэнэ.
- Хялбар CLI комманд: Хөгжүүлэгчид Copilot CLI дээрээ ердөө
/computer onкомандыг өгөөд энэ горимыг идэвхжүүлнэ. Статусыг/computer show, зогсоохдоо/computer offгэж удирдана. - Үр дүнд чиглэсэн зааварчилгаа: GitHub-ээс зөвлөж буйгаар тус горимд нарийн техникийн код бичих шаардлагагүй бөгөөд "Safari нээгээд зарлагын тайлангийн өгөгдлийг шалгаад ноорог үүсгэ", эсвэл "Браузерын сүүлийн мэдэгдлүүдийг нэгтгэн дүгнээд танилцуулгын слайд дээр шинэчил" гэх мэт байгалийн хэлээр даалгавар өгөхөд хангалттай.
Аюулгүй байдал ба Хяналт: "Human-in-the-Loop"
Хиймэл оюунд өөрийн компьютерийн удирдлагыг өгнө гэдэг нь маш том аюулгүй байдлын асуудал дагуулдаг. Хэрэв агент чухал файл устгах, буруу гүйлгээ хийх эсвэл нууц мэдээлэл рүү зөвшөөрөлгүй нэвтэрвэл яах вэ?
GitHub энэ тал дээр дараах хамгаалалтуудыг тавьсан байна:
- Зөвшөөрлийн механизм (Explicit Approval): Copilot аливаа шинэ программ дээр үйлдэл хийхээсээ өмнө хэрэглэгчээс заавал зөвшөөрөл нэхдэг. Хэрэглэгч тухайн аппликейшнийг "Always allow" хийсэн ч дараа нь тохиргооноос хүссэн үедээ цуцлах боломжтой.
- Үйлдлийн системийн түвшний зөвшөөрөл: Ялангуяа macOS дээр ажиллахад системээс Accessibility болон Screen Recording эрхийг тусгайлан баталгаажуулах шаардлагатай.
- Байгууллагын бодлого (Enterprise Controls): Байгууллагын болон багийн хөгжүүлэгчдийн хувьд админууд өөрсдийн бодлогын тохиргоогоор (policy settings) дамжуулан энэхүү боломжийг төвлөрсөн байдлаар бүрэн хаах боломжтой.
Хөгжүүлэгчдэд ямар өөрчлөлт авчрах вэ?
Бид хиймэл оюуныг "код бичиж өгдөг найз" гэж хардаг байсан цаг ард хоцорч, "таны ширээний ард сууж уйтгартай, давтагддаг механик ажлуудыг нугалж өгдөг туслах ажилтан" болох эхлэл тавигдлаа.
Туршилтын шатанд байгаа энэхүү "Computer Use" боломж нь хэдийгээр бүрэн автомат биш, хяналт шаардсан preview хувилбар боловч программ хангамж хөгжүүлэлтийн өдөр тутмын рутин ажлууд хэрхэн хялбаршихыг тод харуулж байна.
Хэрэв та Copilot CLI эсвэл Copilot Desktop аппликейшний хамгийн сүүлийн хувилбарыг ашиглаж байгаа бол өнөөдрөөс эхлэн /computer on командыг ажиллуулан шинэ туршлагыг өөрийн нүдээр харах боломжтой.
Эх сурвалж: GitHub Changelog: GitHub Copilot can now interact with desktop apps with computer use
Сэтгэгдэл
Ачаалж байна...