Клаудаас хараат бус локал AI хөгжүүлэлт: Apple 2нм "M6" болон 512GB санах ойтой "M5 Ultra" чипүүдээ зарлалаа

Хиймэл оюун болон программ хангамжийн салбарын хурдацтай хувьслын дунд хөгжүүлэгчдийн өмнө тулгардаг хамгийн том бэрхшээл нь үүлэн дэд бүтцийн (Cloud GPU) өндөр өртөг, сүлжээний хоцрогдол (latency), мөн байгууллагын нууц өгөгдлийн аюулгүй байдал байсаар ирсэн. Олон зуун тэрбум параметртэй орчин үеийн LLM-үүдийг локал орчинд ажиллуулж, өөрийн код дээр fine-tune хийх нь ихэнх бие даасан хөгжүүлэгч болон жижиг багуудын хувьд бараг боломжгүй зүйл байв.

Гэвч Apple компани шинэ үеийн M6 болон M5 Ultra чипүүдээ албан ёсоор танилцуулснаар энэхүү хязгаарлалтыг эвдэж, хөгжүүлэгчийн ажлын ширээг жинхэнэ хиймэл оюуны суперкомпьютер болгон хувиргах алхмыг хийлээ.

2 нанометрийн M6 ба Quad-Die бүтэцтэй M5 Ultra-ийн архитектур

Apple-ийн шинэ чипүүд зөвхөн хурдны өсөлт төдийгүй AI тооцооллын архитектурт дараах томоохон технологийн үсрэлтийг авчирчээ:

M6 (Анхны 2nm чип): Шинэчилсэн Mac mini-д суурилагдсан M6 нь зах зээлийн анхны хамгийн сүүлийн үеийн 2 нанометрийн процессоор үйлдвэрлэгдсэн байна. Энэ нь 12-core CPU, зориулалтын Neural Accelerators бүхий 12-core GPU, мөн хоёр дахин хүчин чадалтай Dual 16-core Neural Engine-тэй болсон байна. Нэгдсэн санах ойн зурвасын өргөн нь (Unified Memory bandwidth) 170 GB/s хүртэл өсжээ.
M5 Ultra (Quad-Die архитектур): Шинэ Mac Studio-д зориулагдсан M5 Ultra нь Apple-ийн түүхэн дэх анхны 4 матриц (quad-die) холболттой бүтэц юм. Хамгийн гол онцлох үзүүлэлт нь 512GB хүртэлх Unified Memory болон 1.2 TB/s хурдтай санах ойн зурвасын өргөн юм.

Санах ойн зурвасын хурд нь LLM ачаалж, inference хийхэд хамгийн чухал хязгаарлагч хүчин зүйл (bottleneck) болдог тул 1.2 TB/s хурд нь локал төхөөрөмжүүдийн хувьд цоо шинэ дээд амжилт болж байна.

Хөгжүүлэгчдэд яагаад хувьсгал авчрах вэ?

Эдгээр үзүүлэлтүүд нь зөвхөн тооны өсөлт биш бөгөөд программ хангамжийн инженерүүдийн өдөр тутмын ажлын урсгалыг бодитоор өөрчлөх юм.

1. Том загваруудыг (LLM) локал орчинд бүрэн ачаалах боломж

Өмнө нь 70B, 120B, эсвэл 400B параметртэй нээлттэй жинтэй (open-weights) том загваруудыг ажиллуулахад олон тооны Nvidia A100/H100 карт бүхий клауд кластер шаардагддаг байв. 512GB нэгдсэн санах ойтой M5 Ultra дээр эдгээр загваруудыг kv-cache-ийн хамт бүрэн багтааж, хэдэн сая контекст цонхтойгоор ямар ч үүлэн үйлчилгээний төлбөргүйгээр локал орчинд шууд ажиллуулах боломж нээгдэв.

2. Бүрэн нууцлал бүхий Local Fine-tuning ба RAG

Байгууллагын нууц код бааз, дотоод өгөгдөл, API түлхүүрүүд болон эмзэг мэдээллийг гуравдагч талын AI сервер рүү илгээх шаардлагагүй болно. Инженерүүд өөрсдийн кодын сан дээр суурилсан RAG систем болон LoRA fine-tuning туршилтуудыг өөрийн машин дээрээ бүтэн шөнийн турш ажиллуулах боломжтой.

3. "Zero-Latency" Local Agent ба Code Copilot

M6 чип дэх Dual Neural Engine болон GPU Neural Accelerators нь орон нутгийн жижиг, дунд оврын загваруудыг (7B-32B) маш өндөр token/sec хурдтай ажиллуулдаг. Ингэснээр IDE доторх кодын autocomplete болон Agentic CLI хэрэгслүүд ямар ч сүлжээний сааталгүй, секундэд хэдэн зуун токен боловсруулан хариу өгөх түвшинд хүрч байна.

Хөгжүүлэгчийн хэрэгслүүд ба Core AI экосистем

Apple зөвхөн техник хангамж төдийгүй хөгжүүлэлтийн дэд бүтцээ шинэчилж буйгаа зарлалаа. Xcode, Core ML, Core AI болон Metal фрэймворкууд нь CPU, GPU, Neural Engine хооронд тооцооллын ачааллыг автоматаар оновчтой хуваарилах (automatic compute partitioning) горимтой болсон байна.

Хөгжүүлэгчид Apple Foundation Models болон App Intents ашиглан өөрийн бүтээсэн macOS, iOS аппликейшн дотроо локал AI загваруудыг шууд уялдуулан нэвтрүүлэх боломж бүрдэж байна. Мөн Ollama, vLLM, llama.cpp зэрэг нээлттэй эхийн коммьюнитигийн хэрэгслүүд энэхүү 512GB санах ойн архитектурыг дэмжиж эхэлснээр хөгжүүлэгчдийн дуртай бүх CLI болон Agentic системүүд асуудалгүй ажиллах нь тодорхой болов.

Дүгнэлт: "Local-First AI" эрин үе

Сүүлийн жилүүдэд хөгжүүлэгчид бүх зүйлийг клауд руу шилжүүлж, API дуудалтын токен бүрт мөнгө төлөх зарчимд баригдаж ирсэн. Apple-ийн 2нм M6 болон 512GB Unified Memory-тэй M5 Ultra чипүүд зах зээлд гарснаар программ хангамжийн инженерчлэл "Local-First AI" буюу өөрийн төхөөрөмж дээрээ бие даасан, нууцлалтай, өндөр хурдтай AI орчныг бүтээх шинэ эринд шилжиж байна.

Эх сурвалж: Apple Developer Newsroom, Apple Introduces M6 and M5 Ultra for AI Compute