BlogOpenAI анхны бие даасан AI инференс чип болох "Jalapeño"-гийн архитектур болон туршилтын үр дүнг танилцууллаа. HBM4 санах ойтой, эрчим хүчний асар өндөр бүтээмжтэй уг чип нь AI агентуудын ажиллах зардлыг эрс бууруулах шинэ гарц нээж байна.
TOGTOKH2026 оны наймдугаар сарын 31
BlogOpenAI компани Broadcom-той хамтран зөвхөн LLM инференсэд зориулан бүтээсэн "Jalapeño" нэртэй анхны чип болон бодит тестийн үр дүнгээ зарлалаа. Энэхүү чип нь NVIDIA-ийн өнөөгийн тэргүүлэх системүүдээс эрчим хүчний хэмнэлт болон токен гаргалтын хурдаар хол давж байна.
TOGTOKH2026 оны наймдугаар сарын 29
BlogНээлттэй эхийн шилдэг LLM инференс фрэймворк болох SGLang шинэ хувилбараа гаргаж, жингүүдийг унших болон CUDA graph capture-ийг зэрэгцүүлснээр загвар ачаалах хугацааг 85 секундээс 35 секунд болгон буурууллаа.
TOGTOKH2026 оны наймдугаар сарын 23
BlogGartner-ийн сүүлийн тайлангаар AI Клауд дэд бүтцийн салбарт Inference буюу ашиглалтын зардал 23.3 тэрбум ам.долларт хүрч, Training буюу сургалтын зардлыг анх удаа давлаа. Энэ нь AI технологи туршилтын шатнаас бодит үйлдвэрлэлийн (production) ажиллагааны шат руу шилжсэнийг баталж байна.
TOGTOKH2026 оны наймдугаар сарын 11
BlogAMD компани AI моделийн жинг программ хангамж түвшинд санамжид ачаалахын оронд цахиур чипний металл холбоосонд шууд сийлж үйлдвэрлэдэг Taalas стартапыг худалдан авлаа. Энэхүү технологи нь inference-ийн хурдыг 10-100 дахин нэмэгдүүлж, эрчим хүчний хэрэглээг асар ихээр бууруулах боломжтой.
TOGTOKH2026 оны наймдугаар сарын 9