BlogМэдээ
TOGTOKH2026 оны наймдугаар сарын 29
Qwen4 архитектурын урьдчилсан загвар гарлаа: GDN + Sparse Attention эрлийз бүтэц ба 1 сая токений шинэ эрин
Alibaba Cloud ирээдүйн Qwen4 суурь архитектурыг урьдчилан танилцуулсан Qwen3.8-Flash-Next нээлттэй загварыг цацлаа. Энэхүү шинэ архитектур нь Gated DeltaNet, Micro-Block Sparse Attention болон N-gram Embedding-ээр дамжуулан 1 сая токен контекстийн санах ойн ачааллыг 7 дахин хурдасгаж, өртгийг эрс бууруулж байна.
TOGTOKH2026 оны наймдугаар сарын 29