DEVX

Blog

#SGLang
LLM дэд бүтцийн санах ойн цоорхой: Cloudflare-ийн KV Cache алдаагаар өөр хэрэглэгчийн дата задарчээBlog
Мэдээ

LLM дэд бүтцийн санах ойн цоорхой: Cloudflare-ийн KV Cache алдаагаар өөр хэрэглэгчийн дата задарчээ

Cloudflare компани Workers AI платформ дээрх санах ойн тусгаарлалтын ноцтой цоорхойг дэлгэлээ. Тохиргооны зөрүү болон SGLang хөдөлгүүрийн алдаанаас үүдэж, нэг хэрэглэгчийн асуулгад огт танихгүй өөр хэрэглэгчийн prompt, код нууцаар холилдон гарч байжээ.

TOGTOKHTOGTOKH2026 оны аравдугаар сарын 27
LLM инференсийн том толгойн өвчин шийдэгдэв: SGLang v0.5.18 загвар ачаалах хугацааг (Cold Start) 2.4 дахин буурууллааBlog
Мэдээ

LLM инференсийн том толгойн өвчин шийдэгдэв: SGLang v0.5.18 загвар ачаалах хугацааг (Cold Start) 2.4 дахин буурууллаа

Нээлттэй эхийн шилдэг LLM инференс фрэймворк болох SGLang шинэ хувилбараа гаргаж, жингүүдийг унших болон CUDA graph capture-ийг зэрэгцүүлснээр загвар ачаалах хугацааг 85 секундээс 35 секунд болгон буурууллаа.

TOGTOKHTOGTOKH2026 оны наймдугаар сарын 23