Kafka кластертай баяртай гэж хэлэх цаг ирэв үү? Cloudflare сервергүй стриминг "K2" үйлчилгээгээ цацлаа

Орчин үеийн микросервис болон эвентэд суурилсан (event-driven) архитектурт өгөгдлийн тасралтгүй урсгалыг найдвартай дамжуулах нь хамгийн чухал тулгууруудын нэг байдаг. Гэвч үүний тулд Apache Kafka, Apache Pulsar зэрэг брокер кластеруудыг тохируулах, партишнуудын хэмжээг тооцоолох, дискний багтаамжийг хянах, зангилаануудыг (nodes) арчлах нь хөгжүүлэгч, DevOps инженерүүдэд багагүй толгойн өвчин болдог билээ.

Энэхүү асуудлыг сууриар нь шийдэх зорилгоор Cloudflare өөрийн бүтээгдэхүүний өдрүүдийн хүрээнд цоо шинэ Cloudflare K2 сервергүй (serverless) эвент стриминг платформоо олон нийтийн бета (Public Beta) хувилбараар зарлалаа. K2 нь кластер, брокер тохируулах шаардлагагүйгээр өгөгдлийг төгсгөлийн цэгээс (edge) найдвартай хүлээн авч, дэс дараалалтай лог хэлбэрээр хадгалах боломжийг олгож байна.

"Object Storage" бол орчин үеийн шинэ диск

Уламжлалт Remote Procedure Call (RPC) болон синхрон холболтын хамгийн том сорилт бол өгөгдөл илгээгч (producer) болон хүлээн авагч (consumer) хоёр яг нэгэн зэрэг ижил хурдаар ажиллах шаардлагатай болдогт оршдог. Хэрэв илгээгч хэт олон хүсэлт явуулбал хүлээн авагч ачааллаа дийлэхгүй унах эрсдэлтэй. Иймээс хооронд нь buffer үүсгэх буюу append-only бүртгэлийн бүтэц бүхий мессеж стриминг систем зайлшгүй хэрэгтэй болдог.

Сүүлийн үед инженерийн ертөнцөд "Бүх зүйлийг S3 болон объект хадгалалт дээр суурилуулах" чиг хандлага эрчимтэй өрнөж байгаа. Cloudflare энэ концепцыг ашиглан K2-ийг өөрийн R2 Object Storage дээр шууд ажиллахаар зохион бүтээжээ.

K2 нь дараах техникийн бүтцээр ажиллана:

Дэс дараалалтай partitioned log: Ирж буй өгөгдлийн бичилтүүд partition тус бүрд дарааллаараа, immutable (өөрчлөгдөшгүй) бүртгэгдэнэ.
Төлөвгүй (Stateless) брокерийн үүрэг: Кластерын санах ой, тусгай SSD дискний оронд Cloudflare-ийн глобал edge сүлжээ бичилтийг хүлээн авч, R2-ын тархмал бүтцэд найдвартай буулгана.
Producer болон Consumer-ийг бүрэн салгах: Өгөгдөл илгээгч систем дэлхийн 300 гаруй edge цэгийн аль ч зангилаагаар өгөгдлөө шахахад, хүлээн авагч нь өөрийн боломжит хурдаар, тусдаа офсетээр (offset) унших боломжтой.

Хөгжүүлэгчдэд олгох K2-ийн гол давуу талууд

1. Сервер, брокер удирдах ажил тэг болно

Та дахин брокеруудын CPU, RAM, disk throughput тооцоолох шаардлагагүй. Стриминг нь жинхэнэ утгаараа "serverless" зарчмаар ажиллах бөгөөд ачаалал ирэх үед автоматаар томорч, сул үед нэмэлт зардал үүсгэхгүй.

2. Workers-той шууд холбогдох native bindings

K2 нь Cloudflare Workers-той уугуул түвшинд холбогдоно. Хөгжүүлэгчид өөрсдийн Worker код дотроос энгийн binding ашиглан stream.produce(record) хэлбэрээр хэдхэн мөр кодоор бичилт хийх боломжтой. Мөн төвөгтэй SDK шаардахгүйгээр стандарт HTTP API-аар гаднын системээс шууд өгөгдөл түлхэх боломжтой.

3. Тэг Egress төлбөр

AWS Kinesis эсвэл managed Kafka үйлчилгээнүүдийн сарын төлбөрийн ихэнх хувийг өгөгдөл дамжуулалтын (egress bandwidth) төлбөр эзэлдэг. K2 нь R2-ийн тэг egress хураамжтай дэд бүтцэд тулгуурласан тул терабайтаар хэмжигдэх их хэмжээний аналитик болон лог өгөгдлийг олон consumer зэрэг уншихад төсөвт дарамт учруулахгүй.

4. 30 хоног хүртэлх найдвартай хадгалалт (Retention)

Бета хувилбарын түвшинд бичлэгүүдийг өгөгдмөлөөр 30 хоног хүртэл найдвартай хадгалах боломжтой. Энэ нь зөвхөн шуурхай мессежийн дараалал (queue) байхаас гадна өгөгдлийг дахин уншиж боловсруулах (replay) боломжийг олгож байна.

5. Уян хатан Subscription загвар

Бичлэгийг зөвхөн ганц үйлчилгээ биш, өөр хоорондоо хамааралгүй олон төрлийн бие даасан хэрэглэгчид (consumers) эсвэл бүлэг хэрэглэгчдэд (consumer groups) хуваарилан хүргэх subscriptions архитектуртай.

AI агентууд болон өгөгдлийн инженерчлэлд үзүүлэх нөлөө

Сүүлийн саруудад бие даасан AI агентууд системүүдийн хооронд мэдээлэл солилцох, багаж хэрэгслийн (tools) хариуг асинхроноор хүлээх хэрэгцээ асар их өссөн. AI агентууд нэгэн зэрэг олон үйлдэл хийхэд тэдгээрийн үйл ажиллагааны ул мөр (audit logs), завсрын үр дүн, контекстийг хурдан бөгөөд найдвартай бүртгэх дэд бүтэц дутагдаж байв.

K2 нь AI agent workflow, бодит цагийн телеметр, аналитик болон аудит логуудыг глобал түвшинд нэгтгэн удирдах төгс суурь болж байна. Хөгжүүлэгчид ямар нэг нэмэлт кластер клауд дээр асаах шаардлагагүйгээр edge дээр хэдэн мянган эвентүүдийг нэгтгэж, Cloudflare Basin (Iceberg дээр суурилсан дата платформ) эсвэл бусад аналитик сан руу шууд дамжуулах боломж нээгдэж байна.

Хэрхэн туршиж үзэх вэ?

Cloudflare K2 нь өнөөдрөөс эхлэн Workers Paid хэрэглэгч бүрд олон нийтийн туршилтын (Public Beta) хэлбэрээр нээгдлээ. Бета хугацаанд аккаунт бүр 10 GB хүртэлх өгөгдлийг үнэгүй туршин туршиж үзэх боломжтой бөгөөд хэрэгцээ гарвал уг хязгаарыг нэмэгдүүлэх хүсэлт гаргаж болно.

Клауд хөгжүүлэлтийн ертөнц диск удирддаг төвөгтэй дэд бүтцээс татгалзаж, тархмал объект хадгалалт дээр суурилсан "object-store first" чиглэл рүү бүрэн шилжиж буйг K2 бэлхнээ батлан харуулж байна.

Эх сурвалж: Cloudflare Blog: Announcing Cloudflare K2: serverless event streams