"Дата аналитикийн SQLite": AWS компани DuckDB-г хөгжүүлэгч DuckLabs стартапыг худалдан авлаа

Өгөгдлийн инженерийн салбарын томоохон хөдөлгөөн

Сүүлийн жилүүдэд дата инженерүүд, AI хөгжүүлэгчид болон backend инженерүүдийн дунд хамгийн өндөр үнэлгээг авч, "Дата аналитикийн SQLite" хэмээн нэрлэгдэх болсон DuckDB төслийн үндсэн баг болох DuckLabs компанийг Amazon Web Services (AWS) худалдан авч буйгаа албан ёсоор зарлалаа.

Амстердам хотод төвтэй DuckLabs компанийг үүсгэн байгуулагчид болох Ханнес Мюлейзен (Hannes Mühleisen) болон Марк Раасвелдт (Mark Raasveldt) нар өөрсдийн багийн хамт AWS-ийн инженерийн багт нэгдэж байна. Гэхдээ хамгийн чухал асуулт бол: Нээлттэй эх (Open Source) төсөл болон олон нийтэд энэ нь ямар нөлөө үзүүлэх вэ?

DuckDB яагаад тийм онцгой өгөгдлийн сан бэ?

DuckDB бол баганан бүтэцтэй (columnar), процесс дотор ажилладаг (in-process) OLAP (Online Analytical Processing) өгөгдлийн сан юм. Хөгжүүлэгчдэд дараах давуу талуудыг олгодог:

Тэг хамаарал (Zero external dependencies): Ямар ч тусдаа server process эсвэл daemon ажиллуулах шаардлагагүйгээр Python, Rust, Go, Node.js, C++ болон WebAssembly (WASM) орчинд шууд сан (library) хэлбэрээр дуудагдаж ажилладаг.
Векторжуулсан гүйцэтгэл (Vectorized execution engine): CPU-ийн SIMD заавруудыг дээд зэргээр ашиглан санах ой (RAM) дээрх аналитик queries-ийг асар хурдан боловсруулдаг.
Файлын форматын шууд дэмжлэг: Parquet, Arrow, CSV, JSON файлууд болон S3 дээрх өгөгдлийг хуулж импортлохгүйгээр шууд SQL query бичин унших боломжтой.

Энэхүү авсаархан атлаа хүчирхэг архитектур нь том хэмжээний Spark эсвэл хүнд хэцүү cloud warehouse ажиллуулалгүйгээр дата боловсруулах, ML/AI моделийн feature бэлтгэх ажлыг хэд дахин хөнгөвчилж өгсөн юм.

DuckDB Foundation ба Нээлттэй эхийн засаглал

Том үүлэн технологийн компаниуд нээлттэй эхийн төслийг худалдаж авахад нийгэмлэгт хамгийн их үүсдэг болгоомжлол бол лицензийн өөрчлөлт байдаг.

Харин AWS болон DuckLabs-ийн мэдэгдэлд дурдсанаар:

DuckDB нээлттэй төсөл биш, харин DuckLabs компани зарагдаж байгаа: DuckDB-ийн оюуны өмч, барааны тэмдэг болон эх код нь бие даасан ашгийн бус DuckDB Foundation байгууллагын эзэмшилд хэвээр үлдэнэ.
MIT License хэвээр хадгалагдана: Төсөл нь өмнөх шигээ бүрэн нээлттэй, үнэ төлбөргүй MIT лицензтэйгээр үргэлжилнэ.
Төслийн удирдлага: Үүсгэн байгуулагчид AWS-ийн ажилтан болох хэдий ч DuckDB-ийн техникийн чиглэл, архитектурын шийдвэрийг нээлттэй нийгэмлэгийн зарчмаар үргэлжлүүлэн удирдахаа онцолсон байна.

AWS яагаад DuckLabs-ийг авав? Архитектурын алсын хараа

Amazon-ийн Дэд ерөнхийлөгч бөгөөд Тэргүүлэх инженер Энди Уорфилд (Andy Warfield) хэлэхдээ, AWS нь DuckLabs багтай 2024 оноос хойш хамтран ажиллаж ирснийг тэмдэглэжээ.

Энэхүү хэлэлцээр AWS-ийн өгөгдлийн дэд бүтцэд хэд хэдэн стратегийн давуу тал авчирна:

Serverless & Edge Analytics: AWS Lambda, ECS болон CloudFront дээр ажиллах хөнгөн жинтэй, хурдан аналитик query engine үүсгэх.
S3 Lakehouse-ийн шинэ эрин: S3 дээр хадгалагдсан Parquet өгөгдлийг уламжлалт Athena эсвэл Redshift-ийн өндөр зардалгүйгээр локал хурдаар боловсруулах түвшинг сайжруулах.
AI Agent-ийн өгөгдлийн давхарга: Өнөө үед олон AI агент локал контекст дотор өгөгдөл задлан шинжлэхдээ DuckDB-г өргөн ашиглаж байна. AWS өөрийн AI болон Data stack-дээ DuckDB-г илүү нягт суурилуулах боломжтой болно.

Хөгжүүлэгчдэд юу өөрчлөгдөх вэ?

Энгийн хөгжүүлэгчид болон компаниудын хувьд өдөр тутмын хөгжүүлэлтийн код болон CI/CD пайплайнд ямар нэгэн сөрөг өөрчлөлт орохгүй. Харин ч DuckLabs-ийн инженерийн баг санхүүгийн болон дэд бүтцийн тогтвортой дэмжлэгтэй болсноор:

DuckDB-ийн цөм системийн тогтвортой байдал, concurrency control, санах ойн менежментийн сайжруулалтууд хурдасна.
Cloud Object Storage (S3 г.м.)-той ажиллах I/O холболт, сүлжээний оновчлолууд шинэ түвшинд гарна.
Нээлттэй эхийн экосистемд томоохон үүлэн үйлчилгээний нэгдсэн интеграциуд түргэн нэвтэрнэ.

Эх сурвалж: Amazon AWS Press Announcement & DuckLabs Official Statement