Databricks推出無服務(wù)器流數(shù)據(jù)攝取服務(wù)Zerobus Ingest

Databricks公司今日宣布，其Lakeflow Connect套件中的新型無服務(wù)器服務(wù)Zerobus Ingest已正式發(fā)布，該服務(wù)可簡化并加速實(shí)時數(shù)據(jù)攝取到Databricks湖倉中。

Zerobus Ingest允許應(yīng)用程序直接將事件級數(shù)據(jù)流式傳輸?shù)绞芄芾淼腄elta表中，無需依賴Apache Kafka等中間消息代理。Databricks表示，這種流線型處理方式可降低基礎(chǔ)設(shè)施開銷、減少運(yùn)營成本，并將延遲降低至僅5秒。

Zerobus Ingest支持?jǐn)?shù)千個并發(fā)客戶端，可實(shí)現(xiàn)單表超過10Gbps的聚合吞吐量，每個連接每秒可處理高達(dá)100MB的數(shù)據(jù)。據(jù)Databricks介紹，這項(xiàng)托管服務(wù)采用無服務(wù)器架構(gòu)，可自動擴(kuò)展以匹配工作負(fù)載，無需手動配置。

與通用消息總線通常使用的多接收器架構(gòu)不同，Zerobus采用針對數(shù)據(jù)攝取優(yōu)化的單接收器方法，該架構(gòu)將事件路由到多個消費(fèi)者。公司表示，這種方法最大限度地減少了工程開銷，消除了調(diào)優(yōu)代理或監(jiān)控消費(fèi)者組的需要，并省去了基于Kafka的管道通常需要的大部分維護(hù)工作。

開發(fā)人員可以使用Google遠(yuǎn)程過程調(diào)用和REST API與Zerobus Ingest集成，以及針對Python、Java、Rust、Go和TypeScript的特定語言軟件開發(fā)工具包。這使應(yīng)用程序能夠以最少的代碼直接向湖倉寫入記錄，并通過公司的Unity Catalog提供治理。

Databricks表示，Zerobus Ingest最適合遙測和物聯(lián)網(wǎng)數(shù)據(jù)、點(diǎn)擊流分析、網(wǎng)絡(luò)安全事件流等用例，以及其他需要近實(shí)時訪問大量數(shù)據(jù)以改善運(yùn)營洞察的場景。消除外部流媒體層使組織能夠減少與多個存儲和計算資源相關(guān)的成本，同時將多組件攝取堆棧整合為單一托管服務(wù)。

該服務(wù)現(xiàn)已在主要云平臺上作為Lakeflow Connect產(chǎn)品組合的一部分提供。

Q&A

Q1：Zerobus Ingest是什么？有什么特點(diǎn)？

A：Zerobus Ingest是Databricks推出的無服務(wù)器流數(shù)據(jù)攝取服務(wù)，可直接將數(shù)據(jù)流傳輸?shù)紻elta表中，無需中間消息代理，支持?jǐn)?shù)千并發(fā)客戶端，單表吞吐量超過10Gbps，延遲低至5秒，并可自動擴(kuò)展。

Q2：Zerobus Ingest與傳統(tǒng)Kafka方案相比有什么優(yōu)勢？

A：Zerobus Ingest采用單接收器架構(gòu)而非多接收器，減少工程開銷，無需調(diào)優(yōu)代理或監(jiān)控消費(fèi)者組，省去大部分維護(hù)工作，降低基礎(chǔ)設(shè)施開銷和運(yùn)營成本，簡化多組件攝取堆棧為單一托管服務(wù)。

Q3：Zerobus Ingest適合什么樣的應(yīng)用場景？

A：Zerobus Ingest最適合遙測和物聯(lián)網(wǎng)數(shù)據(jù)、點(diǎn)擊流分析、網(wǎng)絡(luò)安全事件流等需要近實(shí)時訪問大量數(shù)據(jù)以改善運(yùn)營洞察的場景，特別是對延遲要求較高的大數(shù)據(jù)處理場景。