媒體界 - 推動中國媒體行業創新,促進業內人士交流分享!

Apache Doris 首屆峰會完美收官 開啟數據分析架構全新征程

   發布時間:2023-01-11 17:41 作者:cici

近期,由 SelectDB 主辦,百度智能云、騰訊云聯合舉辦的 Apache Doris 社區首屆峰會 Doris Summit 2022 圓滿落下帷幕。本次峰會以 Select Future From Doris 為主題,匯聚了來自 SelectDB、百度、騰訊、美團、小米、京東、字節跳動、阿里云、亞馬遜云科技、網易、知乎、斗魚、馬上消費金融、易觀、韻達、360 等行業領軍企業的 40 余位資深數據專家。在為期兩天的在線峰會上,眾多專家共同探討了業界最前沿數據分析技術的演進趨勢以及數字化時代數據分析平臺建設的最佳實踐,為參會的數萬名大數據領域開發者奉上了一份精彩的技術盛宴。

全球大數據和數據庫領域最活躍的開源社區之一

本次峰會在 Apache 基金會 2022 年董事姜寧的開場致辭中正式拉開序幕,Apache Doris PMC 主席陳明雨以 《New Journey of Apache Doris》 為題,詳細回顧了過去一年 Apache Doris 社區所取得的成績 —— 累計貢獻者規模超過 420 位、同比增長超過 100%,每月活躍貢獻者增長至 100 位、同樣呈翻倍增長的趨勢,GitHub Star 數量從 3.6k 增長至 7.6k,多次登上 GitHub Trending 榜單、受到全球開發者的關注……從多個社區活躍度指標看,Apache Doris 已經成為全球大數據和數據庫領域最為活躍的開源社區之一!

[MD:Title]

“另外在 2022 年 6 月, Apache Doris 迎來了開源以來最重要的里程碑之一,正式從 Apache 孵化器畢業、成為了 Apache 頂級項目”,陳明雨說到,“ 所有取得的成就,都離不開社區所有開發者與用戶的支持,也正是因為有了他們的貢獻,才使得 Apache Doris 有如此快的發展,未來 Apache Doris 也會回饋所有用戶以極致的數據分析體驗。”

2022,更快、更實時、更統一

在主論壇的主題分享環節,來自 SelectDB、百度、美團、字節跳動等多家企業的社區核心貢獻者帶來了 Apache Doris 在性能和功能上的優化創新及取得的成效。

性能方面,SelectDB CTO 衣國壘介紹到:“通過向量化執行、內存管理優化、自適應字典計算、Global Runtime Filter 等一系列查詢優化手段,Apache Doris 在單表場景斬獲 Clickbench 全球數據庫性能榜單前三的優異成績,多表關聯場景在 SSB 和 TPC-H 等標準測試數據集有數倍乃至數十倍的性能提升,躋身全球數據庫性能最前列!”

功能方面,來自 SelectDB、美團、字節跳動、百度的多位技術專家介紹了全新 Unqiue Key 主鍵模型、全新查詢優化器、數據湖聯邦分析、半結構化數據分析以及多表物化視圖等核心特性的研發進展,同時分享了社區在版本發布和代碼質量保障方面的思考。這一系列工作使得 Apache Doris 在實時性、穩定性和易用性等多方面得到全面進化,同時也具備了更多數據分析場景的適應性,開始邁入極速實時統一的數據分析時代。

來自各行業用戶最真實的聲音

社區用戶方面,在過去一年,Apache Doris 也收獲到了更多開發者的認可,有越來越多的企業基于 Apache Doris 構建全新的數據分析平臺架構。

“經過統計,在全球范圍內 Apache Doris 的企業用戶規模已經超過了 1000 家、被廣泛應用于數十個行業中,成為最受人們認可的 OLAP 數據庫之一!”陳明雨補充道,“同時 Apache Doris 社區已經聚集了數萬人的用戶社群,社區成立了一只專職的工程師團隊在社群中為所有用戶答疑解惑,同時也有許多開發者在社群中交流使用心得和分享實踐經驗,讓更多技術愛好者有了一個自由交流數據庫知識和提升技術水平的平臺?!?/p>

[MD:Title]

在此次峰會的行業最佳實踐論壇中,美團、京東、小米、騰訊音樂、360、馬上消費金融、杭銀消金、斗魚、知乎、韻達、易觀、同程數科等行業領軍企業的多名參會專家,紛紛介紹了 Apache Doris 在企業內部大規模落地應用的實踐經驗,并深度解讀了 Apache Doris 如何幫助企業實現降本增效。

在縱騰集團的案例分享中,Apache Doris 已經助力縱騰集團快速構建起一個全新的流批一體數倉架構,單日實時入庫數據量可達上億規模,同時支持上百個調度任務平穩運行,解決了隨數據增長而日益復雜的業務需求。 在騰訊音樂的案例分享中,Apache Doris 助力騰訊音樂內容數據平臺在百萬分群圈選場景中實現了近 20 倍的性能提升,同時在存儲和開發維護上降低了 40%以上的投入成本。在慧策的案例分享中,通過 Apache Doris 替代了原有的 Clickhouse,不僅極大提升了ETL效率,還極大降低了存儲成本、存儲空間僅原先40%不到。在美團的案例分享中,Apache Doris 已成為美團內部統一的OLAP引擎,支持外賣、買菜、優選等十余業務線,集群規模超百個、總機器規模數千臺。在馬上消費金融的案例分享中, 基于 Apache Doris 全新的實時數倉架構極大提升了數據時效性,從數據生產至數據應用,整個數據處理鏈路時延不超過1分鐘。在杭銀消金的案例分享中,利用 Apache Doris 1.2 最新版本的數據湖分析功能,實現對ES/Hive等多種異構數據源的統一分析,并極大提升了查詢性能,降低資源消耗的同時使系統穩定性進一步提升。在斗魚的案例分享中,Apache Doris 解決了過去煙囪式開發和繁重架構帶來的難運維問題,并實現標簽圈選時間分鐘級至秒級的進化,實時標簽任務穩定性的同時產出時間也提升了40%。

除以上所摘選內容外,還有更多技術專家把自身真實業務場景的需求與實踐沉淀成寶貴的經驗,在峰會上分享給所有參會的開發者。

豐富的數據上下游與商業生態

數據生態同樣是 Apache Doris 社區重點建設的方向。在商業與數據生態論壇上,來自 Apache DolphinScheduler PMC、Apache Kyuubi 、Apache Inlong、Dinky 社區、ClouGence 等開源社區及企業的多名技術專家為大家帶來了數據分析與處理鏈路的深入思考,并解讀了如何結合 Apache Doris 構建對用戶體驗更加的數據分析解決方案。

開源項目的成功離不開商業化力量的支持,如何通過企業級特性的增強為客戶提供具備差異性價值的服務,以及如何將開源技術和云原生更好地結合、構建具有競爭力和影響力的產品和解決方案,同樣是本次峰會的亮點。在商業與數據生態論壇上,來自 SelectDB 的技術副總裁楊勇強在峰會上介紹了基于 Apache Doris 內核打造的云原生實時數據倉庫 SelectDB Cloud,采用完全存算分離的架構設計,是國內首款實現多云中立、全托管且 SaaS 化的云數據倉庫。

此外 百度智能云、騰訊云以及火山引擎等國內一線云廠商分別介紹了基于 Apache Doris 打造的云數據倉庫服務,可以快速助力企業建極速易用的云上數據分析平臺。

全新定位,極速、易用、實時、統一的多模分析型數據庫

在本次峰會上,Apache Doris PMC 陳明雨還代表社區首次發布了全新定位,并公布了社區 2023 年的研發計劃。

“如果說過去 Apache Doris 更多是服務于在線報表場景和 Ad-hoc 分析的 OLAP 引擎的話,那么在所有社區和開發者的努力下,當前 Apache Doris 已經具備了更為廣闊的定位,即極速、易用、實時、統一的多模分析型數據庫。”陳明雨說道,“這其中的統一,既包含了架構的統一、也包含了業務和數據的統一。用戶可以通過 Apache Doris 構建多種不同場景的數據分析服務、同時支撐在線與離線的業務負載、高吞吐的交互式分析與高并發的點查詢;通過一套架構實現湖和倉的統一、在數據湖和多種異構存儲之上提供無縫且極速的分析服務;也可通過對日志/文本等半結構化乃至非結構化的多模數據進行統一管理和分析、來滿足更多樣化數據分析的需求。這是我們希望 Apache Doris 能夠帶給用戶的價值,不再讓用戶在多套系統之間權衡,僅通過一個系統解決絕大部分問題,降低復雜技術棧帶來的開發、運維和使用成本,最大化提升生產力?!?/p>

[MD:Title]

在2023 年,Apache Doris 社區將開啟更多有意義的工作,全年的研發計劃主要會圍繞高性能、高性價比、混合負載分析、多模態數據分析、湖倉一體、實時性以及易用性與穩定性等方向展開,將回饋所有用戶以更佳的數據分析體驗,致力于成為全球OLAP 數據庫的新標桿。

至此,Doris Summit 2022 社區首屆峰會圓滿收官! 峰會的順利舉行,要特別感謝參與本次峰會分享的 40 余位技術專家以及 10 余位議題評審委員會專家,為所有社區用戶、開發者、數據庫技術從業者以及全體熱愛開源的人士帶來了一場如此精彩的技術盛宴,同樣也要感謝所有參與本次峰會的合作伙伴以及工作人員。

2023 年是 Apache Doris 全新征程的開始,在未來的日子里,Apache Doris 必將本著為人們解決數據分析問題的初心,繼續砥礪前行。相信在所有社區用戶和開發者的幫助下, Apache Doris 會在更多的行業中和場景中得到更深度的應用。也期待 Apache Doris 走向全球,為更多不同地域的人解決數據分析難題,代表中國開源力量在全球舞臺閃耀!

# 關于主辦方

SelectDB 是 Doris Summit 2022 的主辦方,也是 Apache Doris 背后的商業化公司。SelectDB 致力于為 Apache Doris 社區提供一個由全職工程師、產品經理和支持工程師組成的團隊,繁榮開源社區生態,打造實時分析型數據庫領域的國際工業界標準。基于 Apache Doris 研發的新一代云原生實時數倉 SelectDB,運行于多家云上,為用戶和客戶提供開箱即用的能力。

 
 
更多>同類內容
全站最新
熱門內容
本欄最新