文章轉自：戴爾易安信解決方案訂閱號

　　文學作品往往是未來科技的序曲，講述人類與月亮人交往的《夢游》，超前為17世紀的人們展示了零重力狀態(tài)、宇宙服。上世紀90年代出版的《雪崩》則以宏大的敘事筆觸，描繪了一個與現實世界平行的虛擬世界，設定現實人類通過VR設備與虛擬人共同生活。

　　正是這部充滿賽博朋克風格的科幻小說，提出了超越于現實宇宙的——元宇宙(Metaverse)概念。今年3月，元宇宙第一概念股Roblox上市，緊接著，7月扎克伯格宣布未來5年要把Facebook轉型成為一家元宇宙公司。一時間，國內外科技巨頭紛紛布局元宇宙。

　　風從虎、云從龍，主打沉浸感、低延遲、實時交互的元宇宙要想由概念轉為現實，離不開VR、5G、AI、云計算等技術的支持。與此同時，如何對AR/VR、可穿戴設備、傳感器等產生的龐大實時流數據進行存儲、處理，也是元宇宙真正落地面臨的挑戰(zhàn)。

　　近年來，實時應用場景逐漸增多，企業(yè)和組織需要及時處理節(jié)假日出行訂單、外賣訂單、路況事故信息等實時數據，這就要求強大的流分析和存儲能力。

　　因此，戴爾科技集團從零開始構建了一套實時流式數據分析與存儲解決方案——戴爾易安信流數據處理平臺(Streaming Data Platform,SDP)，旨在為編寫可靠的流式應用程序提供基礎。

　　該平臺在K8s上構建，采用微服務架構，通過統(tǒng)一的K8s Operator方式部署Pravega與Flink，集合了存儲和計算平臺，并且實現安全、多租戶等諸多特性，為企業(yè)用戶提供了一體化的數據存儲和分析平臺。

　　SDP最基礎的組件是它的流式數據存儲引擎，即Pravega。作為平臺內的自研開源組件，Pravega承擔著為所有其它組件提供流式數據存取服務的重任，用以簡化實時數據處理和存儲需求。

　　Pravega采用了分層存儲架構。事件可以存儲在低延遲/高IOPS的存儲(第一層存儲)和更高吞吐量的存儲(第二層存儲)中。通過這種方式，冷熱數據分離有效降低了數據存儲成本。上層使用Apache ZooKeeper作為分布式協(xié)調器，并提供統(tǒng)一的Stream抽象。

　　Pravega專注于流式數據存儲的可靠性和實時性，同時提供批流一體的Stream API。它解決了大數據處理系統(tǒng)面臨的“計算是原生的流計算，而存儲卻不是原生的流存儲”難題。經過Pravega抽象后的流式數據具有持久性、伸縮性、只追加等一系列特性。

　　目前，Pravega在游樂園設施的預防性維護、工業(yè)物聯(lián)網中的異常檢測、建筑業(yè)中施工的準確性和資源跟蹤等方面，均發(fā)揮了作用。

　　基于應用場景豐富，Pravega受到了IT開發(fā)者的認可和歡迎。因此，由戴爾中國研發(fā)中心主辦的首屆Pravega創(chuàng)客大賽，于今夏發(fā)出“英雄帖”時，獲得了社會各界的廣泛關注。相關報道的瀏覽量累計突破71.9萬次，互動量更是達到了1.7萬余次。

　　本次大賽吸引到23個團隊同場競技，探索開源編程領域的更多可能性。從網約車危險駕駛行為實時監(jiān)控與預警、工業(yè)物聯(lián)網操作系統(tǒng)，到流計算在計算機視覺領域的應用，這些滬上“長寧區(qū)大神”、“數據高手”使用數據流和Pravega創(chuàng)建代碼，向外界展示創(chuàng)新帶來的價值。

　　經過嚴格的初選之后，共有十支參賽團隊脫穎而出，躋身決賽。這些佼佼者進一步向評委們闡釋了各自的項目，充分展現出團隊對于創(chuàng)新和開源平臺的堅持和信念。

　　最終，來自戴爾中國研發(fā)中心E-LAB和OCTO團隊、云原生計算基金會(CNCF)Pravega社區(qū)團隊、Apache Flink 社區(qū)團隊、T-Footprint團隊以及初創(chuàng)公司MatrixOrigin團隊，憑借各自的優(yōu)秀項目贏得了評委們的青睞!

　　本屆優(yōu)秀技術演講獎由李三平、陳悠獲得，下面為大家揭曉各支團隊摘得的獎項及精彩議題。

　　一等獎

　　芯片軟件CI/CD大數據

　　分析與狀態(tài)監(jiān)測

　　—— Terry YU、David YUAN、Charles GUO，來自T-Footprint(NXP/AMD的設計公司)

　　來自T-Footprint的團隊在芯片研發(fā)過程中洞察到在日常CI/CD的過程中涉及到大量的測試設備，海量的測試結果數據在后續(xù)的定位中往往需要投入大量的人工資源去進行諸如錯誤分類、測試狀態(tài)統(tǒng)計等工作，最終導致效率低且成本高。

　　通過基于Pravega對數據的實時采集和以及存儲，利用Apache Flink為計算引擎以及可視化組件構建出一套完整的解決方案，目前的該項目已經被落地到生成測試環(huán)境。

　　二等獎

　　Flink 武魂殿

　　—— 蔣曉峰、蘇軒楠、任慶盛，來自Apache Flink社區(qū)

　　該項目基于當前火熱的以Snowflake和Databricks主導Lakehouse架構進行了思考，結合目前主流Lakehouse技術棧之一的Apache Hudi，通過從開放性、工作負載包容性等方面進行的分析，將CNCF Pravega作為整個架構中的數據持久化層，落地應用到Lakehouse的場景中。

　　二等獎

　　網約車危險駕駛行為

　　實時監(jiān)控與預警

　　——羅玉皓、王芳、陳燕飛、何毅，來自戴爾E-LAB團隊

　　駕駛員者最危險的一面是駕駛員本身的干擾造成的不規(guī)范駕駛行為。借助視頻采集設備和傳感器， 實時采集司機駕駛行為AI視頻智能檢測，識別駕駛員不規(guī)范駕駛行為，督促司機提升安全意識并優(yōu)化駕駛行為，為乘客提供全方位的安全保障。

　　Pravega利用低延時、高并發(fā)和高吞吐要求，以及對實時數據和歷史數據的統(tǒng)一處理能力能夠完成對多路視頻的實時分析和歷史視頻的回溯。在此次車聯(lián)網方案中的應用，展示了其性能的優(yōu)異性，能幫助降低開發(fā)，運維和存儲成本，縮短開發(fā)周期。

　　三等獎

　　Hutosys工業(yè)物聯(lián)網操作系統(tǒng)

　　—— 黃策、 張翔，來自CNCF Pravega社區(qū)

　　三等獎

　　Streaming OLAP

　　—— 魏子然、李慧靜、秦姝琦、張瀟，來自MatrixOrigin公司

　　三等獎

　　基于Pravega的數據蒸餾方案

　　—— 李三平、陳強、倪嘉呈、王子嘉，來自戴爾OCTO團隊

　　三等獎

　　基于Pravega的風控解決方案

　　—— 陳悠、張康、湯慶凱，來自CNCF Pravega社區(qū)

　　三等獎

　　流計算在計算機視覺領域的應用

　　—— 耿飆、周云峰、藺廣琛，來自Apache Flink社區(qū)

　　再次恭喜本屆大賽的獲勝團隊!在后續(xù)的推文中，我們將詳細解讀此次大賽中的優(yōu)勝項目，請大家拭目以待。愿Pravega這只“青鳥”未來幫助更多開發(fā)者，探索分布式流式系統(tǒng)背后的秘密!