中文字幕亚洲欧美日韩在线不卡,亚洲欧美日产综合在线网性色,思思久久精品6一本打道,综合视频中文字幕

12月9日消息，日前，毓數(shù)大數(shù)據(jù)平臺(tái)架構(gòu)全面升級(jí)，360數(shù)科完成了Apache Doris在毓數(shù)大數(shù)據(jù)分析多場(chǎng)景落地應(yīng)用。

同時(shí)，360數(shù)科獨(dú)創(chuàng)的Doris + Presto秒級(jí)多級(jí)加速引擎，改良了大數(shù)據(jù)分析內(nèi)存占用過(guò)高，數(shù)據(jù)處理緩慢等問(wèn)題。在Doris的支持下，360數(shù)科實(shí)時(shí)查詢一級(jí)加速性能提升190倍，二級(jí)加速性能提升19.1倍，實(shí)時(shí)數(shù)據(jù)分析效率大幅提升。

伴隨業(yè)務(wù)的不斷深入，360數(shù)科早期應(yīng)用的OLAP多維分析數(shù)據(jù)庫(kù)集群穩(wěn)定性較低、運(yùn)維復(fù)雜和表關(guān)聯(lián)查詢較慢等問(wèn)題凸顯。“除此之外，在大數(shù)據(jù)查詢分析場(chǎng)景，基于Spark單一查詢引擎分鐘級(jí)響應(yīng)，影響數(shù)據(jù)分析人員工作效率，亟需做出優(yōu)化和重構(gòu)?！?360數(shù)科系統(tǒng)架構(gòu)總監(jiān)黃建庭稱。

基于以上需求及痛點(diǎn)，360數(shù)科對(duì)大數(shù)據(jù)計(jì)算引擎的選型目標(biāo)提出了明確的需求，即：數(shù)據(jù)寫入性能高、查詢響應(yīng)秒級(jí)、兼容標(biāo)準(zhǔn) SQL 協(xié)議、表關(guān)聯(lián)查詢性能優(yōu)秀、支持豐富的數(shù)據(jù)模型、運(yùn)維復(fù)雜度低、社區(qū)活躍以及對(duì)商業(yè)友好，無(wú)法律風(fēng)險(xiǎn)。

今年3月，360數(shù)科對(duì)符合以上特點(diǎn)的數(shù)據(jù)庫(kù) Apache Doris 展開了為期兩個(gè)月的調(diào)研測(cè)試，并在多次適配后，獨(dú)創(chuàng)多級(jí)查詢引擎動(dòng)態(tài)切換的機(jī)制，完成了針對(duì)業(yè)務(wù)場(chǎng)景的調(diào)優(yōu)?！癉oris的應(yīng)用，使我們的數(shù)據(jù)處理分析能力發(fā)生了質(zhì)的飛躍。從效果來(lái)講，Doris不僅可以支持高并發(fā)的實(shí)時(shí)查詢場(chǎng)景，也能支持高吞吐的復(fù)雜分析場(chǎng)景?！?/p>

為提高查詢性能，360數(shù)科自主研發(fā)的多級(jí)加速查詢引擎，支持多查詢引擎動(dòng)態(tài)切換的機(jī)制，能夠通過(guò)識(shí)別查詢數(shù)據(jù)的元信息對(duì)當(dāng)次查詢做自動(dòng)的查詢引擎（Doris/Presto/Spark/Hive）路由和故障切換。通過(guò)將Doris 架設(shè)在 Hive 數(shù)倉(cāng)的上層，360數(shù)科可以直接復(fù)用已經(jīng)建設(shè)好的數(shù)據(jù)血緣關(guān)系，在不利用Doris 集群產(chǎn)生新表的前提下，就能完成對(duì)特定場(chǎng)景的低成本查詢加速。

據(jù)介紹，2019年，360數(shù)科加入Apache OpenMessaging，參與開放消息技術(shù)標(biāo)準(zhǔn)推廣和實(shí)踐，為包括Apollo、Dubbo、Skywalking、Sentinal、Arthas等開源項(xiàng)目在內(nèi)的多個(gè)項(xiàng)目提出問(wèn)題、貢獻(xiàn)代碼及解決方案。

在自主開源方面，360數(shù)科技術(shù)團(tuán)隊(duì)貢獻(xiàn)的首個(gè)自主開源項(xiàng)目Chronus，在完成內(nèi)部5個(gè)里程碑版本后，無(wú)縫支持Dubbo協(xié)議、Http及SpringCloud等，致力于成為微服務(wù)生態(tài)輕量級(jí)分布式調(diào)度平臺(tái)。

今年6月，Apache Doris成功從 Apache 孵化器畢業(yè)，正式成為 Apache 頂級(jí)項(xiàng)目。“作為開源社區(qū)曾經(jīng)的受益者，我們更希望能夠以助力者的身份與其他高科技公司共同攜手推動(dòng)我國(guó)計(jì)算機(jī)技術(shù)和高科技企業(yè)的發(fā)展?！?/p>

據(jù)了解，360數(shù)科將繼續(xù)應(yīng)用Doris在實(shí)時(shí)查詢引擎加速、實(shí)時(shí)數(shù)倉(cāng)、用戶畫像/標(biāo)簽、RTA等業(yè)務(wù)場(chǎng)景不斷優(yōu)化。同時(shí)公司也將通過(guò)分析用戶的查詢 SQL 特征，結(jié)合Doris的查詢緩存、物化視圖、Doris on Hive等特性，進(jìn)一步提升查詢效率等，以期支撐更多的業(yè)務(wù)場(chǎng)景、發(fā)揮更大價(jià)值。

談及后續(xù)規(guī)劃，黃建庭表示，“未來(lái)我們也會(huì)考慮全面開源，但不是簡(jiǎn)單地把系統(tǒng)開源，會(huì)充分考慮到開源項(xiàng)目的適用性、通用性等，避免系統(tǒng)的環(huán)境依賴、內(nèi)部依賴、能力依賴，以開放的金融科技創(chuàng)新能力幫助相關(guān)公司提升效率、節(jié)約資源，同時(shí)也不斷完善我們開源的系統(tǒng)，進(jìn)一步推動(dòng)金融科技底層生態(tài)的完善?！保ㄒ怀龋?/p>