2021年京東正式對(duì)外發(fā)布了自主設(shè)計(jì)研發(fā)的金融級(jí)國產(chǎn)分布式數(shù)據(jù)庫StarDB。在本屆中國數(shù)據(jù)庫技術(shù)大會(huì)上,京東科技高新剛詳細(xì)介紹了StarDB的四個(gè)最佳實(shí)踐。
國產(chǎn)分布式數(shù)據(jù)庫StarDB最佳實(shí)踐
金融級(jí)高可用數(shù)據(jù)庫體系實(shí)踐
StarDB 作為一款金融級(jí)國產(chǎn)分布式數(shù)據(jù)庫,不僅完全滿足國家對(duì)金融安全自主可控的要求,也解決了過去傳統(tǒng)金融數(shù)據(jù)庫靠采購高端設(shè)備或進(jìn)行資源堆砌才能解決的問題。StarDB通過自研的分布式計(jì)算引擎和自研的運(yùn)維管控平臺(tái)打造的國產(chǎn)一體化數(shù)據(jù)庫已經(jīng)在多個(gè)金融場景大規(guī)模應(yīng)用,如支付業(yè)務(wù)、清算業(yè)務(wù)、保險(xiǎn)業(yè)務(wù)、風(fēng)控業(yè)務(wù)、征信業(yè)務(wù)等。StarDB提供多數(shù)據(jù)中心容災(zāi)架構(gòu)、秒級(jí)監(jiān)控,能保證異常故障自動(dòng)完成高可用切換,無需人工干預(yù);同時(shí)提供多副本數(shù)據(jù)強(qiáng)同步,保證任意事務(wù)數(shù)據(jù)完成時(shí)都至少有兩份副本數(shù)據(jù),避免了數(shù)據(jù)丟失,RTO小于30秒,RPO為0。
資源納管和大規(guī)模智能化運(yùn)維實(shí)踐
隨著互聯(lián)網(wǎng)應(yīng)用的快讀發(fā)展,傳統(tǒng)單機(jī)數(shù)據(jù)庫的存儲(chǔ)和計(jì)算能力成為限制業(yè)務(wù)擴(kuò)展的瓶頸,不能滿足快速增長的業(yè)務(wù)要求。StarDB具備分布式數(shù)據(jù)架構(gòu)能力,支持動(dòng)態(tài)一鍵擴(kuò)展計(jì)算和存儲(chǔ)資源,提供 PB 級(jí)存儲(chǔ)能力,廣泛應(yīng)用于互聯(lián)網(wǎng)、金融、工業(yè)制造等超大規(guī)模數(shù)據(jù)存儲(chǔ)和高并發(fā)訪問場景。另外StarDB對(duì)數(shù)據(jù)庫各種基礎(chǔ)資源,如機(jī)房、服務(wù)器、網(wǎng)段、虛擬IP(VIP)、數(shù)據(jù)庫實(shí)例等資源了進(jìn)行有效的統(tǒng)一納管,并對(duì)部門資源使用情況進(jìn)行了管理,如現(xiàn)存服務(wù)器,上線服務(wù)器,下線服務(wù)器等統(tǒng)計(jì)信息。
分布式水平拆分場景實(shí)踐
StarDB通過靈活的分片算法實(shí)現(xiàn)分庫分表邏輯,對(duì)業(yè)務(wù)層透明無感知,保證了存儲(chǔ)和計(jì)算資源隨著業(yè)務(wù)流量增長,能夠動(dòng)態(tài)擴(kuò)容。而通過JDBC、MySQL協(xié)議訪問,保證業(yè)務(wù)代碼基本不用改造,對(duì)于業(yè)務(wù)使用透明,只需對(duì)邏輯庫表操作即可,數(shù)據(jù)操作和變更不需要關(guān)注某個(gè)分表,僅操作邏輯表,由底層完全封裝。
彈性伸縮場景解決方案實(shí)踐
在業(yè)務(wù)高峰期、促銷期、突發(fā)或著異常事件時(shí)一般需要擴(kuò)增大量資源,可高峰過去后,擴(kuò)增的資源就會(huì)被閑置;因?yàn)闅v史數(shù)據(jù)遷移周期長,數(shù)據(jù)一致性又需要保證,手工操作風(fēng)險(xiǎn)高又費(fèi)時(shí)費(fèi)力,所以擴(kuò)縮容本身也有一定技術(shù)難度。如何保證底層數(shù)據(jù)存儲(chǔ)架構(gòu)變更時(shí)業(yè)務(wù)不中斷?京東科技通過多年業(yè)務(wù)實(shí)踐,提供如下一套完備的解決方案:
1、動(dòng)態(tài)擴(kuò)縮容,根據(jù)業(yè)務(wù)流量情況,按需伸縮動(dòng)態(tài)平衡資源使用,減少不必要的資源浪費(fèi)2、一鍵操作,自助配置定義數(shù)據(jù)遷移和切換時(shí)間3、在線升級(jí),根據(jù)定義時(shí)間,完成增量遷移和數(shù)據(jù)一致性校驗(yàn);秒級(jí)推送新規(guī)則對(duì)業(yè)務(wù)無影響
StarDB未來的發(fā)展規(guī)劃
另外高新剛在最后分享了一下國產(chǎn)分布式數(shù)據(jù)庫StarDB未來的發(fā)展規(guī)劃是云原生發(fā)展方向,借助于京東云云艦混合云操作系統(tǒng)實(shí)現(xiàn)跨云部署,可同時(shí)兼容私有云、公有云、混合云都多種場景架構(gòu)。以金融級(jí)分布式為基石,深耕京東內(nèi)部業(yè)務(wù)場景和外部金融數(shù)字化轉(zhuǎn)型場景,未來整體架構(gòu)向支持HTAP 混合負(fù)載方向發(fā)展,后期會(huì)將AI技術(shù)植入StarDB內(nèi)核中去,實(shí)現(xiàn)數(shù)據(jù)庫引擎的智能化,從長遠(yuǎn)發(fā)展看,StarDB最終將成為超融合數(shù)據(jù)庫,實(shí)現(xiàn)全業(yè)態(tài)數(shù)據(jù)庫場景的支持。
京東科技云原生數(shù)據(jù)庫建設(shè)實(shí)踐
伴隨云計(jì)算的滾滾浪潮,云原生(CloudNative)的概念應(yīng)運(yùn)而生,基于容器編排技術(shù)的Kubernetes,已然成為業(yè)界事實(shí)標(biāo)準(zhǔn),以Kubernetes為代表的云原生的管理平臺(tái)越來越受到技術(shù)領(lǐng)域的重視。京東科技基于Kubernetes構(gòu)建了云原生數(shù)據(jù)庫管理平臺(tái),覆蓋了公有云、私有云、混合云等場景,提供了多租戶、自動(dòng)故障轉(zhuǎn)移、彈性擴(kuò)容、數(shù)據(jù)備份恢復(fù)等能力。
本次大會(huì),京東科技向安杰分享了基于Kubernetes的云數(shù)據(jù)庫管理平臺(tái)的總體架構(gòu)和實(shí)現(xiàn)。隨著Kubernetes 技術(shù)的興起,大量的應(yīng)用在往Kubernetes 遷移,技術(shù)方案也在不斷的往云原生方向演進(jìn),早期的Kubernetes主要解決無狀態(tài)服務(wù)應(yīng)用的部署問題,對(duì)于有狀態(tài)服務(wù),由于服務(wù)自身的復(fù)雜性,容器化過程會(huì)面臨諸多挑戰(zhàn)。MySQL 作為業(yè)界最受歡迎的數(shù)據(jù)庫之一,是一個(gè)非常典型的有狀態(tài)服務(wù);京東科技數(shù)據(jù)庫團(tuán)隊(duì)通過不斷的摸索和實(shí)踐,實(shí)現(xiàn)在Kubernetes 上提供云原生的 MySQL 服務(wù),當(dāng)前此服務(wù)具備了以下特性:1. 部署以及運(yùn)維標(biāo)準(zhǔn)便捷,從而滿足公有云、私有云、混合云等場景下的快速交付;2. 彈性伸縮能力,數(shù)據(jù)庫服務(wù)及其管理服務(wù)的平滑升級(jí)、擴(kuò)縮容;3. 故障自愈能力,保證了服務(wù)高可用,數(shù)據(jù)高可靠;4. 豐富的管控能力,提供了包括但不限于:備份、恢復(fù)、遷移、參數(shù)配置變更等功能。除此之外,京東科技云數(shù)據(jù)庫團(tuán)隊(duì)還提供了PostgreSQL、ClickHouse、TiDB、MongoDB、DTS等數(shù)據(jù)庫云原生服務(wù)組件,可實(shí)現(xiàn)一鍵部署、分鐘級(jí)啟動(dòng)生產(chǎn)環(huán)境集群,并具備彈性伸縮、自動(dòng)故障轉(zhuǎn)移、數(shù)據(jù)庫管理等完備的功能,未來京東科技將基于京東云云艦混合云操作系統(tǒng)提供更多的云原生數(shù)據(jù)庫服務(wù)。
2025-05-22 13:40
2025-05-22 13:34
2025-05-22 13:33
2025-05-22 13:32
2025-05-22 13:32
2025-05-22 13:31
2025-05-22 13:31
2025-05-22 13:29
2025-05-22 13:29
2025-05-22 13:25