城市軌道交通（以下簡(jiǎn)稱“城軌”）作為大中城市公共交通的主動(dòng)脈，每天客流量高達(dá)幾百萬(wàn)人次，且客流量還在不斷上升，這對(duì)各城市的軌道交通公司的運(yùn)維能力提出了較高的要求：一方面，要保障的線路安全可靠運(yùn)行，避免發(fā)生安全事故；另一方面，要優(yōu)化維修計(jì)劃，將“計(jì)劃修”轉(zhuǎn)變?yōu)?ldquo;狀態(tài)修”，從而減少車輛維修時(shí)間，降低維修成本。因此，需要采用一種智能化的城軌車輛運(yùn)維方案，實(shí)現(xiàn)對(duì)城軌列車關(guān)鍵系統(tǒng)和部件運(yùn)行狀態(tài)的實(shí)時(shí)監(jiān)測(cè)，并依托大數(shù)據(jù)、人工智能等技術(shù)，結(jié)合車輛運(yùn)行和檢修數(shù)據(jù)進(jìn)行分析挖掘，診斷并預(yù)測(cè)設(shè)備的健康狀態(tài)，從而保障的車輛安全性和可靠性，即建立城軌車輛智能運(yùn)維系統(tǒng)。
中國(guó)中車股份有限公司（英語(yǔ)：CRRC Corporation Limited，縮寫(xiě)：CRRC），簡(jiǎn)稱中國(guó)中車，是中國(guó)一家從事鐵路機(jī)車、鐵路車輛、動(dòng)車組、地鐵及其零部件的研發(fā)、制造、廠修及 IGBT、公車等周邊產(chǎn)業(yè)的大型中央企業(yè)，是全球最大的軌道交通設(shè)備制造商和解決方案供應(yīng)商。
基于IoTDB時(shí)序數(shù)據(jù)庫(kù)的特點(diǎn)和優(yōu)勢(shì)和其在城軌車輛智能運(yùn)維系統(tǒng)構(gòu)建中的適用性，中國(guó)中車選擇 IoTDB 作為城軌車輛智能運(yùn)維系統(tǒng)的核心部分，設(shè)計(jì)了一種輕量化的系統(tǒng)架構(gòu)，有效提高了存儲(chǔ)空間利用率和數(shù)據(jù)檢索效率。
1.業(yè)務(wù)需求痛點(diǎn)
城軌車輛智能運(yùn)維系統(tǒng)需要實(shí)現(xiàn)從數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)分析、數(shù)據(jù)展示的全流程、全功能的覆蓋。流轉(zhuǎn)于系統(tǒng)內(nèi)的數(shù)據(jù)具有變量多、周期短、變化小、時(shí)效性強(qiáng)等特點(diǎn)，因此對(duì)系統(tǒng)中各功能模塊的性能提出了較高要求。
1.1 毫秒級(jí)實(shí)時(shí)數(shù)據(jù)接收
城軌車輛上安裝的數(shù)據(jù)采集和發(fā)送裝置可實(shí)時(shí)采集和發(fā)送車輛的運(yùn)行狀態(tài)數(shù)據(jù)和故障數(shù)據(jù)。城軌車輛智能運(yùn)維系統(tǒng)可實(shí)時(shí)獲取列車信息。系統(tǒng)需在一個(gè)周期（一般為毫秒級(jí)）內(nèi)完成對(duì)所有車輛發(fā)送的當(dāng)前周期內(nèi)數(shù)據(jù)的校驗(yàn)和存儲(chǔ)操作。
1.2 TB級(jí)數(shù)據(jù)存儲(chǔ)
城軌車輛智能運(yùn)維系統(tǒng)所需數(shù)據(jù)存儲(chǔ)空間大。一條城軌線路的列車數(shù)量一般在20列以上，每列列車上各子系統(tǒng)的傳感器數(shù)量可達(dá)上萬(wàn)個(gè)，需回傳至地面系統(tǒng)的變量一般為3000～5000個(gè)左右，每個(gè)變量至少需14字節(jié)（標(biāo)識(shí)符占4字節(jié)，時(shí)間戳占6字節(jié)，值占4字節(jié)）。按照500ms的發(fā)送周期，及最小的列車數(shù)量、變量數(shù)、字節(jié)數(shù)計(jì)算，城軌車輛智能運(yùn)維系統(tǒng)覆蓋一條線路時(shí)一年所需的存儲(chǔ)空間為52980480000000字節(jié)，約為48.19TB。當(dāng)覆蓋的線路增多時(shí)，數(shù)據(jù)量將會(huì)呈線性增長(zhǎng)。
1.3 實(shí)時(shí)監(jiān)控
城軌車輛智能運(yùn)維系統(tǒng)需實(shí)現(xiàn)城軌列車運(yùn)行狀態(tài)的實(shí)時(shí)監(jiān)控，這就要求系統(tǒng)必須在一個(gè)數(shù)據(jù)接收周期內(nèi)將所有變量當(dāng)前的最新值更新至顯示前端。同時(shí)，系統(tǒng)還應(yīng)提供對(duì)歷史數(shù)據(jù)的查詢和展示功能，即將一段時(shí)間范圍內(nèi)的數(shù)據(jù)以美觀、易理解的圖表形式向用戶展示出來(lái)，并在用戶可接受的時(shí)間內(nèi)返回結(jié)果。
1.4 便捷計(jì)算統(tǒng)計(jì)
城軌車輛智能運(yùn)維系統(tǒng)所接收的數(shù)據(jù)中，有些需要先進(jìn)行計(jì)算、換算或者統(tǒng)計(jì)，然后再進(jìn)行展示，并希望無(wú)需編寫(xiě)復(fù)雜的 SQL 語(yǔ)句就能實(shí)現(xiàn)計(jì)算功能。例如：通過(guò)電流值和電壓值計(jì)算功率值、換算載荷值的單位，統(tǒng)計(jì)牽引能耗在某小時(shí)、某天、某月內(nèi)的最大值、最小值、平均值、累計(jì)值等。
2.數(shù)據(jù)庫(kù)選型
目前，城軌車輛智能運(yùn)維系統(tǒng)大多以關(guān)系型或非關(guān)系型數(shù)據(jù)庫(kù)作為其數(shù)據(jù)存儲(chǔ)的核心架構(gòu)。這種數(shù)據(jù)庫(kù)雖然實(shí)現(xiàn)了時(shí)序數(shù)據(jù)的存儲(chǔ)需求，但寫(xiě)入和查詢性能較差，且在數(shù)據(jù)壓縮、數(shù)據(jù)展示等方面功能不夠完善。為解決需求痛點(diǎn)，中車使用時(shí)序數(shù)據(jù)庫(kù) IoTDB 作為城軌車輛智能運(yùn)維系統(tǒng)的核心部分，應(yīng)用于對(duì)城軌車輛實(shí)時(shí)數(shù)據(jù)的采集、存儲(chǔ)和展示。城軌車輛智能運(yùn)維系統(tǒng)之所以以 IoTDB 時(shí)序數(shù)據(jù)庫(kù)為核心進(jìn)行構(gòu)建，原因?yàn)橄率鰩讉€(gè) IoTDB 的技術(shù)、性能和功能優(yōu)勢(shì)。
2.1 IoTDB應(yīng)用架構(gòu)體系
IoTDB 由多個(gè)組件構(gòu)成，涵蓋數(shù)據(jù)收集、數(shù)據(jù)寫(xiě)入、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)查詢、數(shù)據(jù)分析、數(shù)據(jù)可視化等多個(gè)功能。IoTDB應(yīng)用架構(gòu)如下圖所示。IoTDB 通過(guò) JDBC（Java 數(shù)據(jù)庫(kù)連接）驅(qū)動(dòng)，廣泛地支持多種異構(gòu)數(shù)據(jù)源的接入，包括設(shè)備數(shù)據(jù)、系統(tǒng)狀態(tài)數(shù)據(jù)、消息隊(duì)列數(shù)據(jù)、應(yīng)用數(shù)據(jù)以及其他數(shù)據(jù)庫(kù)中的數(shù)據(jù)等。用戶通過(guò)命令行客戶端交互工具能夠?qū)?shù)據(jù)庫(kù)進(jìn)行寫(xiě)入和查詢操作，也可以通過(guò) Grafana 監(jiān)控工具以圖形化方式查看數(shù)據(jù)變化趨勢(shì)。TsFile 是一種專門為時(shí)間序列數(shù)據(jù)而設(shè)計(jì)的存儲(chǔ)格式，支持高效的壓縮和查詢能力，是 IoTDB 的核心組成部分。對(duì)于寫(xiě)入 TsFile 文件中的數(shù)據(jù)，可以通過(guò) TsFileSync 同步工具將文件同步至 HDFS（Hadoop分布式文件系統(tǒng)）中，進(jìn)而實(shí)現(xiàn)在 Hadoop 或 Spark 等開(kāi)源平臺(tái)上進(jìn)行時(shí)序數(shù)據(jù)的處理和分析。
2.2 技術(shù)優(yōu)勢(shì)
2.2.1 高效存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)
對(duì)實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)存儲(chǔ)是時(shí)序數(shù)據(jù)庫(kù)最基礎(chǔ)、最核心的功能。下圖展示了 IoTDB 的路徑層級(jí)示例。通過(guò)“路徑+時(shí)間范圍”的組合，可以唯一確定 IoTDB 中的時(shí)序數(shù)據(jù)。此外，采用路徑的層級(jí)設(shè)計(jì)，可以實(shí)現(xiàn)通過(guò)路徑劃分不同的存儲(chǔ)空間，屬于同一路徑層級(jí)的數(shù)據(jù)能夠存儲(chǔ)在連續(xù)的磁盤(pán)空間上，避免了頻繁的I/O(輸入/輸出)切換，并且隔離了不同的時(shí)序數(shù)據(jù)。
2.2.2 一寫(xiě)多讀根據(jù)數(shù)據(jù)量靈活擴(kuò)展
IoTDB支持“一寫(xiě)多讀”的部署模式，即一個(gè)系統(tǒng)內(nèi)可以部署多套 IoTDB。通過(guò)寫(xiě)入節(jié)點(diǎn)負(fù)責(zé)寫(xiě)入、查詢負(fù)載，多個(gè)查詢節(jié)點(diǎn)負(fù)責(zé)歷史數(shù)據(jù)的查詢負(fù)載，IoTDB 有效均衡了寫(xiě)入和查詢工作量，避免兩種操作對(duì)磁盤(pán)、網(wǎng)絡(luò)的相互影響。隨著數(shù)據(jù)量的不斷增加，只需擴(kuò)展查詢節(jié)點(diǎn)的硬件設(shè)備，無(wú)需中斷系統(tǒng)的正常運(yùn)行。此外，IoTDB 基于 Raft 協(xié)議實(shí)現(xiàn)了一種分布式框架，將數(shù)據(jù)按時(shí)間序列組進(jìn)行分區(qū)，以多副本的方式實(shí)現(xiàn)數(shù)據(jù)的可靠存儲(chǔ)，并通過(guò)共識(shí)協(xié)議保證數(shù)據(jù)的強(qiáng)一致性。
2.3 性能優(yōu)勢(shì)
2.3.1 高頻數(shù)據(jù)寫(xiě)入和查詢
IoTDB對(duì)時(shí)序數(shù)據(jù)的處理具有天然的優(yōu)勢(shì)，能夠?qū)崿F(xiàn)每秒數(shù)百萬(wàn)數(shù)據(jù)點(diǎn)寫(xiě)入和查詢的能力。中國(guó)中車通過(guò)模擬城軌車輛運(yùn)行狀態(tài)數(shù)據(jù)，對(duì) IoTDB-v0.11.2進(jìn)行了寫(xiě)入和查詢性能測(cè)試，測(cè)試結(jié)果匯總于表1和表2中。根據(jù)測(cè)試結(jié)果可以看出，IoTDB 能夠有效支撐線網(wǎng)級(jí)城軌車輛智能運(yùn)維系統(tǒng)的寫(xiě)入和查詢性能需求。
2.3.2 多種歷史數(shù)據(jù)壓縮方式節(jié)省成本
利用 IoTDB 的歷史數(shù)據(jù)壓縮能力可以有效減少城軌車輛智能運(yùn)維系統(tǒng)歷史數(shù)據(jù)的數(shù)據(jù)量，節(jié)省存儲(chǔ)介質(zhì)成本。歷史數(shù)據(jù)壓縮是利用各種算法縮小歷史數(shù)據(jù)的冗余部分，同時(shí)盡量減少或避免數(shù)據(jù)失真。歷史數(shù)據(jù)的壓縮方式一般分為有損壓縮、無(wú)損壓縮和二級(jí)壓縮三種。有損壓縮能夠?qū)崿F(xiàn)較高的壓縮比，但會(huì)導(dǎo)致數(shù)據(jù)精度下降；無(wú)損壓縮不會(huì)降低原數(shù)據(jù)的精度，但要在壓縮率、壓縮速度和解壓速度三者之間進(jìn)行權(quán)衡；二級(jí)壓縮則是結(jié)合了上述兩種壓縮方式的優(yōu)點(diǎn)，即先對(duì)數(shù)據(jù)進(jìn)行第一級(jí)有損壓縮，再使用無(wú)損壓縮算法進(jìn)行第二級(jí)壓縮。此外，壓縮算法的效果還依賴于數(shù)據(jù)本身，數(shù)據(jù)變化越小、精度要求越低，則壓縮效果越好。
2.4 功能優(yōu)勢(shì)
2.4.1 支持異常數(shù)據(jù)處理場(chǎng)景
由于網(wǎng)絡(luò)延遲、軟件性能、設(shè)備故障等原因不可避免地會(huì)出現(xiàn)數(shù)據(jù)無(wú)序到達(dá)、產(chǎn)生錯(cuò)誤數(shù)據(jù)和重復(fù)數(shù)據(jù)等異常情況。IoTDB 能夠支持?jǐn)?shù)據(jù)異常情況下的工業(yè)應(yīng)用場(chǎng)景，包括時(shí)間序列數(shù)據(jù)的亂序?qū)懭搿r(shí)間序列數(shù)據(jù)的批量更新，以及對(duì)無(wú)效、無(wú)用時(shí)間序列數(shù)據(jù)的清理刪除。
2.4.2 數(shù)據(jù)降采樣提升查詢響應(yīng)速度
數(shù)據(jù)降采樣是指數(shù)據(jù)庫(kù)對(duì)查詢到的結(jié)果集按照一定規(guī)則進(jìn)行重新篩選，使篩選后的數(shù)據(jù)量小于原始數(shù)據(jù)量，且又不影響數(shù)據(jù)查詢者的應(yīng)用需求。IoTDB 通過(guò)聚合操作實(shí)現(xiàn)數(shù)據(jù)的降采樣功能，既能保證圖表的準(zhǔn)確性，也能有效減少數(shù)據(jù)傳輸量，提高響應(yīng)速度，不出現(xiàn)如數(shù)據(jù)點(diǎn)過(guò)于密集導(dǎo)致影響整體展示效果。
2.4.3 多種操作提升預(yù)處理效果
城軌車輛上的子系統(tǒng)、設(shè)備、傳感器種類繁多，各自具有不同的采樣頻率，在進(jìn)行數(shù)據(jù)分析之前，需要對(duì)時(shí)序數(shù)據(jù)進(jìn)行預(yù)處理。IoTDB 支持多種基于時(shí)間序列維度的數(shù)據(jù)操作，如按照時(shí)間戳進(jìn)行數(shù)據(jù)對(duì)齊、按時(shí)間戳進(jìn)行時(shí)序數(shù)據(jù)分割等，有效減少了數(shù)據(jù)預(yù)處理的難度和復(fù)雜度。
2.4.4 可自定義計(jì)算方式及保存計(jì)算結(jié)果
相比于關(guān)系型數(shù)據(jù)庫(kù)，IoTDB 時(shí)序數(shù)據(jù)庫(kù)能夠提供更為強(qiáng)大的計(jì)算能力。通過(guò) IoTDB 內(nèi)置的統(tǒng)計(jì)分析計(jì)算函數(shù)，可以根據(jù)時(shí)序數(shù)據(jù)的時(shí)間戳進(jìn)行基于時(shí)間斷面的計(jì)算、基于年月日的統(tǒng)計(jì)計(jì)算等。結(jié)合各類函數(shù)和自定義的計(jì)算公式，能夠?qū)崿F(xiàn)對(duì)原始數(shù)據(jù)進(jìn)行復(fù)雜計(jì)算，計(jì)算結(jié)果可保存在 IoTDB 中，也可用于再次計(jì)算。
2.4.5 兼容大數(shù)據(jù)分析工具
基于大數(shù)據(jù)技術(shù)和Hadoop生態(tài)軟件進(jìn)行城軌列車運(yùn)維數(shù)據(jù)分析是當(dāng)前的一個(gè)熱門課題。IoTDB 能夠完美對(duì)接Hadoop生態(tài)中的各種軟件，配合 Ha-doop 提供的分布式計(jì)算、存儲(chǔ)機(jī)制，可提高城軌車輛智能運(yùn)維系統(tǒng)在大數(shù)據(jù)管理和分析方面的運(yùn)行效率和處理能力。此外，IoTDB 還可以對(duì)接 Spark 實(shí)時(shí)計(jì)算引擎，提供一種輕量級(jí)的數(shù)據(jù)分析解決方案，降低硬件資源部署量。
2.4.6 提供可視化工具展示數(shù)據(jù)
存入 IoTDB 的時(shí)序數(shù)據(jù)可通過(guò)可視化工具進(jìn)行展示，便于城軌車輛智能運(yùn)維系統(tǒng)的用戶對(duì)進(jìn)入系統(tǒng)的原始數(shù)據(jù)進(jìn)行觀察和分析。Grafana 是一款開(kāi)源的度量分析和可視化工具，具有數(shù)據(jù)監(jiān)控、數(shù)據(jù)統(tǒng)計(jì)和告警等功能。通過(guò)開(kāi)發(fā) IoTDB-Grafana 適配器，用戶可利用 Grafana 的 Web 頁(yè)面以可視化圖表的方式直接查看IoTDB中的數(shù)據(jù)并進(jìn)行分析，也可以在 Grafana 上進(jìn)行一些數(shù)據(jù)探索工作。
3.解決方案架構(gòu)
城軌車輛智能運(yùn)維系統(tǒng)以保障城軌車輛運(yùn)行安全、提高車輛檢修質(zhì)量、提升運(yùn)營(yíng)管理整體效能為目標(biāo)，結(jié)合物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等技術(shù)，實(shí)現(xiàn)對(duì)列車運(yùn)行過(guò)程的全息感知和實(shí)時(shí)監(jiān)控，有效輔助管理人員進(jìn)行科學(xué)決策。
基于IoTDB時(shí)序數(shù)據(jù)庫(kù)構(gòu)建城軌車輛智能運(yùn)維系統(tǒng)，其總體架構(gòu)如上圖所示，共分為3層，包括數(shù)據(jù)源層、數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)應(yīng)用層。該設(shè)計(jì)以 IoTDB 時(shí)序數(shù)據(jù)庫(kù)代替了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)和 NoSQL 數(shù)據(jù)庫(kù)，顯著提高了對(duì)城軌列車時(shí)序數(shù)據(jù)的寫(xiě)入和查詢效率，且能夠滿足數(shù)據(jù)量持續(xù)增長(zhǎng)的需求。
3.1數(shù)據(jù)源層
數(shù)據(jù)源層覆蓋所有城軌列車，列車上不同子系統(tǒng)、不同設(shè)備上的傳感器產(chǎn)生的數(shù)據(jù)。這些數(shù)據(jù)按照特定發(fā)送周期，通過(guò)無(wú)線傳輸模塊以 TCP、MQTT 等協(xié)議發(fā)送至城軌運(yùn)營(yíng)公司的數(shù)據(jù)中心。
3.2 數(shù)據(jù)存儲(chǔ)層
數(shù)據(jù)存儲(chǔ)層主要由IoTDB時(shí)序數(shù)據(jù)庫(kù)和Kafka消息隊(duì)列組成。數(shù)據(jù)源層發(fā)來(lái)的時(shí)序數(shù)據(jù)首先進(jìn)入Kafka消息隊(duì)列進(jìn)行緩存，按照一定的規(guī)則或算法進(jìn)入不同的 Topic 和 Partition。這樣既能分擔(dān)寫(xiě)入任務(wù)的負(fù)載，也能通過(guò)Kafka的副本機(jī)制，確保接收到的數(shù)據(jù)不會(huì)丟失。IoTDB－JDBC接口從 Kafka 的消費(fèi)者端接收列車的實(shí)時(shí)數(shù)據(jù)，并存入寫(xiě)入節(jié)點(diǎn)的實(shí)時(shí)數(shù)據(jù) TsFile 文件中。
隨著數(shù)據(jù)量的不斷擴(kuò)大，當(dāng)單個(gè) IoTDB 節(jié)點(diǎn)的存儲(chǔ)能力無(wú)法支撐數(shù)據(jù)存儲(chǔ)時(shí)，可采用橫向擴(kuò)展的方式再部署一個(gè)或多個(gè) IoTDB 查詢節(jié)點(diǎn)，并設(shè)置為只讀模式。在“一寫(xiě)多讀”方式下，為避免單點(diǎn)故障，實(shí)現(xiàn)高可用，將寫(xiě)入節(jié)點(diǎn)配置為主備模式，通過(guò) IoTDB 自身的同步機(jī)制實(shí)現(xiàn)數(shù)據(jù)同步。
IoTDB 處理過(guò)的實(shí)時(shí)數(shù)據(jù)為監(jiān)視控制類應(yīng)用提供支撐，歷史數(shù)據(jù)為數(shù)據(jù)分析和挖掘類應(yīng)用提供訓(xùn)練和測(cè)試樣本。由于采用了數(shù)據(jù)壓縮技術(shù)，歷史數(shù)據(jù)所占用的存儲(chǔ)空間能夠得到有效控制。
3.3 數(shù)據(jù)應(yīng)用層
數(shù)據(jù)應(yīng)用層是系統(tǒng)對(duì)外輸出能力的展現(xiàn)，提供如車輛運(yùn)行狀態(tài)監(jiān)控、故障報(bào)警、設(shè)備健康管理、維修信息管理、報(bào)表生成等多種應(yīng)用。城軌運(yùn)營(yíng)公司基于這些應(yīng)用，可實(shí)現(xiàn)智能化管理，減少人力成本，提升城軌交通服務(wù)水平。
4.總結(jié)
在 IoTDB 的助力下，城軌車輛智能運(yùn)維系統(tǒng)可以充分發(fā)揮其處理城軌列車時(shí)序數(shù)據(jù)的天然優(yōu)勢(shì)，同時(shí)又可以無(wú)縫對(duì)接大數(shù)據(jù)管理分析平臺(tái)，具有高性能、高可靠性和高易用性等特點(diǎn)。未來(lái)，本案例給出的輕量化系統(tǒng)架構(gòu)設(shè)計(jì)，可為城軌車輛智能運(yùn)維系統(tǒng)的后續(xù)開(kāi)發(fā)提供參考和借鑒。IoTDB 會(huì)繼續(xù)支持中國(guó)中車對(duì)于時(shí)序數(shù)據(jù)的處理及分析需求，以更加豐富的功能幫助城軌車輛智能運(yùn)維系統(tǒng)實(shí)現(xiàn)優(yōu)化。
本文整理自：IoTDB 物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)在城市軌道交通車輛智能運(yùn)維系統(tǒng)中的應(yīng)用, 城市軌道交通研究,2021原論文作者：姜仕軍;徐曉晨;徐燕芬;杜廣林
