弁言
風(fēng)電企業(yè)生產(chǎn)數(shù)據(jù)有其自身的特點，重要是風(fēng)機(jī)回傳的傳感器數(shù)據(jù)，其吻合典型機(jī)器大數(shù)據(jù)的特點，詳細(xì)而言：(1)體量大。假設(shè)每臺風(fēng)機(jī)每秒回傳500個數(shù)據(jù)點，那么1臺風(fēng)機(jī)1年產(chǎn)生的數(shù)據(jù)為60GB。按1萬臺風(fēng)機(jī)估算，1年產(chǎn)生的數(shù)據(jù)若不壓縮也許900TB。針對風(fēng)電企業(yè)PB級別的生產(chǎn)數(shù)據(jù)，必要低成本可擴(kuò)展的大數(shù)據(jù)平臺架構(gòu)來存儲數(shù)據(jù)。當(dāng)數(shù)據(jù)賡續(xù)增多的時候，包括將來增長傳感器的屬性，可以通過增長節(jié)點和本地存儲實現(xiàn)水平擴(kuò)展。(2)速率高。針對風(fēng)機(jī)回傳的時間序列數(shù)據(jù)而言，每臺風(fēng)機(jī)每秒回傳500個數(shù)據(jù)點，1萬臺風(fēng)機(jī)向數(shù)據(jù)中間回傳的數(shù)據(jù)率為650萬點/秒。針對風(fēng)電企業(yè)回傳數(shù)據(jù)的特點，假如把這些數(shù)據(jù)加載到關(guān)系數(shù)據(jù)庫，根據(jù)這一數(shù)據(jù)庫的產(chǎn)生速率，無論是批量導(dǎo)入照舊實時插入，遠(yuǎn)超過商用的通用數(shù)據(jù)庫的加載速率。因此，必要定制數(shù)據(jù)存儲和查詢平臺，支撐每秒萬萬數(shù)據(jù)點的導(dǎo)入。(3)格式特定。首先，風(fēng)電企業(yè)的重要動態(tài)數(shù)據(jù)為風(fēng)機(jī)產(chǎn)生的時間序列數(shù)據(jù)。其次，因為風(fēng)機(jī)型號和出場時間的差異，風(fēng)電企業(yè)回傳的機(jī)器大數(shù)據(jù)格式多樣。基于風(fēng)電大數(shù)據(jù)的這些特點，加之對風(fēng)電數(shù)據(jù)的實時分析、查詢和存儲區(qū)必要大量計算資源，為了填補物理設(shè)備的不足，建議采用云平臺架構(gòu)。
本文細(xì)致介紹了基于云平臺的風(fēng)電大數(shù)據(jù)體系搭建策略，通過分析風(fēng)電企業(yè)數(shù)據(jù)資源特點(體量大、速率高、格式特定)制訂平臺架構(gòu)和部署體例。平臺采用成熟的商業(yè)hadoop軟件加私有云的架構(gòu)體例，包括：平臺基礎(chǔ)層、平臺服務(wù)層、平臺應(yīng)用層，分別提供數(shù)據(jù)預(yù)處理、存儲、安全、共享等服務(wù)。通過云平臺可節(jié)省投資、實現(xiàn)快速部署，平臺安全穩(wěn)固不受物理設(shè)備存儲計算容量的限定，可實現(xiàn)計算資源的快速橫向擴(kuò)展，為風(fēng)電企業(yè)實現(xiàn)大數(shù)據(jù)平臺建設(shè)提供了新的思路與想法。
平臺技術(shù)架構(gòu)
1.大數(shù)據(jù)云平臺技術(shù)架構(gòu)
大數(shù)據(jù)的基礎(chǔ)設(shè)施采用云資源架構(gòu);大數(shù)據(jù)平臺重要基于hadoop技術(shù)提供大數(shù)據(jù)分析計算功能;大數(shù)據(jù)應(yīng)用服務(wù)基于大數(shù)據(jù)云平臺搭建，同時又通過應(yīng)用服務(wù)總線提供大數(shù)據(jù)應(yīng)用服務(wù)。如圖1所示。
基礎(chǔ)云平臺，由假造化調(diào)度管理體系、服務(wù)器、存儲和網(wǎng)絡(luò)設(shè)備同一構(gòu)成，對外提供計算、存儲、網(wǎng)絡(luò)等基礎(chǔ)資源功能。大數(shù)據(jù)平臺層，重要是實現(xiàn)PB級數(shù)據(jù)存取和快速計算分析功能，實現(xiàn)分布式的文件體系、實時數(shù)據(jù)庫，分布式數(shù)據(jù)庫等不同級別的存儲區(qū)域;同時實現(xiàn)流計算、內(nèi)存計算、分布式并行計算等多種計算引擎，且集成通用的發(fā)掘算法和發(fā)掘工具，便于應(yīng)用營業(yè)進(jìn)行發(fā)掘分析處理。應(yīng)用開發(fā)服務(wù)平臺基于J2EE技術(shù)路線，采用SOA、模塊化和構(gòu)件化架構(gòu)，平臺總體架構(gòu)分為4層：模塊化引擎、基礎(chǔ)組件、核心組件、展示組件。
2.云支持平臺
整個云支持平臺體系結(jié)構(gòu)如圖2所示。云平臺由一個運營管理平臺和一個或多個資源池體系組成。物理設(shè)備重要包括X86服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備，為IaaS服務(wù)提供最底層的物理資源。在假造化層是通過假造化軟件(如VMwareESXi、CitrixXenServer或KVM)對物理層的硬件設(shè)施進(jìn)行假造化處理，形成Hypervisor假造層面的資源池體系。采用假造化軟件將物理設(shè)備資源形成一個或多個假造出來的資源池，提供計算能力、網(wǎng)絡(luò)功能和存儲能力。該資源池體系可提供用戶傳統(tǒng)使用基礎(chǔ)IT資源、計算能力、網(wǎng)絡(luò)功能和存儲能力。該資源池體系可根據(jù)必要動態(tài)改變資源分配的規(guī)模，快速適應(yīng)不同應(yīng)用的擴(kuò)容需求，實現(xiàn)“彈性”資源的分配能力。
管理體系是通過云管理平臺來實現(xiàn)資源同一管理和營業(yè)同一管控的主動化體系。云管理平臺作為資源管理體系，重要是管理資源池體系及資源池體系中的各種資源的調(diào)度、分配和調(diào)整。
魯公網(wǎng)安備 37142202000788號
