與黑洞相關的大數(shù)據(jù)
泛在電力物聯(lián)網(wǎng)廣泛應用大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等信息技術和智能技術,是數(shù)字革命在能源電力領域迅速發(fā)展的必然產(chǎn)物。人們的生活、工作、學習中到處都是海量數(shù)據(jù),無處不在的數(shù)據(jù)正發(fā)揮著巨大的能量,成為社會進步的重要驅動力。更多的數(shù)據(jù)應用和價值等待我們去探索。
北京時間4月10日晚,由全世界200多位科學家合作完成的重大天文學成果——人類首張黑洞照片,在全球多地同步發(fā)布。你知道嗎?這張黑洞照片是由天文望遠鏡獲得的大數(shù)據(jù)合成而來。
分布在全球各地的許多天文望遠鏡在同一時間“按下快門”,記錄無線電數(shù)據(jù)。天文望遠鏡獲取的數(shù)據(jù)量非常大,一晚上就能收集到2PB(PB為十億兆級)。如此龐大的數(shù)據(jù)難以用網(wǎng)絡傳輸,必須裝到硬盤里,而這些儲存數(shù)據(jù)的硬盤足足有半噸重。之后,依靠機器學習算法,科學家們把數(shù)據(jù)拼到一起,構建出黑洞圖像。
大數(shù)據(jù)時代
隨著移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術的發(fā)展,數(shù)據(jù)正在以超出人們想象的速度快速增長。根據(jù)國際數(shù)據(jù)公司(IDC)統(tǒng)計,2014年全球數(shù)據(jù)總量為8ZB(1ZB=1021B),預計2020年將達到44ZB。同期,我國數(shù)據(jù)總量為909EB(1EB=1018B,萬億兆級),占全球數(shù)據(jù)總量的13%;預計到2020年,我國數(shù)據(jù)量將達到8060EB,占全球數(shù)據(jù)總量的18%。毫無疑問,我們已身處大數(shù)據(jù)時代。
在小數(shù)據(jù)時代,受限于信息獲取和處理能力,只能隨機抽樣。而在大數(shù)據(jù)時代,信息獲取成本大大降低,信息獲取效率成倍提高,信息處理能力得到增強,原先被忽略的細節(jié)更容易被察覺到,不必考慮抽樣的科學性,分析結果將更加準確。大數(shù)據(jù)時代改變了認識世界的方式,即尋找相關關系,而不是因果關系。大數(shù)據(jù)的相關關系分析法更準確更迅速,而且不易受偏見影響。
大數(shù)據(jù)技術體系
廣義大數(shù)據(jù)技術體系包括:存儲層、整合層、計算層、應用層,其中存儲層包括列數(shù)據(jù)庫、鍵值數(shù)據(jù)庫、內存數(shù)據(jù)庫、分布式文件系統(tǒng),整合層包括流數(shù)據(jù)總線、大數(shù)據(jù)連接器、PIG、HIVE,計算層包括并行數(shù)據(jù)處理、流式計算,應用層包括自然語言處理、圖像識別、數(shù)據(jù)挖掘等。
電力大數(shù)據(jù)
隨著智能電網(wǎng)和信息化建設,電力行業(yè)已積累了海量數(shù)據(jù),在數(shù)據(jù)量、多樣性、速度和價值方面具有大數(shù)據(jù)的特征。電力行業(yè)已進入大數(shù)據(jù)時代。電力大數(shù)據(jù)是通過傳感器、智能設備、視頻監(jiān)控設備、音頻通信設備、移動終端等各種數(shù)據(jù)采集渠道收集到的海量結構化、半結構化、非結構化的業(yè)務數(shù)據(jù)集合。
電力大數(shù)據(jù)是電力公司的新型資產(chǎn),將為電力行業(yè)帶來顯著的價值和電力公司的核心競爭力;促進業(yè)務管理向著更精細、更高效的方向發(fā)展。大數(shù)據(jù)技術將推動電力公司信息技術平臺的升級與改造,包括提升數(shù)據(jù)存儲和及時處理的能力;補充在非結構化數(shù)據(jù)分析與利用的能力;增強對海量數(shù)據(jù)資源的價值挖掘能力。
青海新能源
大數(shù)據(jù)創(chuàng)新平臺
國網(wǎng)青海省電力公司以新能源為切入點,2018年1月,建成國內首個數(shù)據(jù)匯集、存儲、服務、運營一體的新能源大數(shù)據(jù)創(chuàng)新平臺。平臺的核心架構包括3個層面。
核心平臺層是開展創(chuàng)新服務的基礎支撐;在網(wǎng)絡資源、計算資源等基礎設施服務的基礎上,提供以物聯(lián)網(wǎng)技術為核心的數(shù)據(jù)采集服務。在物聯(lián)接入部分,平臺的數(shù)據(jù)接入速率可以達到每秒3600條左右,累積接入數(shù)據(jù)已經(jīng)超過53億條,每日接入的數(shù)據(jù)量超過80GB。
服務層面,是創(chuàng)新平臺的基本業(yè)務形態(tài),基于開放的平臺支撐,提供平臺服務4個,應用服務21個。
生態(tài)層面,以海量數(shù)據(jù)和平臺開放能力吸引更多的服務提供方。目前該平臺已經(jīng)聚集了來自全國不同地區(qū)的服務提供團隊13個,接入新能源場站121座。
(本文轉自亮報,如有版權問題,請聯(lián)系小編)