什么叫數(shù)據(jù)中心?維基百科給出的定義是“數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施。它不僅僅包括計(jì)算機(jī)系統(tǒng)和其它與之配套的設(shè)備(例如通信和存儲(chǔ)系統(tǒng))，還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置”。在云大行其道的今天，隨著數(shù)據(jù)中心建設(shè)規(guī)模的不斷擴(kuò)大，新技術(shù)的層出不窮，數(shù)據(jù)中心變得越來越復(fù)雜。大型數(shù)據(jù)中心往往是由很多功能不一的單元系統(tǒng)組成，其運(yùn)維工作需要具備方方面面的知識(shí)，包括硬件、網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、安全以及業(yè)務(wù)上的東西，需要一體化聯(lián)動(dòng)地去做好運(yùn)維工作。

如何做好大型數(shù)據(jù)中心的運(yùn)維

當(dāng)一個(gè)數(shù)據(jù)中心的規(guī)模非常大，其面臨的技術(shù)挑戰(zhàn)和問題也會(huì)比較多，很多在小環(huán)境小體系下不是問題的問題在這樣的規(guī)模下也就凸顯出來了，所以要做好大型數(shù)據(jù)中心的運(yùn)維工作，對(duì)整個(gè)數(shù)據(jù)中心方方面面涉及到的技術(shù)體系都要花費(fèi)較長(zhǎng)時(shí)間來進(jìn)行系統(tǒng)學(xué)習(xí)，只有對(duì)這個(gè)數(shù)據(jù)中心整體非常了解，才能有針對(duì)性地制定一些運(yùn)維方案，自己結(jié)合特定需求進(jìn)行開發(fā)一些監(jiān)控運(yùn)維軟件，對(duì)整個(gè)數(shù)據(jù)中心進(jìn)行高效管理與監(jiān)控，提升整個(gè)數(shù)據(jù)中心的運(yùn)行效率、減少故障的發(fā)生，從而將運(yùn)維工作不斷推向新的高度。

一個(gè)大型的數(shù)據(jù)中心內(nèi)部往往都包含了很多小系統(tǒng)，運(yùn)維工作都是圍繞著這些具體的應(yīng)用系統(tǒng)展開的，具體的可以分為基礎(chǔ)運(yùn)維管理、日常業(yè)務(wù)運(yùn)維、網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、安全六大部分，本文就來說一說一般大型的數(shù)據(jù)中心應(yīng)該具備的哪些運(yùn)維方法和能力。

首先從數(shù)據(jù)中心的基礎(chǔ)運(yùn)維管理方面來說，則主要有硬件配置管理、可維護(hù)性優(yōu)化、監(jiān)控、報(bào)警處理、自動(dòng)化運(yùn)維、斷網(wǎng)，斷電、機(jī)房容災(zāi)等運(yùn)維工作。硬件配置管理包含機(jī)柜里每臺(tái)服務(wù)器的型號(hào)和硬件配置，并清楚是哪些業(yè)務(wù)系統(tǒng)在使用這些服務(wù)器。即便是虛擬化運(yùn)行環(huán)境，也需要知道這些虛機(jī)都在哪些物理機(jī)組成的資源池中流動(dòng)。數(shù)據(jù)中心物理機(jī)和虛機(jī)數(shù)量都很龐大，使用自動(dòng)化運(yùn)維是非常有必要的。自動(dòng)化運(yùn)維不僅能提升運(yùn)維的工作效率，還可以減少人為的參與，同時(shí)讓數(shù)據(jù)中心自己管理自己，釋放人力。并對(duì)數(shù)據(jù)中心可能發(fā)生的故障還做好監(jiān)控與報(bào)警處理，以便能夠在故障發(fā)生的第一時(shí)間知曉問題，往往一次大的故障都是從開始的一點(diǎn)小故障逐漸擴(kuò)展最終引發(fā)整個(gè)大系統(tǒng)的崩潰的，所以在出現(xiàn)一些小的異常時(shí)一定要及時(shí)消除，而這些異常就要靠完善的監(jiān)控和報(bào)警系統(tǒng)來檢測(cè)。

從數(shù)據(jù)中心的日常業(yè)務(wù)運(yùn)維方面考慮，則主要有日常檢查、應(yīng)用變更、軟硬件升級(jí)、突發(fā)故障等。具體來說：1、日常檢查：“千里之堤，潰于蟻穴”。任何的故障在出現(xiàn)之前都可能會(huì)有所表現(xiàn)，小的隱患不消除，可能導(dǎo)致重大的故障出現(xiàn)，所以數(shù)據(jù)中心日常的例行檢查工作枯燥，但也很重要，可以及時(shí)發(fā)現(xiàn)一些運(yùn)行中的隱患。根據(jù)數(shù)據(jù)中心承載業(yè)務(wù)重要性的不同，要對(duì)數(shù)據(jù)中心里的所有運(yùn)行的設(shè)備進(jìn)行例行檢查。檢查服務(wù)器應(yīng)用服務(wù)是否正常，CPU內(nèi)存等利用率是否正常。對(duì)應(yīng)用業(yè)務(wù)進(jìn)行檢查，看業(yè)務(wù)運(yùn)行是否正常。還有對(duì)數(shù)據(jù)中心的機(jī)房環(huán)境也要進(jìn)行檢查，環(huán)境的溫度、濕度、灰塵是否合乎要求�？照{(diào)、供電系統(tǒng)進(jìn)行運(yùn)行良好，設(shè)備運(yùn)行是否過熱，地板、天窗、消防、監(jiān)控都是檢查的部分。空調(diào)漏水、設(shè)備漏電都會(huì)對(duì)數(shù)據(jù)中心正常穩(wěn)定運(yùn)行產(chǎn)生危害，千萬(wàn)不可大意。2、應(yīng)用變更：數(shù)據(jù)中心承載的業(yè)務(wù)不會(huì)是一成不變的，隨著業(yè)務(wù)的多樣化和不斷發(fā)展，經(jīng)常要對(duì)業(yè)務(wù)進(jìn)行調(diào)整，包括服務(wù)器和網(wǎng)絡(luò)的設(shè)置。因此要對(duì)服務(wù)器和網(wǎng)絡(luò)設(shè)備操作很熟悉，主要需要掌握Linux服務(wù)器命令和網(wǎng)絡(luò)協(xié)議。要根據(jù)應(yīng)用的需要，及時(shí)準(zhǔn)確做出變更。3、軟硬件升級(jí)：數(shù)據(jù)中心的設(shè)備一般運(yùn)行周期是五年，不斷地有設(shè)備需要逐漸淘汰進(jìn)行更換，也有一些設(shè)備因?yàn)榇嬖谲浖�缺陷需要升�?jí)，因此軟硬件升級(jí)也是維護(hù)工作的一部分。軟硬件升級(jí)時(shí)需要做好回退機(jī)制，以防升級(jí)出現(xiàn)問題時(shí)無法回退，業(yè)務(wù)長(zhǎng)時(shí)間無法恢復(fù)。當(dāng)接手?jǐn)?shù)據(jù)中心維護(hù)工作就會(huì)發(fā)現(xiàn)，怎么會(huì)有那么多的升級(jí)，幾乎每個(gè)月都要有升級(jí)操作，熬夜升級(jí)工作成了維護(hù)人員的家常便飯。4、突發(fā)故障：沒有任何一個(gè)數(shù)據(jù)中心是不出故障的，在數(shù)據(jù)中心運(yùn)行的過程中都會(huì)出現(xiàn)這樣那樣的問題。對(duì)于突發(fā)故障，高水平的維護(hù)人員可以靜下心來冷靜分析故障的觸發(fā)原因，迅速找到解決的方法，如果在短時(shí)間內(nèi)找不到解決方法，也可以通過切換到備用設(shè)備上先恢復(fù)業(yè)務(wù)，再進(jìn)行分析。這時(shí)擁有高水平的維護(hù)人員對(duì)于一個(gè)數(shù)據(jù)中心至關(guān)重要，在關(guān)鍵時(shí)刻就能派上用場(chǎng)。雖然這些工作看起來有些平常，但千萬(wàn)別小看它們。數(shù)據(jù)中心日常維護(hù)工作實(shí)際上非常重要，關(guān)乎著整個(gè)數(shù)據(jù)中心業(yè)務(wù)的正常運(yùn)行。只有重視數(shù)據(jù)中心的維護(hù)工作，才能給數(shù)據(jù)中心一個(gè)平安。

從數(shù)據(jù)中心網(wǎng)絡(luò)方面考慮，則主要有網(wǎng)絡(luò)硬件設(shè)備、ACL、OSPF、LACP、VIP、協(xié)議分析、流量、負(fù)載均衡、二三四七層情況、網(wǎng)絡(luò)監(jiān)控、萬(wàn)兆板卡、核心交換等。網(wǎng)絡(luò)是數(shù)據(jù)中心的重要組成部分，是一切工作運(yùn)行的基本保證，沒有網(wǎng)絡(luò)數(shù)據(jù)中心就無法運(yùn)轉(zhuǎn)起來，所以保證網(wǎng)絡(luò)穩(wěn)定是數(shù)據(jù)中心運(yùn)維工作中的重中之重。這里不僅要關(guān)注網(wǎng)絡(luò)的硬件問題，還要關(guān)注SDN軟件定義的網(wǎng)絡(luò)。一般傳統(tǒng)IT架構(gòu)中的網(wǎng)絡(luò)，根據(jù)業(yè)務(wù)需求部署上線以后，如果業(yè)務(wù)需求發(fā)生變動(dòng)，重新修改相應(yīng)網(wǎng)絡(luò)設(shè)備(路由器、交換機(jī)、防火墻)上的配置是一件非常繁瑣的事情。而在當(dāng)今互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)瞬息萬(wàn)變的業(yè)務(wù)環(huán)境下，網(wǎng)絡(luò)的高穩(wěn)定與高性能還不足以滿足業(yè)務(wù)需求，靈活性和敏捷性反而更為關(guān)鍵。SDN所做的事是將網(wǎng)絡(luò)設(shè)備上的控制權(quán)分離出來，由集中的控制器管理，無須依賴底層網(wǎng)絡(luò)設(shè)備(路由器、交換機(jī)、防火墻)，屏蔽了來自底層網(wǎng)絡(luò)設(shè)備的差異，而控制權(quán)是完全開放的，用戶可以自定義任何想實(shí)現(xiàn)的網(wǎng)絡(luò)路由和傳輸規(guī)則策略，從而更加靈活和智能。進(jìn)行SDN改造后，無需對(duì)網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)的路由器反復(fù)進(jìn)行配置，網(wǎng)絡(luò)中的設(shè)備本身就是自動(dòng)化連通的。只需要在使用時(shí)定義好簡(jiǎn)單的網(wǎng)絡(luò)規(guī)則即可。如果你不喜歡路由器自身內(nèi)置的協(xié)議，還可以通過編程的方式對(duì)其進(jìn)行修改，以實(shí)現(xiàn)更好的數(shù)據(jù)交換性能。比如百度自研交換機(jī)，可以直接支持SDN的遠(yuǎn)程配置與管理特性，從而實(shí)現(xiàn)上線全自動(dòng)配置。未來，自研交換機(jī)還會(huì)更進(jìn)一步和服務(wù)器自動(dòng)化上線結(jié)合，提升服務(wù)器交付和管理效率。網(wǎng)絡(luò)可以說是包羅萬(wàn)象，涉及太多的設(shè)備和協(xié)議、軟件層技術(shù)，所以也需要不斷地學(xué)習(xí)，加深對(duì)網(wǎng)絡(luò)技術(shù)的理解，這樣才能做好網(wǎng)絡(luò)運(yùn)維工作。

從數(shù)據(jù)中心服務(wù)器方面考慮，則主要有文件系統(tǒng)、內(nèi)核參數(shù)調(diào)優(yōu)、各種硬盤驅(qū)動(dòng)、內(nèi)核版本、Kernel panic等。Linux系統(tǒng)不僅在服務(wù)器，在網(wǎng)絡(luò)操作系統(tǒng)也占據(jù)著主流地位，掌握Linux系統(tǒng)的使用才能更好地處理服務(wù)器和網(wǎng)絡(luò)設(shè)備的運(yùn)維工作，Linux是運(yùn)維工作的一項(xiàng)基本技能。除了熟悉Linux系統(tǒng)的操作，還要對(duì)服務(wù)器的運(yùn)行狀態(tài)和內(nèi)核運(yùn)行狀態(tài)進(jìn)行監(jiān)控與管理，減少服務(wù)器故障的發(fā)生。一般大型的數(shù)據(jù)中心都包含有成千上萬(wàn)臺(tái)的服務(wù)器，幾乎每天都會(huì)有服務(wù)器出現(xiàn)各種各樣的問題，只有對(duì)服務(wù)器有深入理解才能很好地消除問題。為了防止服務(wù)器故障引發(fā)業(yè)務(wù)中斷，所以一般在服務(wù)器上都要部署虛擬化技術(shù)或者集群技術(shù)，當(dāng)一臺(tái)服務(wù)器物理硬件故障時(shí)，業(yè)務(wù)可以平滑切換到其它服務(wù)器上，業(yè)務(wù)不會(huì)受到任何影響。這些虛擬化技術(shù)增加了運(yùn)維的難度，也需要對(duì)虛擬化技術(shù)進(jìn)行不斷深入學(xué)習(xí)。另外數(shù)據(jù)中心服務(wù)器的定制化也是很有意義的一件事。云計(jì)算需要大規(guī)模部署，因此需要服務(wù)器具有更高的部署密度、節(jié)能而且易于管理，但對(duì)于每個(gè)節(jié)點(diǎn)的計(jì)算能力要求并不十分苛刻。而廠商生產(chǎn)的普通意義上的服務(wù)器由于要適應(yīng)多種應(yīng)用，則更多兼顧性能、擴(kuò)展性，忽略了成本和能耗。而如果是專門為云定制的服務(wù)器，會(huì)針對(duì)云的特點(diǎn)進(jìn)行優(yōu)化設(shè)計(jì)，從而更加符合用戶的需要。對(duì)于企業(yè)來說，它帶來的好處顯而易見，試想一下，即使每臺(tái)定制化服務(wù)器節(jié)省的電力有限(4電源改2電源)，但對(duì)于大規(guī)模部署的數(shù)據(jù)中心來說，長(zhǎng)此以往，成本的節(jié)約也是顯而易見的。比如Google所擁有的服務(wù)器都是自己設(shè)計(jì)，采用定制化托盤，內(nèi)建電池做備用電源，相比傳統(tǒng)服務(wù)器成本和耗電都要低得多，這也為Google節(jié)省了大筆的電力開支。

從數(shù)據(jù)中心存儲(chǔ)方面考慮，架構(gòu)更加多樣和復(fù)雜化。在云計(jì)算、虛擬化、大數(shù)據(jù)等相關(guān)技術(shù)進(jìn)入數(shù)據(jù)中心后，存儲(chǔ)已經(jīng)發(fā)生了巨大的改變，塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)支撐起多種數(shù)據(jù)類型的讀取;集中式存儲(chǔ)已經(jīng)不再是數(shù)據(jù)中心的主流存儲(chǔ)架構(gòu)，海量數(shù)據(jù)的存儲(chǔ)訪問，需要擴(kuò)展性、伸縮性極強(qiáng)的分布式存儲(chǔ)架構(gòu)來實(shí)現(xiàn)。在大規(guī)模系統(tǒng)支撐上，分布式文件系統(tǒng)、分布式對(duì)象存儲(chǔ)等技術(shù)，為存儲(chǔ)的各種應(yīng)用提供了高度可伸縮、可擴(kuò)展和極大的彈性支撐和強(qiáng)大的數(shù)據(jù)訪問性能，并且因?yàn)檫@些分布式技術(shù)對(duì)標(biāo)準(zhǔn)化硬件的支持，使得大規(guī)模數(shù)據(jù)中心存儲(chǔ)得以低成本的建設(shè)和運(yùn)維。當(dāng)然分布式存儲(chǔ)不是要取代現(xiàn)有的盤陣，而是為了應(yīng)付高速成長(zhǎng)的數(shù)據(jù)量與帶寬而產(chǎn)生的新形態(tài)存儲(chǔ)系統(tǒng)。另外就是軟件定義存儲(chǔ)，它代表了一種趨勢(shì)，即存儲(chǔ)架構(gòu)中軟件和硬件的分離，也就是數(shù)據(jù)層和控制層的分離。對(duì)于數(shù)據(jù)中心用戶而言，通過軟件來實(shí)現(xiàn)對(duì)存儲(chǔ)資源的管理和調(diào)度，實(shí)現(xiàn)存儲(chǔ)資源的虛擬化 、抽象化、自動(dòng)化，能夠完整的實(shí)現(xiàn)數(shù)據(jù)中心存儲(chǔ)系統(tǒng)的部署、管理、監(jiān)控、調(diào)整等多個(gè)要求，使得存儲(chǔ)系統(tǒng)具備靈活、自由和高可用等特點(diǎn)。企業(yè)及互聯(lián)網(wǎng)數(shù)據(jù)以每年50%的速率在增長(zhǎng)，新增數(shù)據(jù)中結(jié)構(gòu)化數(shù)據(jù)總量有限，多數(shù)為非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)中心存儲(chǔ)架構(gòu)隨著業(yè)務(wù)發(fā)展也需要極強(qiáng)的彈性適應(yīng)能力，低成本、海量擴(kuò)展、高并發(fā)性能是面向大型云數(shù)據(jù)中心運(yùn)營(yíng)存儲(chǔ)架構(gòu)的基本技術(shù)屬性。如何進(jìn)行數(shù)量龐大且雜亂無章的數(shù)據(jù)存儲(chǔ)與深度應(yīng)用處理，并迅速提取有價(jià)值的信息，形成商業(yè)決策將成為各類型企業(yè)生存基礎(chǔ)，也是今后存儲(chǔ)以及圍繞存儲(chǔ)架構(gòu)不斷衍生的業(yè)務(wù)發(fā)展方向。

最后從數(shù)據(jù)中心安全方面來考慮，安全就是若干個(gè)小項(xiàng)：攻擊保護(hù)、升級(jí)備份、抓BUG/找BUG、腳本工具、數(shù)據(jù)安全、服務(wù)巡檢等項(xiàng)目，其中每一項(xiàng)拿出來其實(shí)都包含很多的內(nèi)容。比如說到攻擊與保護(hù)，這個(gè)主要指的是防止外來的異常入侵者對(duì)數(shù)據(jù)中心發(fā)起的惡意和無意攻擊，惡意攻擊就是有人故意的使用各種攻擊方法，進(jìn)入到數(shù)據(jù)中心內(nèi)部，將重要的數(shù)據(jù)竊取或者破壞，達(dá)到其不可告人的目的。也有的是無意的攻擊，因?yàn)檎麄�(gè)數(shù)據(jù)中心是要與外界保持互聯(lián)互通的，運(yùn)行是動(dòng)態(tài)的，變化的，不可避免會(huì)有一些異常流量攻擊數(shù)據(jù)中心，有時(shí)甚至來自于數(shù)據(jù)中心內(nèi)部，比如某些服務(wù)器中毒，或者硬件故障，構(gòu)造出了環(huán)路，異常流量等網(wǎng)絡(luò)故障，這些都會(huì)影響到數(shù)據(jù)中心的運(yùn)行，所以如何做好數(shù)據(jù)中心的攻擊與保護(hù)是一個(gè)很大的題目，這并不是在數(shù)據(jù)中心里部署幾臺(tái)安全設(shè)備就能解決的，需要對(duì)整個(gè)數(shù)據(jù)中心進(jìn)行全面的統(tǒng)一規(guī)劃，并有針對(duì)性地部署一些安全防護(hù)措施，而且隨著各種黑客技術(shù)的提升，安全防護(hù)措施也要不斷提升，這是一個(gè)不斷學(xué)習(xí)與完善的過程，只要數(shù)據(jù)中心還在運(yùn)行，這個(gè)完善就不會(huì)停止。為了方便運(yùn)維，也要做好一些執(zhí)行腳本，以便在出現(xiàn)突發(fā)事件時(shí)，能夠快速處理問題。比如一個(gè)數(shù)據(jù)中心的業(yè)務(wù)出現(xiàn)異常，為了快速恢復(fù)業(yè)務(wù)，需要將路由進(jìn)行調(diào)整，將流量全部引到其它的數(shù)據(jù)中心，這就需要在核心路由器上進(jìn)行調(diào)整，這時(shí)有個(gè)現(xiàn)成的腳本就可以自動(dòng)執(zhí)行，達(dá)到快速切換的目的。數(shù)據(jù)中心還應(yīng)該準(zhǔn)備很多其它工作的腳本，以便緊急的時(shí)候快速使用。

通過以上的分析您一定很驚訝，原來數(shù)據(jù)中心運(yùn)維包含這么多內(nèi)容，大大小小數(shù)十項(xiàng)，而且每一項(xiàng)包含的內(nèi)容說起來都不那么簡(jiǎn)單，也涉及很多的技術(shù)知識(shí)。通常數(shù)據(jù)中心是一個(gè)公司、企業(yè)或政府部門的信息處理中心，幾乎所有的業(yè)務(wù)都要經(jīng)由數(shù)據(jù)中心才能完成，所以數(shù)據(jù)中心對(duì)于一個(gè)企業(yè)或政府部門至關(guān)重要。而一個(gè)數(shù)據(jù)中心能否穩(wěn)定和高效運(yùn)行，運(yùn)維是真正的關(guān)鍵。只有將這些方方面面的運(yùn)維工作做好做細(xì)做到位，數(shù)據(jù)中心才能長(zhǎng)期穩(wěn)定。