安科瑞 耿敏花

本文部分內容引用微信公眾號：數據中心運維管理，《淺談數據中心機房供電配電系統設計》

摘要：現代的數據中心中都包括大量的計算機，對于這種場所的電力供應，都要求供電系統需要在所有的時間都有效，這就不同于一般建筑的供配電系統，它是一個交叉的系統，涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發電機等，每個系統互相交叉，互有影響，這就使我們在設計時需要考慮多方面的因素。本文從數據中心的高壓供電系統到末端精密配電系統介紹數據中心供配電及能效管理系統的設計。

一、系統概述

現代的數據中心機房中都包括大量的計算機，對于這種場所的電力供應，都要求供電系統需要在所有的時間都有效，擴容容易，維護簡便，容錯力強，主要的是性價比高。數據中心機房是現代信息化建設的基礎工程，為各個業務提供穩定、安全的工作環境，而機房的供配電系統就是這基礎工程的心臟和大動脈，供配電系統的穩定，能夠保障其它系統發揮作用和核心業務正常運行。系統不同于一般建筑的供配電系統，它是一個交叉的系統，涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發電機等，各個系統互相交叉，互有影響，這就使我們在設計時需要考慮多方面的因素。

二、設計標準

數據中心有專門的設計標準，綜合性的數據中心電信基礎標TIA-942《數據中心電信基礎設施標準》，是2005年4月由美國電信產業協會(TIA)、TIA技術工程委員會(TR42)和美國國家標準學會(ANSI)批準的。國內的相關規范和標準也是綜合國外標準以及國內數據中心建設發展情況做出的，數據中心設計規范GB50174—2008《電子信息系統機房設計規范》也于2008年l1月12日發布，2009年6月1日開始實施。

設計一個數據中心首先需要根據用戶重要性和業主對數據中心可靠性、安全性等的具體需求，確定機房等級．再按照相應等級確定適合的供配電系統。國內的數據中心首先需要滿足國內規范的要求。GB 50174—2008中關于數據中心的分級規定如下：電子信息系統機房應劃分為A、B、C三級。設計時應根據機房的使用性質、管理要求及其在經濟和社會中的重要性質確定所屬級別。

三、設計原則

數據中心供配電系統設計應執行或參照執行國家和行業相關標準、規范，并可參考國外相關標準、規范，結合考慮數據中心用電負荷密度高、供電可靠性要求高等特性采取適當的技術措施。同時，應滿足項目建設單位的企業標準、規范的要求。

數據中心供配電系統設計應遵循分區、分級的原則，同一功能區域內的各類設備的供電可靠性，應能保證所有設備能夠按照該區域標準的要求運行，并將供配電系統局部故障的影響面控制在盡可能小的范圍。

數據中心用電負荷密度高、總量大，其供配電系統設計中應充分運用成熟有效的節能措施，降低供配電系統的損耗。

四、數據中心機房供配電系統需求分析

隨著信息技術的迅速發展和互聯網的普及，社會各界對信息系統的應用越來越廣泛，信息和數據量呈幾何級增長，由此對數據中心的需求日益增加，對數據中心的要求也不斷提高，信息設備功能越來越強，功率密度越來越高。數據中心設備機柜用電負荷由以前的2kVA/臺，提高到3kVA/臺、4kVA/臺，甚至更高。機房單位面積的平均用電負荷也由1kVA每平方，提高到1.5kVA每平方、2kVA每平方，甚至更高。

數據中心用電負荷的統計應分為兩個層次，即：UPS供電系統負荷(輸出)和市電供電系統負荷。市電供電系統負荷(輸出)的統計主要包括：UPS供電系統(輸入)、機房精密空調系統、機房照明及建筑電氣設備等。UPS供電系統負荷(輸入)＝供電負荷+充電負荷。機房精密空調系統負荷＝N臺主用空調機組額定負荷容量×負荷率。UPS供電系統負荷(輸出)的統計主要包括：計算機設備、服務器、存儲、網絡設備、小型機等，在負荷設備明確時，按設備數據統計，具體負荷設備不明確時，按設備機柜平均負荷統計。設備機柜數量也不明確時，可按機房面積平均負荷估計。

在發熱量較大的情況下，如果柴油發電機未能及時啟動而導致精密空調失電停止工作超過3分鐘，機柜內服務器溫度將會急劇升高而宕機，因此在可靠性要求比較高的情況下精密空調也可由UPS提供不間斷電源，在柴油發電機啟動前利用剩余冷凍水繼續保持機柜氣流循環散熱，直到發電機全部啟動。

五、數據中心機房供配電系統設計

5.1 供配電系統的布置 

數據中心機房供配電系統主要設備有：UPS、電池、配電柜和柴油發電機等。這些設備單位占地面積、重量大，對于這些設備的擺放位置既要考慮功能上的需求，又要考慮空間和承重的需要，還要考慮對外界的危害。

數據中心機房供電系統應有獨立的配電間、變配電所，UPS 電源機房應靠近設備機房(負荷中心)布置，這樣能保證從UPS輸出到用電設備之間的壓降和損耗盡可能的小。UPS 電源主機、配電柜與蓄電池組是否需要分隔，按照數據中心等級的要求決定，另外還需要考慮到UPS屬于大型設備，重量比較大，噪聲大，需要擺放在一個承重比較好，并且不影響辦公和休息環境的地方。配電柜位置的選擇，主要考慮功能上的需求，配電柜應在滿足功能分區的基礎上，盡可能靠近供電負載。發電機房宜設置在地面一層，當發電機房設置于地下層時，應特別注意進、出風通道能否滿足要求，應注意發電機組儲油裝置（日用油箱、儲油罐）的消防要求。

變配電所、發電機房、UPS電源機房均應留有足夠的面積，可與設備機房同步發展，應對設備機房面積擴展或設備機房功率密度上升引起的供電需求。于非專門設計用于數據中心的建筑，應注意其是否滿足設備安裝和線路敷設的要求，包括樓面荷載、凈高、抗震等級、耐火等級等方面。

下圖為典型數據中心的供配電系統示意圖，采用雙路110kV進線，配置10kV柴油發電機作為自備應急電源，UPS采用冗余供電方式，末端精密配電柜和精密空調均采用UPS供電，提高數據中心運行穩定性，見圖1。

圖1 數據中心典型供配電系統示意圖

5.2 供配電系統設計 
5.2.1 市電動力配電系統設計

為了提高數據中心供電可靠性，減少電網故障的干擾，大型數據中心一般采用110kV甚至更高電壓等級市電電源，根據當地供電條件確定。市電動力配電主要用于供給機房精密空調設備、普通照明和給排風、維修插座、一般動力、UPS設備等。市電動力配電一般由大樓總配電柜饋出的動力供配電系統，采用50Hz交電，380/220V三相五線電源，TN-S接地方式，零線和地線分開設置且零地線之間電壓小于1V。

一般可靠性要求數據中心宜引入兩路市電電源，條件受限制時也可引入一路市電電源。引入兩路市電電源時，宜為冗余關系，也可作為供電容量擴展關系。

每一路市電電源的供電容量應能滿足全部一、二級負荷的需求，包括UPS電源系統、機房精密空調、機房照明、蓄電池充電及建筑設備中的一、二級負荷。兩路市電電源的供電容量應為全冗余，正常時應同時供電運行，兩路電源在負荷設備輸入端自動切換。

圖2 110kV變電站或10kV開閉所保護測控裝置配置示意圖

市電動力配電柜一般采用放射式配電直接配至各用電設備或電箱，機房內所有動力配電線纜需要設計橋架或鋼管敷設，市電動力配電柜具有火警聯動保護功能，出現火警時可與消防系統聯動及時切斷電源，動力配電柜、照明箱內的開關和主要元器件應設置有效的防雷措施。

表1 110/10kV變電站和10kV開閉所、變電所保護測控裝置選型表

圖3 0.4kV配電柜測控裝置配置示意圖

表2 0.4kV配電柜測控裝置選型表

5.2.2自備應急電源系統設計  

數據中心一般采用柴油發電機組作為自備應急電源，對于大型、高等級數據中心也可以選擇可靠性高、輸出電源品質好、帶非線性負載能力強、體積小、重量輕的大功率燃氣輪機發電機組。一般可靠性要求的數據中心宜配置一路自備應急電源，供電容量應能滿足全部一、二級負荷的需求，包括UPS電源系統、機房空調、機房照明、蓄電池充電及建筑設備中的一、二級負荷。當數據中心條件受限制，且市電電源具有較高可靠性時，也可以部分或全部采用移動式發電機組作為自備應急電源。發電機組燃料儲備量應根據數據中心等級的要求，結合市電電源可靠性、供油可靠性、消防要求綜合決定，一般不宜少于發電機組滿負荷運行8小時的用油量。

圖4 10kV柴油發電機室保護測控裝置配置示意圖

表3 10kV柴油發電機保護測控裝置選型表

5.2.3 UPS供配電系統設計  
　　UPS配電主要用于計算機設備、服務器、小型機、存儲、網絡設備、保安監控設備等。UPS 電源系統輸出一般采用三級配電方式：系統輸出配電柜－機房配電柜－機柜配電單元。

UPS電源系統蓄電池組容量的計算方法有以下兩種：

(1) 按負荷電流計算；

(2) 按負荷功率計算；

按負荷電流計算的結果是蓄電池組的總容量，然后再選擇單組蓄電池的容量和組數。按負荷功率計算的結果是選定容量規格的蓄電池組數。兩種計算方法的結果可互相校驗。

對于單電源輸入設備，即使已采用雙單元冗余UPS 電源系統，也宜將其連接在其中一個單元上。對于雙單元冗余UPS電源系統，可將其每個單元中的部分容量視為并聯冗余性質。對于需要雙回路供電的單電源輸入設備，宜在其輸入端設置靜態轉換開關STS。靜態轉換開關STS 的性能應能滿足其要求，一般轉換時間小于5～10ms。

當負荷設備對零－地電壓要求較高時，可在機房配電柜設置隔離變壓器。有時候為保證UPS故障旁路后輸出高質量電源，往往在UPS旁路輸出端設置隔離變壓器。

數據中心UPS供配電系統一般采用冗余方式供電，很少采用單機供電。冗余方式供電能在一臺UPS設備故障時，仍然能夠滿足機房內重要設備的用電需求，這是單機供電所不能達到的。從冗余式配置方案來看，常用的有以下幾種方式：

(1)熱備份式冗余UPS供電方式 

主機帶負載，備機空載或帶非重要負載，備機接入主機的BYPASS(旁路)輸入端。這種方式布置比較靈活，不需要兩臺UPS同品牌，而且不要增加額外輔助電路，不增加購置成本。如果UPS主機發生了故障，那么UPS備機需要接替全部負載，這也就意味著設計時需要計算好UPS主機故障時，UPS備機所需承擔的總負載。此方式的缺陷在于UPS備機得具有階躍性負載承載能力，無法對電源系統進行擴容，兩臺容量不同的UPS相聯，只能按至低的UPS容量輸出。

(2)直接并機冗余UPS供電方式 

為克服熱備份式冗余供電系統的弱點，隨著UPS控制技術的進步，具有相同額定輸出功率的UPS可直接并聯而形成冗余供電系統，為保證高質量的并機系統，各電源間需要保持同頻、同相、且各機均流。此供電方式瞬間過載能力強，能夠自動均分功率，系統互為主備，提高供電可靠性，電源系統擴容方便。但是存在著環流，增加無功損耗，降低系統可靠性，需增加額外輔助電路，隨之而來是增加成本，增加故障點。設計時，如2臺互備，每臺按照50%帶載能力考慮，并聯的主機越多，單臺主機的帶載能力就越低。

(3)雙總線冗余供電方式 

雙總線供電方式是采用兩條總線對后端設備進行供電，每條總線上具有相同的一套UPS供電方式，消除可能出現在UPS輸出端與最終用戶負載端之間的“單點瓶頸"故障隱患，以提高輸出電源供電系統的“容錯"功能。此供電方式能夠在線維護，在線擴容，在線升級，改善了重要總線的可用性，滿足了雙電源用電設備的需求，實現了7×24×365運行的目標。但是雙總線冗余供電方式相當于搭建了兩套前述供電方式的回路，需要增加2倍以上的成本。同時，為滿足單電源設備的供電需求，可在輸出端安裝STS，來保證供電輸出的可靠性。　　

UPS供電系統是滿足數據中心供電可靠性的核心部分，而蓄電池又是整個系統中主要的組成之一，是整個供電系統的“最后一道屏障"。當組串中的一只電池因過充、過放等原因造成電池性能下降，電池內阻變大，會導致電池出現發熱、鼓包等現象，將造成供電系統安全性的整體下降，同時增加蓄電池充放電的損耗。

圖5 數據中心UPS和蓄電池監測配置示意圖

表4 數據中心蓄電池監測選型表

5.3 末端配電系統

機房UPS、精密空調電源系統輸入應設置專用的輸入配電柜。電源系統輸入配電柜應引接兩路電源、自動切換。UPS 電源主機的主電源和旁路電源應分別引入，并宜由不同的輸入配電柜引接。UPS電源系統輸出應采用放射式、雙回路配電方式。UPS 電源系統輸出應采用三相配電，末端分相，以利三相平衡。

機房配電柜、UPS電源柜落地安裝，動力配電箱、照明配電箱底邊距地1.4m墻上暗裝，配電柜及其他電氣裝置的底座應與建筑樓地面牢靠固定，并接地，機房內應分別設置維修和測試用插座，且有明顯區別標志，測試用電源插座應由UPS供電，維修插座由市電供電。所有線路的敷設是要以設備布局和設計圖紙為基礎進行，設計時考慮供電距離盡量短，機房內的電源線、信號線和通信線應分別鋪設，不能共走同一線槽，UPS電源配電箱(柜)引出的配電線路，穿鍍鋅鋼管，沿機房活動地板下敷設至各排網絡或服務器機柜，使用插座或工業連接器為機柜供電。

5.3.1 精密配電柜

精密配電柜是為數據中心的設備機柜提供電源的末端配電設備，一般采用雙回路供電，電源分別來自兩臺冗余的UPS，分為交流和直流供電，一般放置在機柜陣列的兩端，也稱列頭柜，如圖6所示。

圖6 ANDPF精密配電柜

安科瑞精密配電監控解決方案針對精密配電柜監控數字化要求，方案包括交流（AC220V）、直流（DC-48V/240V/336V）系統。由觸摸式液晶顯示屏、綜合信息處理主機模塊、開關狀態采集模塊、電流互感器(交流)或霍爾傳感器(直流)采集單元模塊等組成。監測兩路主進線和A+B雙面饋線回路電量參數、開關狀態、諧波含量、柜內溫濕度等數據，可以在本地觸摸屏顯示，同時可以上傳AcrelEMS-IDC數據中心能效管理系統顯示和報警。產品方案見表5。

表5 精密配電柜數字化方案產品選型

5.3.2 智慧母線槽

近年來隨著數據中心建設的快速發展，智能母線槽的方案運用越來越多。相比傳統精密配電柜，數據中心母線槽架空鋪設，具有安裝檢修方便、不占地、散熱快、易增容等優勢。母線槽通過始端箱從前端UPS取電，以母排系統組成輸電結構，采用即插即用的方式，通過插接箱給各個IT機柜內的PDU供電。

圖7 智能母線槽數據采集方案示意圖

安科瑞智能母線槽方案在始端箱和插接箱內配置AMB100/AMB110監測單元，測量始端箱、插接箱電壓、電流、頻率、有功功率、無功功率、功率因數、有功電能、無功電能、諧波畸變、溫濕度、漏電電流等數據，可以通過有線或無線方式傳輸數據，在本地觸摸屏顯示，同時可以上傳數據中心能效管理系統，實現母線槽的數據展示和異常預警。

另外由于母線槽是由銅制母排搭接而成，接頭部位可能會由于接觸不良而異常發熱，所以需要對母線槽接頭溫度進行實時監測，安科瑞AMB200母線接頭溫度監測裝置進行接觸式測溫，AMB300通過紅外非接觸式測溫方式監測母線溫度，數據通過有線或無線方式傳輸本地觸摸屏顯示，同時可以上傳數據中心能效管理系統，實現母線槽溫度的實時預警，設備選型如表6所示。

表6 智能母線槽解決方案選型表

5.4 數據中心能效管理系統設計

AcrelEMS-IDC數據中心能效管理系統搭建基于高、中、低壓配電系統、柴油發電機、UPS的實時監控和末端配電系統數據采集的電力監控、PUE分析以及動環監測，幫助數據中心管理者了解數據中心能源運行情況，并關注消防和電氣安全，及時預警異常情況，保障數據中心穩定可靠運行。除了變電站、柴油發電機和UPS運行監控以外，特別是針對數據中心的末端配電環節，系統數據跟蹤到每一個回路的電氣參數和開關狀態、溫濕度數據等。

圖8 數據中心能效管理系統架構圖

5.4.1 電力監控

監控110kV變電站、10kV開閉所、10/0.4kV低壓變配電室配電系統運行情況，實現遙測、遙信、越限報警、故障分析、電能質量分析、運行報表等功能。

5.4.2 設備監控

監測柴油發電機、變壓器、UPS、蓄電池組、精密配電柜、精密空調的狀態以及運行參數，并提供異常預警、運行報表等功能。

5.4.3 能耗分析

統計數據中心總能耗、IT設備能耗、制冷系統能耗、供電系統能耗、照明及辦公能耗等分項用能，并計算CLF/PLF/PUE等能耗指標。

5.4.4 環境監測

監測數據中心溫濕度、水浸，蓄電池內阻、溫度、電壓、蓄電池間氫氣濃度等數據并提供越限告警和聯動控制。

5.4.5 精密配電柜或小母線運行監測

系統監測精密配電柜或母線槽系統電氣接點溫度以及漏電電流，并設置溫度、漏電越限告警，及時消除系統隱患。系統監測每路饋線回路的電流、功率、開關狀態和用電量，還可以配置溫度、濕度傳感器用于監測線路接點溫度和柜內濕度，設置參數高低越限告警，避免回路超負荷運行而導致意外斷電。

5.4.6 故障預警

系統對數據中心的故障類型進行分級分類處理，可以通過語音、文字彈窗、短信等方式提供故障預警信號，并對故障進行分類展示。

5.4.7 運維管理

系統為數據中心提供設備管理和運維管理功能，包括設備臺賬、設備保養、工單管理、巡檢記錄、缺陷管理、搶修記錄等功能，告別依靠手工記賬，降低人力和時間成本。

六、結束語

不同用途或等級的數據中心對可靠性的要求不同，直接關系到數據中心的建設投資和運營成本。數據中心供配電系統是數據中心主要的基礎設施，應在數據中心建設初期予以統籌考慮和規劃，并根據數據中心對供電可靠性的要求，在供電電源選擇、供配電系統布置、供配電系統結構和形式等方面采取相應的技術措施。同時，還應充分運用成熟有效的節能措施和能效管理系統，降低供配電系統的損耗，減少運營成本。