停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
6 z( c& U* L3 j( N辦公室柴油發電機自動發電
8 [# R8 G9 T5 S" J可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
北市府消防車近7輛來救助
整個大樓全員疏散
9 m; U/ R1 E# ~6 B# o許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
市電無法橋接，縱使有電也是枉然
7 E9 \" E+ }$ o7 p* J全天停班

另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
" [+ b) g, ^: {# _5 _; w6 J* v但或許使用壽命較長，所以實際上無法支撐15分鐘
  i8 W1 }5 f% P* L  o( E" t由於系統複雜，關機程序冗繁，
% c4 C6 q* @: t1 Q找到關機SOP時，運作的時間也不夠完成程序作業
3 @$ ]6 _0 c& K. l; E於是系統在無保護狀態下直接切機(硬著陸)
就算能供電，系統啟動的損害也是難以估算

4 m3 o3 C1 X# \! a從以上經驗，可以反省我們社區大樓的緊急發電系統
# w' N' G( H1 Q. {3 a! U7 L; c6 n9 J雖然有定期演習發動，
8 S8 ?- ^! I) i  }但很少有在高溫且長時發電的實戰測試
; g+ @( q  N2 \) L尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
0 c3 N9 q) w  }0 U' Q  ]* y" e作業溫度會較高
1 Q% U. L# O. ~2 k在惡質環境的實際演練才能發現一般無由發現的突發狀況
5 D, t& Z7 ]! Z1 U/ W2 Y8 I最近室外溫度持續偏高，或許是主因之一
0 R; l' p7 R  X: |" r* _+ k. i% a許多在常溫下所驗測的設施規格，可能都會受到挑戰
1 e/ ?7 R( U* B* a; u/ Z另外也不要全然相信資訊設備的最高規格
! a; A0 Y9 p( v9 o& ~  q! r寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
5 `- m$ L7 Y$ {. e; l這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

1 {5 t& ?! ^( f想必同仁們都受驚了......

( L" }2 f; _0 v9 a( \6 r. l( `# G
希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
- J; z+ C; B2 F- g; C想必同仁們都受驚了......

( I. z9 B9 w2 K+ @9 l3 e, Q3 @
桂格兄內行.

UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
; t2 V" w7 I  y
, a( `3 k7 K% b0 h災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

. e) r) r3 J* A/ p0 ~$ Z

桂格 發表於 2012-7-18 07:36
+ h  o8 |* I7 d想必同仁們都受驚了......

資料庫除local外並在深坑及台中存有異地備援
3 u3 N/ L0 v% P! ^由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
. e. H0 j0 {" E4 M. t1 w機房就約80坪。不易移出委外或雲端

w5719w

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

事後檢討
$ H. v6 L0 ?2 i$ G7 m; V: g9 `, D) L+ N1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
, u; W! x$ C1 J+ _: p8 o" e" q桂格兄內行.
, X8 @. z' j3 B# I7 ?/ u
$ m/ }1 f' ?7 R- w5 b1 }5 k7 M6 ZUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

3 E! x) L+ `8 E7 H7 m6 Q/ h平常沒有危機意識
相關危機處理雖有SOP
但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
/ D3 D$ L0 i; z# T1 o5 n( f所以緊急發電設備跟ups都要吹冷氣^^

6 {7 C, ], A7 U- Z由於緊急發電設備大多位於地下室
- k# ^7 h# b8 ^  z# G+ c4 L通風及散熱機制很重要
尤其長時運作，更要能安全持久