停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
3 z" r& {5 V' R/ e0 K. X* P於是今天整區停電
辦公室柴油發電機自動發電
0 T& L( w" m+ e3 `# ?+ m0 _/ F" ~可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
北市府消防車近7輛來救助
整個大樓全員疏散
) r) R3 q- V) f- w/ g許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
8 S# _6 H2 C& \& s: ^3 I市電無法橋接，縱使有電也是枉然
& v% ~1 i- N, g. U# Z全天停班
, ~, ^- `( D" b" u& P( Q
另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
0 a2 Y1 ~, s5 H2 v- [0 @由於系統複雜，關機程序冗繁，
找到關機SOP時，運作的時間也不夠完成程序作業
& Y$ R; Q( ^' D* ~% ?於是系統在無保護狀態下直接切機(硬著陸)
  d1 W" G( C9 k就算能供電，系統啟動的損害也是難以估算
0 f% B* Z- Z' b6 X0 U
6 O$ a3 C* ?9 p; O4 C從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
( O1 C9 K9 }* A( G: ~但很少有在高溫且長時發電的實戰測試
+ ?. t- e- ^* S尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
7 D9 k# m& L5 q( H% f尤其UPS的電池會隨時間的充放電而減損容量
, D* ~9 q8 T) H這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

" y" N) q* b* K, R2 K

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

想必同仁們都受驚了......

9 o2 y: X) y7 N! E5 c; [
希望貴單位的資料都有確實backup....
1 O1 N9 }% a* ~& v; k現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

# F4 D) N# z: ^8 h. v- [) K9 N敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

' b) Y% J# Y1 F" G$ d  V

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

桂格兄內行.

UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.

8 J- A! Y* ~7 _4 _' N2 ~8 ~3 c災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

1 F  A1 M4 v8 g" f

桂格 發表於 2012-7-18 07:36
5 k' i* @9 S" K0 A) \6 h想必同仁們都受驚了......

$ L( Z. f0 v+ x7 l8 w4 ^2 G3 F
  `+ T8 A" L1 g: x
資料庫除local外並在深坑及台中存有異地備援
0 _0 z2 D: l, ]+ {由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
( ]. C# p5 C- [! I機房就約80坪。不易移出委外或雲端

w5719w

阿慌

( b4 b5 W% G* e. g/ Z, n- f; S

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

事後檢討
  k( ], f; i2 Y2 p2 {8 `1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
! w" l9 U( q5 f6 _! r3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.
& ~- k* p% U5 r$ M/ Q
UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

  V* r+ J2 {  ?  P; [平常沒有危機意識
相關危機處理雖有SOP
8 H: o- Q+ k) M2 p6 i7 y6 \/ x但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

& ~1 E! Y7 s/ f+ V( p由於緊急發電設備大多位於地下室
: n" x9 K2 O! Z2 ?9 n8 U通風及散熱機制很重要
尤其長時運作，更要能安全持久