停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
: p8 P$ M  a$ h! p7 R北市府消防車近7輛來救助
整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
2 c2 P2 O/ C& ?雖然下午外電已接上，但是配電設備已毀
7 Y; k' w3 D4 T9 F& P& Q市電無法橋接，縱使有電也是枉然
" K( X6 t$ @* `2 ?5 L9 x全天停班
7 ~, m* e3 c6 W
另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
由於系統複雜，關機程序冗繁，
; K! o) S5 o3 ~9 U0 M1 R% v找到關機SOP時，運作的時間也不夠完成程序作業
於是系統在無保護狀態下直接切機(硬著陸)
就算能供電，系統啟動的損害也是難以估算

從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
' n6 b( @, p. h8 M作業溫度會較高
  W! K$ I6 h, }/ @4 s" Y# i在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
  {# a1 O" @7 g$ _許多在常溫下所驗測的設施規格，可能都會受到挑戰
6 P+ q& h4 H7 f  t5 C3 B另外也不要全然相信資訊設備的最高規格
1 q) t8 [( J& ~* f- Z# j( |寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
8 z2 f. i* @: u, _這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

. [( Y* E; X! O: W" W: O; f
' l( @) H6 C2 p8 S. w8 R+ x; g想必同仁們都受驚了......
$ q6 q! y4 g8 L/ S9 ~* p
0 H. \! D: P  v8 r6 ~9 K2 ]
8 X7 w. u3 y1 i2 Z! z' s希望貴單位的資料都有確實backup....
) t0 s3 `9 o% s6 }$ E* v: Q現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

+ x6 T2 {/ n: t. f敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

! h/ F" _- X5 r  {

桂格 發表於 2012-7-18 07:36
( q, v6 C( M: v" p; ?$ B$ d想必同仁們都受驚了......

  H2 D2 u4 e1 \) T7 F. c; U
+ Z+ M1 F% e. U7 L+ ]# Q; c$ i桂格兄內行.
5 t1 M6 d5 {6 P2 _
  g  S0 C# y  yUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
$ i, ?* h7 G% }. Z5 C3 S3 Z
6 c3 Y4 f8 I' v6 }6 \& a0 f4 n災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

2 m5 I! B* \, U' A0 F: U

桂格 發表於 2012-7-18 07:36
, i  _$ a6 E# f- y想必同仁們都受驚了......

' Q" E( x# w0 Q: s, G) E
0 ]+ q  q1 y5 J7 _, ?1 H1 d
資料庫除local外並在深坑及台中存有異地備援
+ X) x& D! i& q由於機房資料庫量大，
# E8 H* m- b' n( y' a只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
機房就約80坪。不易移出委外或雲端

w5719w

阿慌

' l. H+ i! F, D! Y

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

事後檢討
9 b4 b6 l& b) [0 k& [4 P1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
0 Z- b# E2 V: ^8 |6 [- u4 B* [; I3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
8 t! K+ [8 n+ r/ n9 v桂格兄內行.
2 r$ [7 a1 h! F8 E% h: p1 j! p
8 q, O: v' q+ [# OUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

0 p* Q" t8 ]9 I5 G7 E7 w平常沒有危機意識
( M& D& x9 e$ E! h+ y7 D+ L6 U0 {相關危機處理雖有SOP
但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
2 U% N* U2 A' [6 q7 d所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
通風及散熱機制很重要
尤其長時運作，更要能安全持久