停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
8 s0 h, ^. b6 l% a: a* B  Z於是今天整區停電
辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
北市府消防車近7輛來救助
整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
; i/ \9 [- E6 @* R9 A/ S2 t雖然下午外電已接上，但是配電設備已毀
市電無法橋接，縱使有電也是枉然
3 L4 s/ n3 s7 c; a  N, M全天停班

另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
3 W8 q$ n3 q2 |8 t但或許使用壽命較長，所以實際上無法支撐15分鐘
; d4 n, _6 q, z5 t7 @4 L6 ^: w, E由於系統複雜，關機程序冗繁，
1 W% p4 Y0 ^& _找到關機SOP時，運作的時間也不夠完成程序作業
; a2 s8 D( h  ]& L於是系統在無保護狀態下直接切機(硬著陸)
, ~0 V- M( s" Z就算能供電，系統啟動的損害也是難以估算
1 o" \' C% P7 i  m$ G% s
3 N& |3 f+ v/ E4 N' v# B0 r, U6 o從以上經驗，可以反省我們社區大樓的緊急發電系統
7 A& y$ b" k3 ~, }5 A3 W4 U2 s, w雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
) B3 z0 V- o& K  ?+ J0 ?在惡質環境的實際演練才能發現一般無由發現的突發狀況
! w7 M% x1 }6 Z" ^4 m" p* c最近室外溫度持續偏高，或許是主因之一
+ U9 M( X; d" Y5 n許多在常溫下所驗測的設施規格，可能都會受到挑戰
另外也不要全然相信資訊設備的最高規格
0 x! Z% i, H" w- W/ }& @4 `" v寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
( l' R+ N9 ^/ ^尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

5 r3 s! N+ Q- R8 [$ M/ b
" ?+ _/ B4 b( |; j8 d4 `想必同仁們都受驚了......

8 o8 E1 U$ k; i
希望貴單位的資料都有確實backup....
4 ?" w' A8 m) ~9 \/ w# v現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
# M8 [, J( j4 W5 W$ }
敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

0 B% U2 |  l4 ?, y$ |# x

桂格 發表於 2012-7-18 07:36
; r! K6 n7 t8 w' ~8 S: N/ V想必同仁們都受驚了......

2 I, {) K7 ^" c+ [  T
9 R) q) I4 {' v* W桂格兄內行.

UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.

災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
4 C5 A& L, L4 ^, G# Q想必同仁們都受驚了......

( t  r% q4 T' X3 e

9 Q% A3 q, x5 K. U資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
& t, [& X1 V' w$ ]# \# E只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
' p0 I# O8 E6 w+ ]& n; ]! X' S3 N機房就約80坪。不易移出委外或雲端

w5719w

阿慌

2 Y8 k% Y+ ]8 I+ Z' f( ~' r

文兒 發表於 2012-7-18 09:08
$ W9 q6 Z5 \1 K+ G所以緊急發電設備跟ups都要吹冷氣^^

% @* o! F: _+ d( x事後檢討
4 m/ b0 q: M! v1 a- A1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
1 q$ E4 l( _+ m* G1 V2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.

UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

" A9 E8 a  ~* w$ a0 d: Y& a平常沒有危機意識
相關危機處理雖有SOP
但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
/ U- T- ]' @3 w  J/ B所以緊急發電設備跟ups都要吹冷氣^^

# C3 ~' |8 q+ K$ B- U2 m由於緊急發電設備大多位於地下室
+ R1 `) P0 Y3 M通風及散熱機制很重要
尤其長時運作，更要能安全持久