停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
1 G# Z* J  C# V5 u; _) u9 O於是今天整區停電
0 Z! h* E) T; p; Z" s, ]辦公室柴油發電機自動發電
( q1 L& ^- J- u% L可能是過熱，將配電設施的變壓器烤到燒起而爆炸
' T2 o- K* B% L- m或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
# m9 }$ {& @8 s% _3 z6 P% k/ u北市府消防車近7輛來救助
2 U# \7 A8 }" z8 Q: F9 L$ r整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
8 x6 n4 ?8 R3 d/ t0 }( \市電無法橋接，縱使有電也是枉然
  H: Q$ p& a: Z8 }- o全天停班
# L. ]$ u% A7 p1 k
另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
5 n( i0 c% T5 L8 ]由於系統複雜，關機程序冗繁，
) b. P9 c! h; I+ Z' `# o  g" y找到關機SOP時，運作的時間也不夠完成程序作業
於是系統在無保護狀態下直接切機(硬著陸)
5 i# |/ O( E5 s8 [就算能供電，系統啟動的損害也是難以估算

: K- K( V" a1 ]- Y9 ~( M從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
# n# V. p$ a9 o1 f尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
: D6 }: t# O8 L1 w  F在惡質環境的實際演練才能發現一般無由發現的突發狀況
  s7 ^& u6 t1 F0 Y最近室外溫度持續偏高，或許是主因之一
* {) A8 R) Q9 @許多在常溫下所驗測的設施規格，可能都會受到挑戰
另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

. N- y" P% z6 D' a

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

3 D! A& J) y: B) w/ r3 I
* w2 A* e6 Q# q% A8 O+ ^2 R想必同仁們都受驚了......


希望貴單位的資料都有確實backup....
% Y5 y0 G' G6 t2 W* [, O現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
; {, q( l. p! E4 k0 C
" R" I; l' P5 B敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

" y, C- b( }% A9 L) S: N$ \

桂格 發表於 2012-7-18 07:36
% k3 z! ^8 w4 K* ~3 W6 q( x想必同仁們都受驚了......

2 O. e7 \- D  K5 K3 I  s桂格兄內行.

UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
* X& v; O7 A  \, e: I: f+ H+ c
災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

7 H1 g% O( ~' F8 [' R+ W
" C1 Y  M8 |( K
資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
8 b+ |- I: w0 E: @機房就約80坪。不易移出委外或雲端

w5719w

阿慌

9 l, D3 B) y8 K- X: N

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

事後檢討
1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.
7 i& F6 k3 Q- L0 J% I1 x* l7 B
! V# n* U0 J2 L" ^1 sUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

7 d3 I( S/ K) W1 }平常沒有危機意識
相關危機處理雖有SOP
: u* I, H& w$ ^但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
7 L0 j1 B) v* l$ U2 y通風及散熱機制很重要
尤其長時運作，更要能安全持久