停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
# G8 F+ ]. ~+ C4 W! E( c2 n* ~% c於是今天整區停電
2 e6 ~: b4 w$ b5 L7 R/ i& `$ b* ]辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
+ G* _( v0 \- {# U北市府消防車近7輛來救助
/ ]4 z$ P3 {# ?4 |1 Y2 g$ e4 s整個大樓全員疏散
* ^! f+ h3 I0 @# e許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
市電無法橋接，縱使有電也是枉然
全天停班

: s- k6 f& `* N# n9 M  S另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
由於系統複雜，關機程序冗繁，
找到關機SOP時，運作的時間也不夠完成程序作業
於是系統在無保護狀態下直接切機(硬著陸)
就算能供電，系統啟動的損害也是難以估算

從以上經驗，可以反省我們社區大樓的緊急發電系統
1 A+ m9 R' e+ ~. x+ S5 W* m雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
+ u& _3 U1 D' O4 x" B# i0 N  R作業溫度會較高
5 M, ~- L9 C3 B1 F$ u在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
) J8 q# ?, z  |1 j' b另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

9 P- ]* i# M: d
( T! ~% t8 f5 N- k" B0 ~* r! Z( {想必同仁們都受驚了......
! x( u3 q& y6 C" F& l
! M" v; K* b. \- r* \# l
希望貴單位的資料都有確實backup....
" [9 Y1 k" Y) v& E現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
0 F2 c- Y1 c( a. K$ S
& N: k0 o1 A' N( y& M: {0 s& R- J敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

/ N" O0 O1 p0 c1 y! a

桂格 發表於 2012-7-18 07:36
# d2 L, Z. ~/ ?) }% t( v想必同仁們都受驚了......

3 F& S) x, i: N( M( h/ }' J桂格兄內行.

0 J4 o% Q. k( ZUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
8 b2 _( k' L# \, b% a
災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

& H2 y3 f, j" m. w
7 D4 J4 K9 @) i2 U資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
: x3 y  P4 A7 ^0 Q* f只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
# u# L1 C( Y: }: ~機房就約80坪。不易移出委外或雲端

w5719w

阿慌

文兒 發表於 2012-7-18 09:08
* H) b: Y' J9 L所以緊急發電設備跟ups都要吹冷氣^^

0 l3 [1 Y* L% j& l
5 Y9 S/ g0 z' h  L' x4 v事後檢討
6 E9 |" l* s1 k' J1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.
' m0 w7 C- [$ T1 I$ A) j
; G: {2 W9 l% S9 \' vUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

平常沒有危機意識
相關危機處理雖有SOP
4 E, D+ b, U/ B" T8 v; y& }但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
  n- i2 K: E$ E, b所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
通風及散熱機制很重要
尤其長時運作，更要能安全持久