停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
辦公室柴油發電機自動發電
" K! q: C( q% M9 u可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
北市府消防車近7輛來救助
整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
8 W/ L8 q$ @" M( t0 f5 `雖然下午外電已接上，但是配電設備已毀
市電無法橋接，縱使有電也是枉然
  F7 W9 }/ M2 U: `  N; P, ~全天停班

# Z! g8 ?) u& \另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
% ~6 q& |. Y, @! @- G9 a, t但或許使用壽命較長，所以實際上無法支撐15分鐘
0 Q# i, `. j. L4 ~" G由於系統複雜，關機程序冗繁，
找到關機SOP時，運作的時間也不夠完成程序作業
' }7 }+ n* o3 E( U6 u# H% q+ D) Y於是系統在無保護狀態下直接切機(硬著陸)
. ?; r/ U% i4 c) x' Z就算能供電，系統啟動的損害也是難以估算

( n& J1 r# B" o8 C" K- `6 R' `從以上經驗，可以反省我們社區大樓的緊急發電系統
8 R. V, y+ `$ B雖然有定期演習發動，
7 Y3 @$ @2 M- I但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
) `7 R" v' a5 z作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
# U7 n; |* {$ [& G* O另外也不要全然相信資訊設備的最高規格
2 e. d* l9 |1 Y0 A: c: |+ t3 g寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
! k8 s) ?$ A% V/ U- p: y6 q這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

想必同仁們都受驚了......
7 D- K1 O7 @. M

希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
7 V1 k/ r% l9 _
0 m! U- |  R3 T/ O( U7 _( W敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

& h8 m7 b% ~8 H8 o. Y0 v4 Z

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

桂格兄內行.
0 q: H; R5 ^, d. o% {
! `+ h) r  p& ?8 ^4 O% ~UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
: N* I$ T3 j6 o8 m! h
. |& B" I$ i+ T. P3 \災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
# M+ E. n4 ?  \9 v/ @想必同仁們都受驚了......

4 R9 D/ A) M6 T" E8 `6 J: I2 t資料庫除local外並在深坑及台中存有異地備援
4 o4 {- Z( \6 \由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
機房就約80坪。不易移出委外或雲端

w5719w

阿慌

* w  J' u9 K; z% k3 t$ _/ X

文兒 發表於 2012-7-18 09:08
" D( r( P! t2 |9 u8 C* y( P所以緊急發電設備跟ups都要吹冷氣^^

4 u; J9 ^1 S; l! Q$ G
事後檢討
/ H" F; K# U$ n1 {4 m5 ~1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
4 [7 Z" y+ y. q) }3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.

6 u; \" R( X$ t* p6 vUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

平常沒有危機意識
! R* ]: P- ^7 s* L7 @! j相關危機處理雖有SOP
但無實際演練及確認機會
2 B, |, z. C  J, c+ s+ f6 ^這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
# A$ P. ~0 c% B" k所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
4 |4 U# k( w$ h/ m3 o通風及散熱機制很重要
) o7 G* v3 g( S$ {# t5 N2 v尤其長時運作，更要能安全持久