停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
6 a# ~* C- H# V' g於是今天整區停電
辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
北市府消防車近7輛來救助
! y3 W! Y6 l( Y% Q- C7 r- D整個大樓全員疏散
& Q  M: X' l+ z( q: W- M  a- F許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
; I( o9 _( ~- p( K% g- B市電無法橋接，縱使有電也是枉然
全天停班
/ y* t' f7 r7 Z9 g+ u$ _2 p
另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
由於系統複雜，關機程序冗繁，
找到關機SOP時，運作的時間也不夠完成程序作業
/ H1 ]2 _. g* l6 R於是系統在無保護狀態下直接切機(硬著陸)
( L  ?# f. W3 O' |5 d4 A( \4 Z& l就算能供電，系統啟動的損害也是難以估算

1 h& D+ J) M6 d: m從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
2 L  D. e* _8 r+ d, S% z尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
3 }+ a; |) M' Z" ?7 d在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
# r7 G; P4 i( T5 J, z3 A7 V0 \8 e許多在常溫下所驗測的設施規格，可能都會受到挑戰
另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
. a( ^6 C' o0 h! Y4 \尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

1 h+ X( S1 Y/ N5 M9 n: K" T
想必同仁們都受驚了......

/ r( W: i+ M, }
希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
5 O* C# l$ W: R. \/ ]
! S! S3 P% {' K3 o, m敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

0 x9 c; U/ o5 E0 k: O- X& c
桂格兄內行.

% m/ \2 X/ b' i8 n/ H/ i: ~. GUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
* ^, v' s, ^( d& Q( T# C
災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

& b4 [' b4 N' c8 X  `8 v5 N

桂格 發表於 2012-7-18 07:36
' k5 Z( w' X+ y, t" L想必同仁們都受驚了......

+ r8 Q1 Z/ w7 T/ f

資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
& ~6 M+ g' `" H' S. I& N' j2 J6 E機房就約80坪。不易移出委外或雲端

w5719w

阿慌

文兒 發表於 2012-7-18 09:08
: e3 b: j/ u2 Q4 [, W3 Z所以緊急發電設備跟ups都要吹冷氣^^

1 \1 v& T9 Q8 i: F9 o
事後檢討
: j) I8 c9 P% a) |7 X1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2 O5 }8 j' h4 P' h: t2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.
1 j; u) v2 g; z4 V
3 _* e# v# g# A; z, AUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

平常沒有危機意識
相關危機處理雖有SOP
2 ]1 N5 r, a. q( k6 E6 S: _5 U但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

, P" J' ?6 _: q4 D7 `" U* H: K; Y由於緊急發電設備大多位於地下室
通風及散熱機制很重要
* {6 f) s0 @  z- l7 @尤其長時運作，更要能安全持久