停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
1 {: o2 s9 A: i, B/ |9 A) ^$ g或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
北市府消防車近7輛來救助
整個大樓全員疏散
. b# ]2 B6 y& t& Z* p0 ~許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
5 `6 Q3 C8 V$ M2 q: Z市電無法橋接，縱使有電也是枉然
8 \7 Q' @: H( G0 J9 s+ R( B( ^, d全天停班
6 |- }# R3 x; C( W# T6 F- _
另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
1 ]% ]% }( k/ ^, g& q但或許使用壽命較長，所以實際上無法支撐15分鐘
: p8 g! d" N# ^% h* z由於系統複雜，關機程序冗繁，
找到關機SOP時，運作的時間也不夠完成程序作業
於是系統在無保護狀態下直接切機(硬著陸)
就算能供電，系統啟動的損害也是難以估算
8 V% i& J% t0 c$ U: V- ^# x
: V4 Q; I  J, E3 Z0 N4 h從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
' q" X  o' k! Q/ V( _但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
/ H- [8 R9 {) f3 G5 y% e作業溫度會較高
5 J4 J. f9 r' h, o" t3 G在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
/ e. t( [; ~) Q) x4 f) j許多在常溫下所驗測的設施規格，可能都會受到挑戰
3 C0 z, ~" a! [  M1 P( O4 a另外也不要全然相信資訊設備的最高規格
- C; E7 V8 z% B  w/ l' I寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
% ?& r; l9 q/ J8 [尤其UPS的電池會隨時間的充放電而減損容量
  E0 a" S: B+ a% a0 T7 \  A4 F. e這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

6 Z- R0 a1 y! l3 H8 w6 Z想必同仁們都受驚了......
. p; j# \; E8 P) {, q

希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
7 n8 A- S2 d) N  E  v* G想必同仁們都受驚了......

( c5 _5 a1 W7 V桂格兄內行.

7 d; P3 u8 j2 w3 V1 wUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
6 o7 v/ M: o! k/ M. G2 d+ y
! I& f) ]6 a2 j7 J8 K& K# V1 I& e災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

9 P' m" {$ H$ Z

桂格 發表於 2012-7-18 07:36
6 L) y) V. q7 Y! q7 k9 I想必同仁們都受驚了......

% Z6 m; h& {2 v5 R* O
) ~5 l# X# o+ Z; w! H
2 L/ E- q* N* m/ n3 w資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
機房就約80坪。不易移出委外或雲端

w5719w

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

! T& A  |9 C( k9 j
, i2 y# i3 `0 o, J! D4 ?( a事後檢討
6 ~# X/ \1 n8 [. ]) Z9 s. D1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
  W+ @1 o* W/ O! Z; |0 v. b3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
0 D) N3 W3 x% Y9 v( L桂格兄內行.
* s+ s/ P9 z: Q$ i6 B2 f) ]
UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

平常沒有危機意識
相關危機處理雖有SOP
4 J- c5 \6 A0 O3 ~, O% J4 A但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
, n5 i) W4 L7 _- d; _* W所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
: K, P, ]6 `5 ?8 {) F通風及散熱機制很重要
# o: F: F" g, X尤其長時運作，更要能安全持久