停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
1 Q% z' p: Z% [# ]* ~' ?6 c4 T辦公室柴油發電機自動發電
# ^; `7 w5 K. E1 o4 \可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
3 G, ^9 V3 I$ z  r北市府消防車近7輛來救助
, i* I: y% H6 t6 T" d整個大樓全員疏散
! t( Q, t/ k3 `/ |許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
, L+ ~  I& S$ p. n& D# _% C市電無法橋接，縱使有電也是枉然
全天停班
1 D6 x- N8 F- P9 n9 n' A  O. p
另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
由於系統複雜，關機程序冗繁，
找到關機SOP時，運作的時間也不夠完成程序作業
( y; |9 U6 B1 \3 h+ F  T3 @於是系統在無保護狀態下直接切機(硬著陸)
, d5 {7 T0 B; @; Q) n就算能供電，系統啟動的損害也是難以估算
1 E3 u; C" W+ h7 D1 \
從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
8 Y2 R( P4 g) L: n5 A- {但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
另外也不要全然相信資訊設備的最高規格
* L6 u& a1 Z) b- m; k寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

0 F) i: }- s, _* b想必同仁們都受驚了......
. k* C. F/ A6 Q  x% p2 A

希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
* a! B2 C5 m/ ?" u0 c
敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

' T: l( b2 K1 b: i# ]( Q' x

桂格 發表於 2012-7-18 07:36
& b: J; G  A( X9 S6 N. ?6 n/ u想必同仁們都受驚了......

桂格兄內行.
8 M* I; B! t3 [* e% T6 a+ A
UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.

災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

' B: S& C& G1 f  i& p6 [, V

資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
, G' y5 Y3 }; M1 y9 n只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
- C4 q2 q5 J& Z8 I3 X4 i* s機房就約80坪。不易移出委外或雲端

w5719w

阿慌

文兒 發表於 2012-7-18 09:08
0 o9 ~0 m1 d$ V- Z: ?所以緊急發電設備跟ups都要吹冷氣^^

事後檢討
" J1 _& ~1 Z& Y4 V: C1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
: i- T2 X/ N, o3 P5 [( P- b9 J- Y6 M, i2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
& c- L6 p( {, a  Z( z+ ?) g5 W3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.

! V9 R) w) x. V8 a2 vUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

& v, S1 f; y0 W9 y$ F. u0 b) S平常沒有危機意識
& w" H9 t* b4 N# h' T相關危機處理雖有SOP
但無實際演練及確認機會
% R- _7 K: M3 L  Z3 i+ A這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
通風及散熱機制很重要
4 T' J3 m* S# `( M$ C2 B尤其長時運作，更要能安全持久