幾年前，F(xiàn)acebook關閉了一個數(shù)據中心，以測試其應用的靈活性。該公司工程主管杰瑞?帕瑞科斯表示這個測試順利。該數(shù)據中心的關閉測試沒有干擾客戶對Facebook網站的訪問。

　　Facebook和其它網絡規(guī)模的數(shù)據中心運營商投資數(shù)億美元甚至數(shù)十億美元建立全球性的互聯(lián)網服務，將重點轉向數(shù)據中心的彈性冗余和自動化的基礎設施–電源和冷卻系統(tǒng)–軟件驅動的故障。一個由許多服務器組成的全球分布式系統(tǒng)，可以很容易地失去某些服務器，而不會對應用程序的性能有任何重大的影響。

　　這并不是說數(shù)據中心運營商已經放棄了備份發(fā)電機，UPS系統(tǒng)，自動轉換開關。人們仍然可以在Facebook數(shù)據中心可以看到所有這些東西，只是這些設施不再是最后單一的防線。

　　如今，F(xiàn)acebook公司開放一些軟件工具的源碼，其內置的軟件工具可以幫助工程師在幾秒鐘內檢測到電力中斷的位置，并迅速隔離故障，避免更大范圍的問題。

　　該工具是一個名為Net NORAD系統(tǒng)，可以不斷監(jiān)控整個Facebook的數(shù)據中心基礎設施的數(shù)據包丟失率和延遲。并使用數(shù)據分析，可以檢測到異常模式和觸發(fā)警報，通常發(fā)生在30秒內的故障。

　　“我們的規(guī)模意味著設備故障每天都有可能發(fā)生而且確實在發(fā)生，我們努力阻止那些必然事件對任何使用我們的服務的客戶的影響。”Facebook公司網絡工程師彼得?切赫拉普科霍爾在一篇博客文章中寫道。“最終的目標是檢測網絡中斷，并在幾秒鐘內自動地減少網絡干擾。相反，采用人工調查可能需要以分鐘計算，甚至是小時。”

　　Facebook公司的Net NORAD組件是開源的響應者，系統(tǒng)采用一組服務器不斷監(jiān)測Facebook公司數(shù)據中心的所有服務器，基于他們接收響應數(shù)據包丟失和延遲的數(shù)據，并采用自動確定故障確切位置的工具fbtracert。