Cloudflare將本周大規(guī)模服務(wù)中斷事件歸咎于數(shù)據(jù)庫問題

本周，Cloudflare發(fā)生六年來最嚴(yán)重的服務(wù)中斷事件。數(shù)據(jù)庫訪問控制權(quán)限變更觸發(fā)其全球網(wǎng)絡(luò)連鎖故障，導(dǎo)致大量網(wǎng)站及在線平臺(tái)近6小時(shí)無法訪問。

Cloudflare全球網(wǎng)絡(luò)是一套分布式基礎(chǔ)設(shè)施，服務(wù)器與數(shù)據(jù)中心遍布120多個(gè)國家，提供內(nèi)容分發(fā)、安全防護(hù)及性能優(yōu)化服務(wù)。該網(wǎng)絡(luò)已與全球超1.3萬個(gè)網(wǎng)絡(luò)建立連接，包括所有主流互聯(lián)網(wǎng)服務(wù)提供商（ISP）、云服務(wù)商及企業(yè)網(wǎng)絡(luò)。

公司首席執(zhí)行官M(fèi)atthew Prince在故障緩解后發(fā)布的事后分析報(bào)告中表示，此次服務(wù)中斷并非由網(wǎng)絡(luò)攻擊導(dǎo)致。故障源于某一數(shù)據(jù)庫系統(tǒng)的權(quán)限變更——這一變更導(dǎo)致數(shù)據(jù)庫向“機(jī)器人管理系統(tǒng)”使用的“特征文件”中輸出多條重復(fù)條目。

一項(xiàng)常規(guī)的數(shù)據(jù)庫權(quán)限更新，致使Cloudflare的機(jī)器人管理系統(tǒng)生成了包含重復(fù)條目的超大配置文件。該文件超出系統(tǒng)內(nèi)置大小限制，導(dǎo)致網(wǎng)絡(luò)流量路由過程中相關(guān)軟件崩潰。

權(quán)限變更后，數(shù)據(jù)庫查詢返回了重復(fù)的列元數(shù)據(jù)，使特征文件中的條目從約60個(gè)翻倍至200多個(gè)，突破了系統(tǒng)為防止內(nèi)存無限制占用而硬編碼設(shè)定的200個(gè)特征上限。

5xx 錯(cuò)誤 HTTP 狀態(tài)碼在故障期間

每五分鐘系統(tǒng)會(huì)生成一次配置文件——結(jié)果可能正常也可能存在故障，具體取決于哪些集群節(jié)點(diǎn)已完成更新，這導(dǎo)致網(wǎng)絡(luò)在正常運(yùn)行與故障狀態(tài)之間反復(fù)波動(dòng)。

此外，當(dāng)超大文件在網(wǎng)絡(luò)設(shè)備間傳播時(shí)，機(jī)器人管理模塊的Rust代碼觸發(fā)系統(tǒng)崩潰并返回5xx錯(cuò)誤，進(jìn)而導(dǎo)致負(fù)責(zé)流量處理的核心代理系統(tǒng)宕機(jī)。

隨后，Cloudflare工程師定位故障根源并將問題文件替換為早期版本后，核心流量恢復(fù)正常。不久后，所有系統(tǒng)完全恢復(fù)運(yùn)行。此次中斷影響了Cloudflare的核心CDN、安全服務(wù)、Turnstile驗(yàn)證服務(wù)、Workers KV存儲(chǔ)服務(wù)、控制臺(tái)訪問、郵件安全及身份認(rèn)證服務(wù)。

Matthew Prince表示“鑒于Cloudflare在互聯(lián)網(wǎng)生態(tài)系統(tǒng)中的重要性，任何系統(tǒng)中斷都是不可接受的。”

此次中斷事件是Cloudflare自2019年以來最嚴(yán)重的一次服務(wù)中斷。以往也曾出現(xiàn)過控制臺(tái)無法訪問、新功能暫時(shí)不可用等情況，但過去六年多來，從未發(fā)生過導(dǎo)致大部分核心流量無法通過我們網(wǎng)絡(luò)的中斷事件。

今年6月，Cloudflare曾緩解過另一起大規(guī)模中斷事件，當(dāng)時(shí)導(dǎo)致多個(gè)地區(qū)的零信任WARP連接出現(xiàn)問題、身份認(rèn)證服務(wù)故障，還影響了谷歌云基礎(chǔ)設(shè)施。

10月，亞馬遜也處理了一起由重大DNS故障引發(fā)的中斷事件，該故障導(dǎo)致數(shù)百萬使用其亞馬遜網(wǎng)絡(luò)服務(wù)（AWS）云計(jì)算平臺(tái)的網(wǎng)站連接中斷。

參考及來源：https://www.bleepingcomputer.com/news/technology/cloudflare-blames-this-weeks-massive-outage-on-database-issues/