AI大公司瘋狂，卻由小公司來買單。

原標題：OpenAI瘋狂，把一家公司都給爬宕機了，CEO：堪比DDoS
文章來源：量子位
內容字數：5085字

OpenAI導致小型公司網站宕機引發熱議

近日，一家名為Triplegangers的七人團隊公司因OpenAI的GPTBot導致網站宕機，引發廣泛關注。GPTBot是OpenAI用于自動抓取互聯網數據的工具，其瘋狂的行為給Triplegangers帶來了巨大的經濟損失和技術難題。

1. Triplegangers網站宕機始末

Triplegangers擁有超過65000種產品的數據庫，每個產品頁面包含至少三張圖片。OpenAI的GPTBot使用了超過600個IP地址，發送數以萬計的服務器請求，試圖下載所有內容，導致網站宕機。這實際上是一場由AI大公司造成的DDoS攻擊，給小型公司帶來了巨大的經濟負擔，包括高昂的AWS云計算費用。

2. robots.txt文件的重要性

Triplegangers網站宕機的原因是未正確配置robots.txt文件，該文件用于告知搜索引擎哪些內容不應該被抓取。OpenAI的GPTBot以及其他工具，如ChatGPT-User和OAI-SearchBot，都依賴于robots.txt文件中的指令。即使正確配置了robots.txt，OpenAI也需要24小時才能更新其策略，這期間網站仍然可能面臨風險。

3. AI公司瘋狂的原因及影響

AI公司，特別是大型語言模型公司，需要大量高質量數據進行模型訓練。數據匱乏是AI領域面臨的巨大挑戰，導致這些公司不惜一切代價收集數據，甚至不顧及小型網站的承受能力。這種行為不僅導致網站宕機，還增加了小型公司的云計算成本，造成了不公平的競爭環境。 數字廣告公司DoubleVerify的一份研究顯示，AI在2024年導致無效流量增加了86%。

4. 其他類似及行業趨勢

除了Triplegangers，Game UI Database也曾因OpenAI的導致網站癱瘓。Anthropic也曾因其行為導致客戶網站流量激增，云成本翻倍。 這表明，AI公司瘋狂并非個例，而是行業普遍存在的現象。為了獲取更多高質量數據，AI公司甚至開始向UP主高價收購未發布的視頻。

5. 反思與未來展望

Triplegangers的遭遇提醒所有在線企業，必須積極主動地配置robots.txt文件，并考慮使用其他安全措施，例如Cloudflare，來保護自己的網站免受AI的攻擊。 AI公司也需要反思其數據收集方式，在追求數據的同時，也要考慮對小型企業的保護，建立更公平合理的機制。

6. 總結

OpenAI的GPTBot導致Triplegangers網站宕機，突顯了AI公司數據收集行為對小型企業的負面影響。 這不僅是技術問題，更是倫理和商業模式的問題，需要行業共同努力尋找解決方案，建立更可持續發展的AI生態。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破