⚡
Megatron
LLM Hub
English
简体中文
后台
←
返回搜索
Twitter
Meta 爬虫高频抓取自建站点,已影响服务器正常运行。
2026-10-28
@nodotbtree
更多
自建站点被 AI 训练爬虫压垮资源的实例,可参考限流与封禁策略。
爬虫
可用性
以前是claude爬虫疯狂爬我的网页,现在meta来疯狂爬取了,频率很高,影响到服务器正常运行了😅
阅读原文 ↗
查看每日简报