⚡Megatron LLM Hub
←返回搜索
Twitter

Meta 爬虫高频抓取自建站点,已影响服务器正常运行。

自建站点被 AI 训练爬虫压垮资源的实例,可参考限流与封禁策略。
爬虫可用性
以前是claude爬虫疯狂爬我的网页,现在meta来疯狂爬取了,频率很高,影响到服务器正常运行了😅