当前位置:首页 > IT知识 > 正文

宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取

宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取

前言:有些网站不想做SEO,加上可能配置不好,各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。

方案:首先你得拥有一个宝塔防火墙,直接在防火墙里找到:User-Agent过滤,然后添加以下规则内容:

(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)

宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取




相关文章:

  • 宝塔面板-网站404 502错误页设置2023-04-13 16:43:52
  • 宝塔面板自动清除所有计划任务日志2023-04-13 16:43:52
  • twcms增加最大翻页数2023-04-13 16:43:52
  • wellcms 搜索翻页如何启用 怎么修改2023-04-13 16:43:52
  • 发表评论

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。