1、如何拒绝搜索引擎爬取不相关的JS接口URL;
      如下图所示:JS接口URL都有一个特性,前缀是 /index.php?m=api&c=Ajax&a=
Robots技巧_蜘蛛访问统计插件(图1)

可以编辑网站的根目录下robots.txt文件,追加一条如下代码:
Disallow: /index.php?m=api&c=Ajax&a=* 


2、如何拒绝搜索引擎爬取不想被收录的插件URL;
      如下图所示:每个插件URL都有一个特性,前缀是 /index.php?m=plugins&c=插件标识

Robots技巧_蜘蛛访问统计插件(图2)

红色圈住的是一个微信分享插件,如果这个URL在浏览器上打开是无效页面,可以通过如下robots.txt规则进行屏蔽,拒绝搜索引擎爬取。
编辑网站的根目录下robots.txt文件,追加一条如下代码:
Disallow: /index.php?m=plugins&c=WeixinShare&a=*

 小秋同学  后台操作  2021-03-23 11:16:49    收藏:  赞(965)
源码网-一个不错的学习网站
本文地址:https://www.yuanma.cc/article/houtaicaozuo/1383.html 复制链接 如果还有疑问,欢迎加入我们的QQ交流群:887790 加入Q群 易优最新程序下载: 点击下载
QQ在线咨询