0°

BUbiNG 蜘蛛 屏蔽

120 个字符,1 张图片,大约需要 1 分钟阅读

早晨看日志,发现一蜘蛛

BUbiNG 蜘蛛 屏蔽

查了查,国外的,没啥软用

将以下加入robots.txt屏蔽掉

User-agent: BUbiNG
Disallow: /

描述网页:http://law.di.unimi.it/BUbiNG.html

除非注明,否则均为喵喵喵博客原创文章,转载请以链接形式标明本文地址

本文链接:https://www.miaomiaomiao.org/9158.html

2 条回复 A 作者 M 管理员
  1. 现在各大搜索蜘蛛也是越来越卖力了!~

    • 这个还比较好,遵守robots协议,简单就屏蔽掉了,那种不遵守的才是真的烦!~

欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论