robots.txt书写错误导致的严重后果
robots介绍就是一个网站根目录的txt文本，需要自己建立的，目的就是告诉搜索引擎哪些页面可以抓取，哪些页面不准抓取。事情的起因就是我建立了这个东西，下面就是我写的东西。User-agent: *
Disallow: /a*/这个是不准抓的链接
Disallow:/install/这个是不准...
2016年10月22日
15720阅读
闲言碎语