robots.txt书写错误导致的严重后果
robots介绍就是一个网站根目录的txt文本,需要自己建立的,目的就是告诉搜索引擎哪些页面可以抓取,哪些页面不准抓取。事情的起因就是我建立了这个东西,下面就是我写的东西。User-agent: * Disallow: /a*/这个是不准抓的链接 Disallow:/install/这个是不准...
2016年10月22日

🌸 泽泽社长
吾本非鸟,但愿与君高飞,南方小岛
375
文章数
276
标签数
8134
评论量
最新回复
随便看看
2017年05月26日
2017年07月25日
2018年02月15日
2020年08月07日
2020年02月29日
广告赞助