robots.txt怎么写?告诉爬虫什么能看什么别看

发布时间: 更新时间:
举报

robots.txt是网站根目录下给搜索引擎爬虫看的说明文件,告诉它哪些目录可以抓、哪些不要抓。它是个小文件,但配错了会直接影响收录。

一、基础语法

  • User-agent: 定义针对哪个爬虫,星号代表所有

  • Disallow: 禁止抓取的路径,Allow: 在禁止范围内放行的例外

  • Sitemap: 声明网站地图地址,帮助爬虫发现内容

二、常见的合理配置

后台管理目录、程序目录、搜索结果页通常设为禁止抓取;产品、文章、案例等内容页保持开放。禁止不等于保密——robots只是礼貌性提示,敏感目录的真正防线是权限控制,别指望robots当门锁。

三、配错了的后果

把整站Disallow是网站从搜索消失的经典事故,改版迁移时尤其容易发生。上线检查清单里加一条:浏览器直接访问 /robots.txt,确认内容正确。

robots是收录管理的入门工具,配合搜索资源平台的抓取诊断验证效果。花十分钟学会它,网站和搜索引擎的沟通就顺畅了。