robots.txt怎么写?告诉爬虫什么能看什么别看
item.url === image.getAttribute('src')); if (position >= 0) open(position, image); }"
@keydown="if (['Enter', ' '].includes($event.key) && $event.target.matches('.listing-rich-body figure img')) { $event.preventDefault(); $event.target.click(); }">
robots.txt是网站根目录下给搜索引擎爬虫看的说明文件,告诉它哪些目录可以抓、哪些不要抓。它是个小文件,但配错了会直接影响收录。
一、基础语法
User-agent: 定义针对哪个爬虫,星号代表所有
Disallow: 禁止抓取的路径,Allow: 在禁止范围内放行的例外
Sitemap: 声明网站地图地址,帮助爬虫发现内容
二、常见的合理配置
后台管理目录、程序目录、搜索结果页通常设为禁止抓取;产品、文章、案例等内容页保持开放。禁止不等于保密——robots只是礼貌性提示,敏感目录的真正防线是权限控制,别指望robots当门锁。
三、配错了的后果
把整站Disallow是网站从搜索消失的经典事故,改版迁移时尤其容易发生。上线检查清单里加一条:浏览器直接访问 /robots.txt,确认内容正确。
robots是收录管理的入门工具,配合搜索资源平台的抓取诊断验证效果。花十分钟学会它,网站和搜索引擎的沟通就顺畅了。
