网站日志是什么?怎么看搜索引擎来没来抓取
item.url === image.getAttribute('src')); if (position >= 0) open(position, image); }"
@keydown="if (['Enter', ' '].includes($event.key) && $event.target.matches('.listing-rich-body figure img')) { $event.preventDefault(); $event.target.click(); }">
网站日志是服务器记录的每一次访问明细,搜索引擎爬虫来没来、抓了什么、返回了什么状态,日志里一清二楚。它是网站和搜索引擎沟通的原始记录,排查收录问题时是关键证据。
一、日志在哪里、怎么看
虚拟主机和云服务器的控制台一般提供日志下载
日志是纯文本,按天分割,可用文本工具或日志分析工具打开
重点看三列:来访IP(是否搜索引擎爬虫)、请求的URL、返回状态码
二、状态码的含义速查
200正常返回;301永久跳转;404页面不存在;500服务器错误;抓取大量404说明有死链要处理,500说明服务器不稳,都是收录下滑的常见根源。
三、用日志回答两个问题
一是百度来抓了没有:连续多日无爬虫到访,去搜索资源平台看抓取异常;二是它抓什么:爬虫反复抓同一批无价值页面,用robots和内链调整引导它抓内容页。
日志分析入门不难,每月抽半小时看一次。读懂日志的人,网站排查看的是因果,不是玄学。
