网站日志是什么?怎么看搜索引擎来没来抓取

发布时间: 更新时间:
举报

网站日志是服务器记录的每一次访问明细,搜索引擎爬虫来没来、抓了什么、返回了什么状态,日志里一清二楚。它是网站和搜索引擎沟通的原始记录,排查收录问题时是关键证据。

一、日志在哪里、怎么看

  • 虚拟主机和云服务器的控制台一般提供日志下载

  • 日志是纯文本,按天分割,可用文本工具或日志分析工具打开

  • 重点看三列:来访IP(是否搜索引擎爬虫)、请求的URL、返回状态码

二、状态码的含义速查

200正常返回;301永久跳转;404页面不存在;500服务器错误;抓取大量404说明有死链要处理,500说明服务器不稳,都是收录下滑的常见根源。

三、用日志回答两个问题

一是百度来抓了没有:连续多日无爬虫到访,去搜索资源平台看抓取异常;二是它抓什么:爬虫反复抓同一批无价值页面,用robots和内链调整引导它抓内容页。

日志分析入门不难,每月抽半小时看一次。读懂日志的人,网站排查看的是因果,不是玄学。