跳到主要内容

抓取规则

从哪里开始​

已收录的站点先读 sitemap.xml,然后顺着页面链接逐层展开,只跟公开可访问的 HTML 页面。别的站链到你,也可能被顺着找过来。

页面级声明​

robots.txt 之外,页面自己的声明也生效:

<meta name="robots" content="noindex,nofollow">

响应头里的 X-Robots-Tag 同样有效。noindex 表示这一页不收录,nofollow 表示不顺着这一页的链接走,可以单独使用。

留下什么​

每页保留标题、描述和正文,用于搜索匹配和摘要。正文只用于搜索和摘要,不对外提供全文。

不收录的页面​

  • robots.txt 屏蔽或写了 noindex 的;
  • 需要登录才能看的;
  • 只能靠 JavaScript 渲染、抓不到正文的;
  • 维基类站点的特殊页(Special: 等)和讨论页;
  • 带操作参数的地址(?action=、oldid= 这类)。

结果里的占位记录​

站点挡住爬虫时,搜索结果里可能出现一条只有域名和一句「无法获取页面标题及内容」的记录。放开屏蔽后,下次抓取会换成正常结果。