抓取规则
从哪里开始
已收录的站点先读 sitemap.xml,然后顺着页面链接逐层展开,只跟公开可访问的 HTML 页面。别的站链到你,也可能被顺着找过来。
页面级声明
robots.txt 之外,页面自己的声明也生效:
<meta name="robots" content="noindex,nofollow">
响应头里的 X-Robots-Tag 同样有效。noindex 表示这一页不收录,nofollow 表示不顺着这一页的链接走,可以单独使用。
留下什么
每页保留标题、描述和正文,用于搜索匹配和摘要。正文只用于搜索和摘要,不对外提供全文。
不收录的页面
- robots.txt 屏蔽或写了
noindex的; - 需要登录才能看的;
- 只能靠 JavaScript 渲染、抓不到正文的;
- 维基类站点的特殊页(
Special:等)和讨论页; - 带操作参数的地址(
?action=、oldid=这类)。
结果里的占位记录
站点挡住爬虫时,搜索结果里可能出现一条只有域名和一句「无法获取页面标题及内容」的记录。放开屏蔽后,下次抓取会换成正常结果。