跳到主要内容

它是怎么工作的

一个页面从被发现到出现在结果里,大致经过四步。爬虫是 Python 写的,索引用 Meilisearch,结果页是 PHP 站点,三段都跑在自己的服务器上。

发现​

从已收录站点的链接一层层往外找;站点有 sitemap.xml 的话会先读它。robots.txt 不允许抓的地址不进队列。

抓取​

只取服务器直接返回的 HTML,不执行 JavaScript,也不碰需要登录的内容。对同一站点的请求有间隔限制,robots.txt 里的 Crawl-delay 有效。内容没变过的页面不会重复下载。

抽取​

从 HTML 里提取标题、描述和正文,搜索和摘要用的就是这些。被 robots 屏蔽或人机验证挡住的页面,只留一条说明。

索引与排序​

提取出的内容写进自己的 Meilisearch 索引,搜索时直接在这份索引里查,不转发给别的搜索引擎。谁排前面由排序规则决定;排序之后还有一道安全搜索过滤。