Xorsoft Search

产品简介

Xorsoft Search 是一个独立开发者构建的替代型网页搜索引擎，目标是提供一条不依赖主流商业搜索的检索路径。它的索引完全建立在 Common Crawl 这一开放网络抓取语料之上，目前覆盖超过 40 亿个网页、3350 万个域名，作者设定的目标是达到谷歌公开索引规模的百分之一左右。整个项目以非营利方式运行，暂无商业化计划。

核心功能

• 全文检索：基于 Rust 编写的全文搜索库构建索引，以 BM25 文本相关性算法召回候选结果
• 链接权重重排：在文本相关性的基础上，叠加站点级的 PageRank 信号对结果重新排序，兼顾内容匹配与站点权威度
• 多语言过滤：索引覆盖超过 150 种语言，检索时可按语言筛选结果，语言标签来自抓取时的页面元数据
• 结果规模估算：页面显示的结果数量是基于词频计算的上界估计，帮助用户判断某个查询的覆盖广度
• 统计页与说明页：公开索引规模、数据来源、排序原理与后续计划，检索过程透明可查

特色优势

它最难得的地方在于完全独立：不接入任何商业搜索接口，索引自己建、排序自己算，因此不会出现商业搜索引擎里常见的广告位与付费推广。数据来自完全公开的 Common Crawl 语料，排序逻辑与技术选型在说明页里写得清清楚楚，适合用来观察一个「从零搭搜索引擎」的真实工程实践。

应用场景

• 想摆脱商业搜索广告干扰、获得更干净结果的日常检索
• 多语言内容调研，按目标语言筛选网页资料
• 研究搜索排序技术，对照 BM25 与 PageRank 组合的实际效果
• 学术与数据研究中对公开网络语料的快速定位
• 开发者寻找自建搜索引擎的参考实现与技术路线

适用人群

关注搜索技术与信息检索的开发者；需要多语言资料检索的研究者；希望尝试非商业搜索入口的普通用户；以及正在规划爬虫、索引与排序系统的工程团队。

出品方

Xorsoft Search 由独立开发者 Evgeny 个人维护，服务器开销全部自筹，官方暂无商业化计划，并开放邮件渠道接受赞助与交流。

更新动态

• 当前索引已覆盖 40 亿页面、3350 万域名、150 余种语言
• 规划方向包括引入语义检索、优化正文抽取与打分
• 计划自建分布式爬虫与基础设施，并扩展 OpenWebSearch、维基百科等数据来源
• 项目明确表示目前没有盈利计划

官网链接

https://search.xorsoft.dev/