Skip to content

内容检索与推荐召回系统 ​

这是内容平台的分发后端:作者发布内容后建倒排索引使其可被找到,用户搜索时按 BM25 相关性 + 热度 + 时间衰减排序,没有明确意图时用热门、标签、相似、新内容探索四路召回并混排生成推荐流;点击、点赞、收藏、停留时长异步回流,更新内容热度与用户画像,回调下一轮排序。它解决的是找内容不能靠 LIKE 全表扫描、冷启动不能只推热门这类问题,也是搜索、推荐、广告、RAG 检索层共用的骨架。

网络层复用自研 muduo,HTTP 解析写在应用层。

技术栈:C++17 · 自研 muduo · MySQL · cppjieba · nlohmann/json · spdlog · CMake

链路划分 ​

text
HTTP 接入层(muduo + 应用层 HTTP 解析)
  ├─ content_service     内容发布 / 详情 / 软删除
  ├─ search_service      查询解析、求交求并、排序、分页
  ├─ behavior_service    点击 / 点赞 / 收藏 / 停留时长上报
  ├─ recommend_service   用户画像 + 多路召回 + 混排
  ├─ index               分词、倒排索引、索引快照
  └─ cache / storage     查询缓存、MySQL、快照 + WAL

关键设计 ​

  • 倒排索引:标题与正文分开分词,按 term 建 posting list;多关键词采用短链优先求交,降低无效扫描。
  • 三维排序:BM25 相关性 + 热度分 + 时间衰减,标题命中单独加权。
  • 推荐不是单路:热门、标签、相似、新内容探索多路召回,去重后混排,避免冷启动只能推热门。
  • 行为回调:点击、点赞、收藏、停留时长异步落库,同时更新内容热度与用户画像,让搜索排序和推荐流吃到真实反馈。
  • 索引持久化:快照 + 增量日志(WAL)回放,重启不丢索引。

当前进度 ​

阶段内容状态
0设计与技术预研完成
1服务骨架、发布/详情/删除、冒烟完成
2分词与倒排索引完成
3查询执行与排序(BM25 + 热度 + 新鲜度)完成
4行为异步落库、用户画像、多路召回完成
5缓存优化(LRU + TTL)待开始
6索引持久化与恢复待开始
7压测与性能校准待开始

README 里的里程碑表停留在阶段 1,实际代码已推进到阶段 4;阅读时以 docs/项目开发日志/ 的状态为准。

源码 ​

GitHub · Fast_Content_Recall