V2EX 最新主题· xxcpqzm·· 3 小时前AI 评分38
二开信源管道跑了半个月:pgvector 语义降噪与防重推送的几个深坑
[程序员] 二开信源管道跑了半个月,聊聊用 pgvector 语义降噪和防重推送踩的几个深坑
AI 导读
一位独立开发者基于开源底座二开了一套垂直情报过滤管道,单机部署在 Linux VPS 上,跑顺后每天只推 2~3 条高信噪比卡片。pgvector 语义去重上,余弦相似度阈值 0.85 会误杀同赛道不同技术方案的独立项目、放宽到 0.92 又漏进换标题的通稿,最终改为先做实体与依赖层提取(GitHub Repo 归一化、顶级域名折叠),实体不命中才走 5 轴语义打分。
来源:V2EX 最新主题 · v2ex.com