跳到正文

主题:基础设施与部署

今日 8 条
10月8日周四
  1. V2EX 最新主题42

    LAYA 本地开源决策模型更新决策模型训练工作台,新增决策模型与目标检测训练

    基于 LAYA 本地开源决策模型的决策模型训练工作台更新,新增决策模型训练和目标检测训练两项功能。决策模型训练(开源版 JEV)支持用任意 Hugging Face 编码器新建 Laya 格式模型或在官方 Laya 权重上微调,训练结果由项目自有服务端提供,接口仍为 /v1/systemone,4 GB 显存即可训练小模型,无显卡可用 CPU 训练。

  2. V2EX 最新主题22

    吉吉 API 上线 Claude Haiku 5.5,对标 GPT-6 Luna

    吉吉 API 第一时间上线 Claude Haiku 5.5,Anthropic 官方定位其为目前最快、最便宜、能力最强的小模型,也是首款支持可调节推理强度的 Haiku。官方测试中 Computer Use 达 72.4%(Luna 48.9%)、Terminal Agent 39.2%(Luna 16.4%)、FrontierCode 46.4%(Luna 42.4%)。回复可领测试鸡蛋。

  3. dev.to · SaaS22

    低成本 AI 聊天机器人后端:创业 SaaS 如何对比两套 Token 预算

    创业 SaaS 选低成本 AI 聊天机器人后端,应先用自己的工单集设两道预算:路由决策的质量下限和面向客户回复的延迟上限,候选方案通过后才比较每 Token 价格。建议对明显工单走小型同步路径、不确定工单走升级路径、无需阻塞回复的工作走批处理,并以「每张被接受工单的成本」而非每请求成本做对比。

  4. HackerNoon34

    开源还是闭源 LLM?独立开发者到底该用哪个

    面向 Agent 开发者,多数场景的答案是两者都用:难推理任务用闭源前沿模型,嵌入、重排、抽取等高频重复任务用自托管的开放权重模型。文章指出所谓"开源"多为开放权重,OLMo、Pythia、T5 才算开源,Qwen3、DeepSeek V4、Llama 4、gpt-oss 属开放权重,且许可证差异大。计费上闭源 API 按 token、自托管 GPU 按小时,高频稳定负载自托管更省。

  5. OpenRouter Blog38

    OpenRouter 的 AI 销售代理 Rasp 如何为 5 人销售团队每月省下 600 小时

    OpenRouter 自研的 AI 销售代理 Rasp 每月为其 5 人销售团队省回约 600 小时,相当于每位 AE 每周约 28 小时。它自主发送 93% 的首次触达邮件,把单场 demo 的工作量从 103 分钟压到 44 分钟,成交周期缩短 34%,成交率提升 2.6 倍。得益于 Ori 路由层自动切换到更便宜的模型,Rasp 每天成本约 $30,而它取代的代理每天接近 $800。

  6. Reddit r/SaaS22

    Saintsallabs 推出桌面 AI 助手 SaintSal,用 HACP 引擎自动路由模型以压低 AI 账单

    Saintsallabs 的 Heather 在 Reddit 介绍桌面 AI 助手 SaintSal(助手名 Sal),支持 Mac 和 Windows,免费试用地址 saintsal.ai。其 HACP 引擎按请求难度自动分配模型,简单任务走轻量模型、复杂任务走大模型,以减少 token 消耗和账单,用户可自行设置路由边界。团队正征求关于成本敏感度、是否信任自动路由以及全天常驻需求的反馈。

  7. AWS Machine Learning Blog62

    AWS 在 Amazon Bedrock 上线 Claude Haiku 5.5

    AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线,据 Anthropic 称这是 Claude 5.5 系列中速度最快、成本最低的模型,多数任务成本比 Claude Haiku 4.5 低约 75%。

    推荐理由:AWS 官方说明 Haiku 5.5 在 Bedrock 上的可用区域、调用方式与成本定位,便于评估是否接入。

  8. Vercel News60

    OpenAI Decisions API 上线 Vercel AI Gateway

    OpenAI 的 Decisions API 现已通过 Vercel AI Gateway 提供,端点为 /v1/decisions,请求与响应格式与 OpenAI 一致,现有 OpenAI SDK 集成只需更换 base URL、凭证和模型 ID 即可切换。

    推荐理由:Vercel 在 AI Gateway 上线 OpenAI Decisions API,开发者可了解结构化决策接口的接入方式与可用模型。

10月7日周三
  1. Hacker News 首页26

    我们为 AI Agent 记忆做了一套替代 Vector RAG 的方案

    针对传统 Vector RAG 的固定"检索-生成"流程,有团队提出面向 AI Agent 的 agentic RAG:由 Agent 自行决定何时检索、调用哪些工具并评估结果。文章指出分块会破坏文档结构、embedding 只衡量相似度而非业务相关性,且一次检索往往不够;向量数据库、embedding 与分块并未过时,仍适用于大型文档库与语义搜索,但不应成为每个 Agent 的默认起点。

  2. Hacker News 首页50

    像 1866 年那样写作:LLM 重新学会电报体

    作者发布 Telegraph Test 基准,用 50 篇文本、约 1300 道题测试让模型用 1866 年电报体(cablese)压缩记录的效果。在相同指令下各模型压缩率从 25% 到 49% 不等,GLM-5.3-Flash 自身节省 48.4%,跨模型读取恢复比为 0.99–1.10,即压缩记录被其他模型读取的准确率不低于纯文本。