RAMDeck:把旧电脑内存池化,在局域网跑 120B AI 模型的开源工具与硬件中枢
开发者发布 RAMDeck,通过 mDNS 自动发现局域网内的 Windows、Mac、Android 设备,把各机物理内存池化并按层切分模型,让 6 台设备合计 78 GB 内存跑起 60 GB 的 120B 模型 command-r-plus-104b-q4,速度 1.37 tok/s,连续压测 3 天。
开发者发布 RAMDeck,通过 mDNS 自动发现局域网内的 Windows、Mac、Android 设备,把各机物理内存池化并按层切分模型,让 6 台设备合计 78 GB 内存跑起 60 GB 的 120B 模型 command-r-plus-104b-q4,速度 1.37 tok/s,连续压测 3 天。
Cohere 在 ProgramBench 的 200 个程序重建任务上测试编码 Agent 团队的五种设计选择,发现把 worker 只放在探索与规划阶段最划算:异步 Sol 团队只委派规划阶段达到 63.6% 通过率,与委派全部三阶段的 63.2% 相当,成本却从 $510 降到 $249。
推荐理由:Cohere 用 ProgramBench 对照实验拆解编码 Agent 团队的五项设计选择,给出规划阶段用便宜模型即可接近全强模型效果的成本数据。
开发者 watzon 发布开源听写应用 Sayso,支持 macOS、Windows 和 Linux,按快捷键说话即可把文字粘贴进当前应用。
Cohere 建议按「请求画像 → 流量模式 → 利用率 → 部署选择」来决定 Embed 与 Rerank 用共享按量推理还是专用预留推理,而非只比价格。
Token Barometer 在 Hacker News 发布,按日追踪 1,302 个模型、3,592 个托管服务的 LLM API 标价,统一换算为每 1M tokens 的美元价格,并保留完整价格历史。
Agentability 是一个公开实验:AI 制作人每天读取当日搜索热点并生成十件真实网页差事,再由 AI agent 仅用纯 HTTP GET(无登录、无 JavaScript、无人工协助)尝试完成,所有记录逐字公开。
Cohere 发布 Embed 5 系列嵌入模型,分为 Embed 5 Pro 和 Embed 5 Fast 两档,均支持 128K 上下文、文本与图像输入、100 多种语言和多种压缩输出格式。
推荐理由:Cohere 发布 Embed 5 系列,给出 Pro 与 Fast 两档的定价、共享向量空间和跨模型检索数据,便于评估检索栈成本。
Cohere 的检索平台 Compass 以托管服务 Compass Cloud 形式进入私有测试,由 Cohere 负责整条流水线与模型推理,自托管部署仍保留给隐私受限项目。
私有 iOS 27 与 macOS 框架显示,Apple 的 Model Delegation 机制可让 Claude 或 GPT-5.6 接管 Siri 的自然语言请求,再把手动操作交回 Siri,还能整体替换 Apple 服务端 Siri 模型而保留原有 UI 与语音。
Cohere 发布视觉语言模型 Parse,用于把表格、内嵌图片等复杂多模态文件转成结构化 Markdown,支持九种语言,可通过 Cohere API 调用,价格为每 1000 页 1.50 美元,也可部署在 Model Vault 做单租户推理。
推荐理由:Cohere 发布文档解析模型 Parse,公开了每千页定价、吞吐量和与多家解析方案的评测对比。
Cohere 发布 North Mini Code,这是其首个开源 agentic 编码模型,采用 MoE 架构,30B 总参数、3B 激活,Apache 2.0 许可,支持 256K 上下文。
推荐理由:Cohere 首款开源 agentic 编码模型,30B 总参数仅 3B 激活,可本地部署,适合关注小模型编码能力的开发者。
Cohere 发布开源 ASR 模型 Transcribe(cohere-transcribe-03-2026),采用 Conformer 编码器-解码器架构,2B 参数,Apache 2.0 许可,支持 14 种语言,已在 Hugging Face 开放下载。
推荐理由:Cohere 发布开源 ASR 模型 Transcribe,给出 5.42% 平均 WER 与 14 种语言支持,可对照 Whisper 等模型评估选型。
Ollama 于 7 月 25 日宣布支持工具调用,模型可借助已知工具完成更复杂任务或与外部世界交互,例如函数与 API、网页浏览、代码解释器。开发者可在 Ollama API 的 tools 字段传入工具列表,受支持模型会返回 tool_calls 响应,工具结果通过 tool 角色的消息回传。
Weights & Biases 基于 llama-index、FAISS 向量库、Cohere embeddings 和 OpenAI GPT-4 构建了 RAG 问答机器人 WandBot,并托管在 Replit 上,可接入 Discord、Slack、Zendesk 和 ChatGPT GPTs。
Nat Friedman 通过 Replit Bounties 悬赏招募开发者 Zain Huda,打造出 LLM 对比工具 nat.dev,Matt Huang 与 Alexandr Wang 共同出资。