Order Ledger:在 WhatsApp 上离线跑账本的副业项目,用开源模型搭建
Order Ledger 是一个把 WhatsApp 消息转成账本的副业项目,基于开源模型离线运行。作者在构建过程中发现,同一模型、同一 prompt、`temperature: 0` 下重跑结果逐字节一致,失败也完全复现,这让 prompt 调整变成了真正的 A/B 测试。他还发现一条正则表达式的效果胜过了 prompt。
Order Ledger 是一个把 WhatsApp 消息转成账本的副业项目,基于开源模型离线运行。作者在构建过程中发现,同一模型、同一 prompt、`temperature: 0` 下重跑结果逐字节一致,失败也完全复现,这让 prompt 调整变成了真正的 A/B 测试。他还发现一条正则表达式的效果胜过了 prompt。
Reflection 的首个开放权重模型 Beam 正式发布,Ollama 作为 day-zero 合作方在 Ollama Cloud 上限时免费提供。Beam 是混合专家模型,总参数约 5010 亿、每 token 激活约 230 亿,支持 100 万 token 上下文,采用 Apache 2.0 许可,面向编码 agent、长时运行 agent 与数学科学推理等任务。
开发者发布 N-CODE AI Studio,一个 MIT 许可的网站审计原型,用 Ollama 运行开放权重 Gemma 3 模型,结合 Google PageSpeed Insights 的 Lighthouse 指标生成可执行建议。
Together AI 作为 Day 0 发布合作方上线 Meta 的 Muse Spark Open,这是目前能力最强的美国开源权重模型,面向长时间运行的智能体编码工作流。
推荐理由:Together AI 以 Day 0 合作方身份上线 Meta 开源权重模型,并给出 API 调用方式与三档 token 价格。
作者开源了本地优先的 AI 编码 Agent arcKode,用 Tree-sitter 解析代码库构建符号图,再据此裁剪模型需要看到的代码,以适配低显存环境。它通过 Ollama 调用本地模型,推荐默认 qwen2.5-coder:7b,数据不出本机,支持 11 种语言,索引存于 .vc/vcdb.db。项目采用 AGPL-3.0-only 许可,需 Python 3.12+ 和 uv 安装。
开发者发布开源工具 streamweights,输入一份 CSV 示例即可在本地 Mac 或 Linux 上训练小模型,无需租 GPU 或上传数据。工具会把每次训练结果与未训练模型和简单基线对比,在一个消息分类测试中基线胜出,工具如实说明;在从文本抽取结构化数据的测试中,自定义模型把完全正确的记录从 0% 提升到 50%。
Ollama Cloud 现已接入 Fly.io Sprites,每个 Sprite 是一台带独立磁盘、会话间保留状态的完整 Linux 虚拟机,开箱支持 Claude Code、Codex 和 Gemini CLI。
一个测试框架用 500 次运行(5 条模型路由 × 10 个故障用例 × 10 次重复)对比了 LLM 在写入超时后是否重复写入。
独立开发者发布开源 AI 助手 Conch,灵感来自 OpenClaw 和 Hermes,可在自己的机器或 VPS 上运行,并复用已有的 Claude Code、Codex、Copilot、Gemini 订阅或 API key、Ollama。
gen-system 用每种语言一个手写解析器构建语法树、符号索引、调用图和每个例程的控制流图,解析步骤不涉及模型,同一份代码始终得到相同的图。生成部分用 qwen3:14b 规划 Go 服务、qwen2.5-coder:14b 编写每个操作,每个操作必须单独编译通过才能进入服务文件,两次修复仍失败则变成 not implemented 桩并计入统计。
LLMxRay 是一款面向本地 LLM 的开源可观测性工具,支持实时 token 流式查看、质量分析、性能剖析与成本追踪,无需云端、API key 或费用,通过 `npx llmxray` 或 Docker 一条命令启动,需本地运行 Ollama。
Hacker News 上有人发起讨论,询问开发者是订阅 LLM 还是本地部署开源模型,并请参与者简要说明选择原因或用途。该帖由 hanstyle 发布,目前 1 分、17 分钟前,尚无评论。
Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数、Apache 2.0 许可的端侧多模态嵌入模型,原生支持文本、图像、音频和视频的统一嵌入空间。
推荐理由:Google DeepMind 发布 740M 参数的多模态嵌入模型,给出端侧内存占用与向量截断方案,可据此评估本地检索管线。
Google DeepMind 发布 EmbeddingGemma 2,这是基于 Gemma 4 架构、采用 Apache 2.0 许可的 740M 参数多模态嵌入模型,可把文本、图像、音频和视频映射到统一嵌入空间。
作者发布 GridCore,一个用 Go 编写、位于应用与 GPU 之间的调度器,通过 OpenAI API 接收请求,按 interactive、background、batch 三类优先级决定谁先占用显卡,底层仍由 llama.cpp 的 llama-server 逐模型推理。
V2EX 上有用户发帖询问 2 万块以内预算下,可以本地部署的最好模型是哪个。帖子未给出具体硬件配置或候选模型,目前仅为提问,尚无结论。
Ototo 是一个面向 Claude Code 和 OpenCode 的 MCP server,把代码探索交给部署在自有服务器上的小模型,只把带 path:line 校验引用的简短答案交回主 agent,探索过程的上下文用完即弃。
作者发布开源 Claude Code 插件 Flash-Agents,通过 MCP 把有边界的编码任务交给 DeepSeek V4.1 Flash worker,Claude 保留架构、验收标准和最终审查。
SRA-RiskGate-4B 是一个基于 Qwen/Qwen3-4B-Instruct-2507 微调的 4B 模型,用于稳定币支付生命周期的风险门控与争议裁决。
Recursant 是一个面向混合推理的 agent 感知模型路由,位于 AI agent 与模型之间,按步骤选择模型,官方称可把 AI 账单降低 30% 以上。
Loa 是一个本地优先、有状态的编码 Agent,控制层围绕显式状态转换和可变有向无环图(DAG)构建,DAG 既是执行计划也是上下文拓扑,步骤依赖决定哪些已完成结果被注入。
cliproxy-rs 是 CLIProxyAPI 的 Rust 重写版,在本地运行一个小型服务器,让 Claude Code、Codex CLI、Cursor 等编码工具通过同一个本地地址使用已有的 Claude Max、ChatGPT 等订阅和 API key,并内置面板显示各账号可用状态与剩余额度。
开发者 Shan 在 Hacker News 展示 darkroom.shannadige.com,用 Claude 驱动 SANE 扫描仪自动化 35mm 胶片处理,但首次扫描因 X/Y 方向反转损坏扫描仪齿轮,需紧急维修以免花 $200 换新。
Ollama 在 0.35 版本中加入基于 TypeSafe Jev API 的决策模型支持,通过新的 /v1/systemone 接口把文本作为 state 连同若干命名问题一次性提交,由本地模型在一次请求中全部作答,无额外费用且本地运行延迟更低。
Ollama 发布 Claude Desktop 支持,开发者可在 Ollama 中打开 Claude 开关,由 Ollama 自动配置第三方网关,从而在 Claude 里使用本地模型或 Ollama 云端模型处理更大的编码与研究任务。
NVIDIA Nemotron 3.5 Lightning 已在 Ollama 上线,可完全在本地设备运行。
Meta Superintelligence Labs 的首个开源模型 Muse Glimmer 已在 Ollama 上线,这是一个 30B 多模态模型,面向本地运行的 Agent 工作负载,上下文长度 128K+,采用 Apache 2.0 许可。
Ollama 宣布完成 8800 万美元融资,由 Benchmark 的 Peter Fenton 领投,Theory Ventures、8VC、Y Combinator 及 Docker 创始人 Solomon Hykes 等参投。
Ollama 更新了 MLX 引擎,称在 Apple Silicon 上实现迄今最高性能,模型响应更快、质量更高且占用内存更少。新引擎支持 NVIDIA 的 NVFP4 格式,官方称相比 q4_K_M 约将 4-bit 量化的质量损失减半,输出速度约快 20%。
Ollama 0.30 发布,通过 llama.cpp 增强 GGUF 模型兼容性,并补充 Apple silicon 上的 MLX 引擎。NVIDIA 硬件性能最高提升 20%,Vulkan 默认启用,将 GPU 加速扩展到 AMD 和 Intel 设备。新版本还支持 LFM、Prism 及 Unsloth 发布的微调模型,并可直接从 Hugging Face 运行 GGUF 模型。
NVIDIA Nemotron 3 Ultra 已在 Ollama 云上线,这是一个 550B 参数(激活 55B)的开源模型,面向长时间运行的 agentic 工作流,支持数百次工具调用。
Ollama 宣布在 Claude Code 中支持子代理(subagents)和联网搜索,无需 MCP 服务器或 API key,用 ollama launch claude --model minimax-m2.5:cloud 即可启动,并适用于 Ollama 云上的任意模型。
Ollama 发布新命令 ollama launch,可自动配置并运行 Claude Code、OpenCode、Codex、Droid 等编码工具,支持本地或云端模型,无需环境变量和配置文件。
Ollama v0.14.0 及之后版本兼容 Anthropic Messages API,Claude Code 现在可以搭配任意 Ollama 模型使用,既可跑本地模型,也可通过 ollama.com 连接云端模型。
Ollama 官方说明 OpenAI 的 Codex CLI 可以通过 Ollama 使用开源模型,Codex 能在工作目录中读取、修改并执行代码。
MiniMax M2 现已在 Ollama 云端可用,可通过 ollama run minimax-m2:cloud 调用,该模型面向编码与 Agent 工作流。
Ollama 云端服务新增 GLM-4.6 和 Qwen3-Coder-480B 两个编码模型,并更新了 Qwen3-Coder-30B 的工具调用能力。用户可用 ollama run glm-4.6:cloud 或 ollama run qwen3-coder:480b-cloud 调用,显存超过 300GB 的用户还能在本地运行 qwen3-coder:480b。
Ollama 上线 web search API,个人账号可免费使用,更高调用频率需通过 Ollama 云订阅获得。该能力以 REST API 提供,并在 Ollama 的 Python 和 JavaScript 库中做了更深的工具集成,可让模型获取最新网页信息以减少幻觉,也支持 gpt-oss 等模型执行长时间研究任务。
Ollama 上线云端模型预览,让开发者在本地工具链中运行个人电脑装不下的大模型,云端不保留用户数据。
Ollama 与 OpenAI 合作,把 gpt-oss 的 20B 和 120B 两个开源权重模型带到 Ollama,支持函数调用、网页搜索、python 工具调用和结构化输出,并可调节 low、medium、high 三档推理强度。
推荐理由:Ollama 与 OpenAI 合作上线 gpt-oss 两个开源权重模型,并给出本地运行的显存门槛与命令。