ai-deploy-bench:用 Claude Code 在四家云上部署应用的基准测试
javierluraschi 发布 ai-deploy-bench,用 Claude Code 按书面规格构建五类应用并分别部署到 Cloudish、DigitalOcean、Render 和 Vercel,再由独立验证器测试线上部署。
javierluraschi 发布 ai-deploy-bench,用 Claude Code 按书面规格构建五类应用并分别部署到 Cloudish、DigitalOcean、Render 和 Vercel,再由独立验证器测试线上部署。
DigitalOcean 发布 Inference Router 增强版,用户把模型设为 inference-router 并可选偏好,路由器会按任务自动挑选表现最好的模型,无需预设或自建路由。
推荐理由:DigitalOcean 官方发布 Inference Router 增强版,公开了内部评测中准确率与成本对比,可供选型时参考。
DigitalOcean 发布 Agent Learning Services 下的两项能力:Signals 监控 Managed Agents 与 Inference Engine 的生产流量。
DigitalOcean 为 Inference Router 推出缓存感知路由,让路由器在选模型时把已缓存上下文的价值算进去,避免为换更便宜的模型而丢弃热缓存。
DigitalOcean 在 Inference Engine 上线 Model Evaluations(公测),可评估平台模型及从 Hugging Face 或 DigitalOcean Spaces 导入的模型,比较成本、延迟与输出质量。该功能支持自定义数据集、指标与评判模型,数据集限 CSV 或 JSONL、单次任务约 1K 行 / 1GB,用于在生产流量切换前验证路由策略。
DigitalOcean 详解前缀感知路由与缓存如何消除 LLM 推理中的冗余 prefill 开销:典型客服负载中 2,000 token 系统提示占输入约 91%,在 NVIDIA H200 或 AMD Instinct MI325X 上预填充需约 45–50ms、100–120 GFLOPs,每小时 1 万次请求即超 1 万亿冗余 FLOPs。
在 DigitalOcean 于旧金山举办的 Deploy 2026 大会上,Andi AI、Higgsfield AI、LawVo 和 Probably 四位创始人复盘了 AI 产品上生产的经验:模型本身不再是壁垒,难点在于衡量 agent 是否真正干活、持续打磨可靠性。
OpenCode 现已原生接入 DigitalOcean Inference Router,用户运行 /connect 并选择 Login with DigitalOcean 即可在 Model Selection 标签页中调用路由器和 Serverless Inference 模型。
DigitalOcean 发布 Inference Router,读取请求并从对话上下文判断任务类型,自动路由到配置池中最合适的模型,可按成本、延迟或质量优化,接入只需把 model 字段改成 router:software-engineering 这样的一行。
推荐理由:DigitalOcean 公开了 Inference Router 的路由模型评测数据与架构细节,可对照其与前沿模型的准确率和延迟差异。
DigitalOcean 发文拆解 LLM 推理中的吞吐、延迟、成本三难困境,指出推理是有状态、受内存带宽限制的负载,不能照搬无状态微服务的横向扩容思路。
DigitalOcean 发文拆解多副本部署下 prompt caching 命中率随副本数增长而线性衰减的问题:单副本内 vLLM、SGLang、TensorRT-LLM 可自动做前缀缓存,但轮询负载均衡下相同前缀请求只有 1/N 概率命中缓存。
DigitalOcean 发文指出,AI 系统最大的成本不是基础设施而是集成:碎片化的多云栈迫使开发者写大量胶水代码,一条典型 AI 流水线需要 5–10 个集成点,每个都带来延迟、故障风险和工程开销。
DigitalOcean 宣布 Arcee AI 的 Trinity Large-Thinking 在其 Agentic Inference Cloud 上进入 Public Preview,可通过 Serverless Inference 用 Cloud Console 或 API 直接调用。
DigitalOcean 博客介绍了 Anthropic 和 OpenAI 模型的 prompt caching 机制,把系统指令、工具 schema、RAG 文档等静态前缀缓存复用,只对新增 token 计费。
推荐理由:原文用 Kubernetes 排障助手算了一笔 token 账,并给出 Anthropic 与 OpenAI 两套缓存参数写法,可据此估算自家请求的节省空间。
Anthropic Claude Opus 4.6 现已在 DigitalOcean Gradient AI Platform 通过 Serverless Inference 提供,支持 1M-token 上下文、自适应推理与 agentic 编程。
DigitalOcean 在 Gradient AI 平台通过 Serverless Inference 上线 fal 的四款多模态模型,进入公开预览:图像生成有 Stable Diffusion XL fast(fal-ai/fast-sdxl)和 FLUX.1 schnell(fal-ai/flux/schnell)。