跳到正文

#DigitalOcean

今日 0 条
10月14日周三
10月12日周一
8月21日周五
6月5日周五
  1. DigitalOcean Blog40

    DigitalOcean 推出 Model Evaluations:验证你的推理路由策略是否真的有效

    DigitalOcean 在 Inference Engine 上线 Model Evaluations(公测),可评估平台模型及从 Hugging Face 或 DigitalOcean Spaces 导入的模型,比较成本、延迟与输出质量。该功能支持自定义数据集、指标与评判模型,数据集限 CSV 或 JSONL、单次任务约 1K 行 / 1GB,用于在生产流量切换前验证路由策略。

6月2日周二
5月30日周六
5月29日周五
5月20日周三
  1. DigitalOcean Blog60

    DigitalOcean 发布 Inference Router,按任务自动路由到最合适的模型

    DigitalOcean 发布 Inference Router,读取请求并从对话上下文判断任务类型,自动路由到配置池中最合适的模型,可按成本、延迟或质量优化,接入只需把 model 字段改成 router:software-engineering 这样的一行。

    推荐理由:DigitalOcean 公开了 Inference Router 的路由模型评测数据与架构细节,可对照其与前沿模型的准确率和延迟差异。

4月22日周三
4月8日周三
4月3日周五
4月2日周四
3月18日周三
  1. DigitalOcean Blog58

    Anthropic 与 OpenAI 模型的 Prompt Caching:如何构建低成本的 AI 系统

    DigitalOcean 博客介绍了 Anthropic 和 OpenAI 模型的 prompt caching 机制,把系统指令、工具 schema、RAG 文档等静态前缀缓存复用,只对新增 token 计费。

    推荐理由:原文用 Kubernetes 排障助手算了一笔 token 账,并给出 Anthropic 与 OpenAI 两套缓存参数写法,可据此估算自家请求的节省空间。

2月7日周六
10月23日周四