跳到正文
原文
Mistral News·· 2024-10-16精选AI 评分62

Mistral 发布 Ministral 3B 与 8B 边缘模型

Un Ministral, des Ministraux

AI 导读

Mistral AI 发布 Ministral 3B 和 Ministral 8B 两款面向端侧与边缘计算的模型,支持最高 128k 上下文(vLLM 上目前为 32k),8B 采用交错滑动窗口注意力以提升推理速度并降低内存占用。

推荐理由

Mistral 发布两款 3B 与 8B 边缘模型,给出 API 定价和基准对比,可据此评估端侧与 Agent 场景的选型成本。

来源:Mistral News · mistral.ai