跳到正文
原文
Qwen Blog·· 2024-11-15精选AI 评分62

Qwen2.5-Turbo 发布:上下文扩展到 1M tokens,首 token 延迟降至 68 秒

Extending the Context Length to 1M Tokens!

AI 导读

Qwen2.5-Turbo 把上下文长度从 128k 扩展到 1M tokens,约等于 100 万英文单词或 150 万汉字,在 1M 长度 Passkey Retrieval 任务上准确率 100%,RULER 得分 93.1,超过 GPT-4 的 91.6。

推荐理由

Qwen2.5-Turbo 把上下文从 128k 扩到 1M,并给出首 token 延迟与价格对比,可据此判断长文本场景是否值得迁移。

来源:Qwen Blog · qwenlm.github.io