Qwen Blog·· 2024-11-15精选AI 评分62
Qwen2.5-Turbo 发布:上下文扩展到 1M tokens,首 token 延迟降至 68 秒
Extending the Context Length to 1M Tokens!
AI 导读
Qwen2.5-Turbo 把上下文长度从 128k 扩展到 1M tokens,约等于 100 万英文单词或 150 万汉字,在 1M 长度 Passkey Retrieval 任务上准确率 100%,RULER 得分 93.1,超过 GPT-4 的 91.6。
推荐理由
Qwen2.5-Turbo 把上下文从 128k 扩到 1M,并给出首 token 延迟与价格对比,可据此判断长文本场景是否值得迁移。
来源:Qwen Blog · qwenlm.github.io