GitHub Trending · 每日·· 6 天前AI 评分62
微软开源 bitnet.cpp:1-bit LLM 推理框架,CPU 最高提速 6.17x
microsoft/BitNet
AI 导读
微软发布 bitnet.cpp,这是 1-bit LLM(如 BitNet b1.58)的官方推理框架,提供优化内核,支持在 CPU 和 GPU 上快速无损推理 1.58-bit 模型,NPU 支持即将推出。
来源:GitHub Trending · 每日 · github.com
microsoft/BitNet
微软发布 bitnet.cpp,这是 1-bit LLM(如 BitNet b1.58)的官方推理框架,提供优化内核,支持在 CPU 和 GPU 上快速无损推理 1.58-bit 模型,NPU 支持即将推出。
来源:GitHub Trending · 每日 · github.com