跳到正文
原文
HackerNoon· Ishank Choudhary·· 5 小时前AI 评分47

无 GPU 运行 NVIDIA Nemotron 3.5 Bolt E4B:基准测试结果

Running NVIDIA Nemotron 3.5 Bolt E4B Without a GPU: Benchmark Results

AI 导读

在 8 vCPU Xeon、16 GB 内存、无 GPU 的虚拟机上,用 llama.cpp 跑 NVIDIA Nemotron 3.5 Bolt E4B 的 Q4_K_M GGUF,生成速度约 11 tokens/s。

来源:HackerNoon · hackernoon.com