跳到正文
原文
HackerNoon· vishwa vimukthi gammuduwaththage·· 5 小时前AI 评分36

开放推理网络:让智能算力民主化

Open Inference Networks: Democratic Access to Intelligence

AI 导读

本地推理已可用 llama.cpp 和 Ollama 一行安装,4-bit 量化把权重内存压到约四分之一,RTX 5090 跑 Llama 3.1 8B 达 150 tokens/秒,30 tokens/秒即视为舒适对话门槛。

来源:HackerNoon · hackernoon.com