跳到正文
原文
V2EX 最新主题· trafly·· 3 小时前AI 评分34

程序员在 MacBook 上自建个人 AI 网关:本地 4B 路由 + 多渠道聚合

[程序员] 在 MacBook 上跑了一套个人 AI 网关:本地 4B 路由 + 多渠道聚合

AI 导读

一位做 B2B GTM 的开发者把本机全部 LLM 调用收口到 MacBook Pro 上的个人 AI 网关,用 LM Studio 的 4B 模型做路由裁决、14B 做本地代码生成,LiteLLM Proxy 聚合 DeepSeek、NVIDIA NIM、DashScope、Gemini 等渠道。

来源:V2EX 最新主题 · v2ex.com