V2EX 最新主题· trafly·· 3 小时前AI 评分34
程序员在 MacBook 上自建个人 AI 网关:本地 4B 路由 + 多渠道聚合
[程序员] 在 MacBook 上跑了一套个人 AI 网关:本地 4B 路由 + 多渠道聚合
AI 导读
一位做 B2B GTM 的开发者把本机全部 LLM 调用收口到 MacBook Pro 上的个人 AI 网关,用 LM Studio 的 4B 模型做路由裁决、14B 做本地代码生成,LiteLLM Proxy 聚合 DeepSeek、NVIDIA NIM、DashScope、Gemini 等渠道。
来源:V2EX 最新主题 · v2ex.com