Neon AI Gateway 上的开放权重模型为什么快

Neon AI Gateway 通过 Databricks Foundation Model APIs 调用 Databricks 托管的开放权重模型，复用其连续批处理、KV-cache 分页、TensorRT-LLM 后端与 prompt caching 等推理优化。