Fly.io Blog·· 2024-09-24AI 评分30
Livebook 如何用 FLAME 和 Nx 在笔记本上调度 AI GPU 集群
AI GPU Clusters, From Your Laptop, With Livebook
AI 导读
Livebook 结合 FLAME 与 Nx 栈,可从笔记本直接启动运行在 Fly.io 云上 Fly Machine 的运行时,并调度 GPU 机器做 AI 计算。演示中 FLAME 池把视频抽帧交给 GPU 上的 Llama 生成描述、再由 Mistral 汇总,并支持 64 台 L40s GPU 机器做 BERT 超参调优。
来源:Fly.io Blog · fly.io