跳转到文档内容

2 篇文章 文档包含 "vLLM"

查看全部标签

HAMi v2.11 Remote GPU 实战:Run CUDA Anywhere

· 阅读需要 19 分钟

HAMi v2.11.0 新增了 Remote GPU(远程 GPU 访问) 功能,可以让 CPU-only 机器访问其他机器上的 GPU,该功能可以让 CUDA 工作负载与 GPU 资源可以跨节点部署。

以往在 Kubernetes 中运行 CUDA 或 vLLM 工作负载,通常需要将 Pod 调度到 GPU 所在的节点。现在,Pod 可以运行在独立的 CPU 节点上,通过网络使用 GPU Server 提供的算力,客户端无需本地 GPU 和 NVIDIA 驱动。

「你的算力用的好么?」李孟轩 vLLM Meetup 分享回顾:vLLM 推理集群优化的三个阶段

· 阅读需要 11 分钟
HAMi 维护者,密瓜智能联合创始人兼 CTO

vLLM 推理集群优化的三个阶段|李孟轩

2026 年 7 月 16 日,密瓜智能(Dynamia)联合创始人兼 CTO、HAMi 作者 李孟轩 在 vLLM Meetup 上做了一场关于 vLLM 部署与算力优化 的技术分享。围绕一个直击痛点的问题:「你的算力用的好么?」,他系统梳理了 vLLM 推理集群从"能跑起来"到"把算力榨干"的演进路径,把整个优化过程拆解为清晰的三个阶段。

本文结合分享 PPT 与现场纪要,带大家完整回顾这场干货满满的分享。

CNCFHAMi 是 CNCF 孵化项目