跳转到文档内容

HAMi GPU Descheduler:自动整理 Kubernetes 集群的 GPU 碎片

· 阅读需要 11 分钟
易鑫训推团队

GPU 是 Kubernetes 集群里最昂贵的资源,因此大多数团队会选择共享使用。借助 HAMi,一张物理 GPU 可以被切分成多个虚拟 GPU 分配给不同的 Pod,每个 Pod 都拥有独立的显存和算力隔离。

但共享也带来了一个长期运行的集群迟早会遇到的问题:GPU 碎片化。弹性伸缩、滚动升级、失败重试,Pod 不断创建销毁,每次都会在 GPU 上留下小块碎片。某一天,一个新 Pod 申请一整张 GPU,监控面板显示集群还有大量空闲显存,这个 Pod 却一直 Pending。容量明明存在,只是散落成了无法使用的碎片。

本文解释 GPU 碎片化的成因、手工治理为什么困难,以及 HAMi GPU Descheduler 如何自动化地解决这个问题。

HAMi v2.11 Remote GPU 实战:Run CUDA Anywhere

· 阅读需要 19 分钟

HAMi v2.11.0 新增了 Remote GPU(远程 GPU 访问) 功能,可以让 CPU-only 机器访问其他机器上的 GPU,该功能可以让 CUDA 工作负载与 GPU 资源可以跨节点部署。

以往在 Kubernetes 中运行 CUDA 或 vLLM 工作负载,通常需要将 Pod 调度到 GPU 所在的节点。现在,Pod 可以运行在独立的 CPU 节点上,通过网络使用 GPU Server 提供的算力,客户端无需本地 GPU 和 NVIDIA 驱动。

HAMi 加入 Vultr 开源联盟

· 阅读需要 3 分钟
HAMi 社区

HAMi 社区高兴地宣布,HAMi 已加入新成立的 Vultr 开源联盟(Vultr Open Source Alliance),成为其六家创始成员之一,其他创始成员还包括 Spinifex、Upbound、Qdrant、Valkey 与 NetBird。

该联盟于 2026 年 11 月 10 日正式发布,汇聚开源项目与基础设施提供商,帮助组织以生产级云基础设施的性能、规模与可控性来部署和运营开源技术。

HAMi v2.11.0 发布:Remote GPU 调度、AMD GPU 共享、昇腾 ENPU、NUMA Refit 与走向成熟的 Flexible MIG

· 阅读需要 30 分钟
HAMi 社区

HAMi 社区正式发布 HAMi v2.11.0。

本次发布要点:

  • Remote GPU:在没有 GPU、没有 NVIDIA 驱动的客户端节点上运行 CUDA 与 vLLM Pod,使用 Lupine GPU 服务器通过网络提供的 GPU。
  • AMD Instinct GPU 共享:AMD GPU(ROCm)成为 HAMi 的一等公民,支持按大小或百分比限制显存、限制算力、NUMA 与 XGMI 感知放置、调度策略与队列优先级,全部在容器级强制执行。
  • 昇腾 ENPU 模式:与模板模式、hami-core 并列的第三种切分方式,提供 fixed-share、elastic、best-effort 策略隔离,同时 hami-vnpu-core 完成大规模性能优化。
  • NUMA refit:kubelet Topology Manager 与 HAMi 调度器达成一致,CPU 亲和性与 GPU 放置落在同一 NUMA 节点。
  • Flexible MIG 走向成熟:动态 MIG 设备支持 CDI 注入、带回退的放置打分、按 Pod 的 profile 偏好。
  • 更安全的调度器:安全审计驱动下的 extender 与 webhook 加固,Filter 路径性能提升。
  • 平台与 Chart:OpenShift 与 SELinux 支持、重构后的 devices.VENDOR chart、节点容量资源上报。
  • 官网大改版:信息架构重组、Concepts 章节重绘、llms.txt、安装与升级指南重构。

v2.11.0 共合并 220 多个 pull request,来自 50 多位贡献者,其中 29 位是首次贡献。

本文将对 v2.11.0 的主要更新进行详细说明。

HAMi 亮相 ContainerDays 新加坡 2026:从 GPU 共享到 AI Factory

· 阅读需要 6 分钟
HAMi 社区

ContainerDays & AI Context Singapore 2026 于 10 月 27 至 28 日在新加坡新达城会展中心举行,议题覆盖云原生、AI 基础设施与平台工程。HAMi Community Manager 宋净超(Jimmy Song)与 HAMi Contributor Reza Jelveh(两位均来自密瓜智能)带来了一场 Workshop 和一场技术分享,HAMi 还出现在大会的另外三场议程中。

ContainerDays 新加坡 2026

从 HAMi 到 HAMi-DRA:异构算力资源管理的演进

· 阅读需要 15 分钟

2026 年 9 月 15 日,HAMi 社区发布了 HAMi DRA 0.2.3。这个版本本身是一次常规迭代,但时间点值得注意:HAMi 2.9 版本直播宣布 HAMi-DRA 进入生产可用,NPU 的 DRA 支持计划随 2.10 发布。对关注异构算力调度的用户来说,HAMi DRA 已经从“实验性方向”变成了“可以认真评估的选项”。

围绕它的讨论也一直没有停。自从 Kubernetes 1.34 将 DRA(Dynamic Resource Allocation)推进至 GA,“DRA 会不会让 HAMi 过时”就成了社区频道里的高频问题;《Kubernetes DRA 会取代 HAMi 吗?》给出的回答是:DRA 吸收的是“请求与调度”的那一半,而“容器内强制执行”的那一半,DRA 从未设计去做,这正是 HAMi 保留的位置。

HAMi DRA 就是社区对这个争论的工程回应:一个迁移层,把存量 workload 里的 HAMi 风格资源请求自动转换成原生 ResourceClaim,调度与记账交还 kube-scheduler,运行时隔离继续由 HAMi-core 完成,业务侧一行代码不用改。当前 0.2.3 版本覆盖 NVIDIA GPU;在昇腾 DRA Driver 的配合下,这条链路已在真实的 310P3 集群上完成端到端验证,社区同步发布了配套的 实验 21:用 HAMi DRA 共享昇腾 NPU,提供命令与真实采集输出。本文系统介绍 HAMi DRA 的动机、设计、使用方式与当前边界。

KubeCon China 2026 回顾:两场 Keynote、一场闪电演讲,与一项案例大奖

· 阅读需要 7 分钟
HAMi 社区

9 月 7-9 日,KubeCon + CloudNativeCon + OpenInfra Summit + PyTorch Conference China 2026在上海国际会议中心落下帷幕。这是 HAMi晋级 CNCF 孵化项目后首次参加 KubeCon China:社区带来了两场 Keynote、一场闪电演讲、一场专场分享和一个全天值守的展台,外加 Keynote 舞台上揭晓的一项案例大奖。

四场分享的幻灯片均可在 KubeCon China 2026 活动页下载。

HAMi 可组合调度策略:mutex、binpack、spread、numa 如何协同工作

· 阅读需要 10 分钟

HAMi 一直通过 hami.io/gpu-scheduler-policy 注解提供按 Pod 生效的 GPU 调度策略:binpack 尽量把负载堆叠到少数卡上,spread 尽量打散,v2.10.0 新增的 mutex 则要求独占一张卡。但在 v2.10.0 之前,这个注解只能填一个值。

真实集群很少只需要一种行为。一份典型的生产诉求是这样的:推理副本要紧凑装箱,留出整卡空闲;同时每个 Pod 的多卡要落在同一 NUMA 节点上以保证带宽;而时延敏感的那批负载,干脆要独占几张卡。一句话里出现了三种策略。在 v2.10.0 之前,你只能选一个,放弃其余。

v2.10.0 补上了这块拼图:hami.io/gpu-scheduler-policy 现在接受有序的、逗号分隔的列表,过滤型与排序型策略可以组合(#2621,@mesutoezdil,关闭 #2010)。本文解释组合是如何求值的,以及如何上手与验证。如果你喜欢动手学习,配套的实验 14:在 GKE 上验证可组合调度策略会在真实集群上逐一复现下文的每个场景。

HAMi 即将亮相 KubeCon China 2026:两场 Keynote、两场技术分享,展台 T-1 等你

· 阅读需要 6 分钟
HAMi 社区

9 月 7-9 日,KubeCon + CloudNativeCon + OpenInfra Summit + PyTorch Conference China 2026将在上海国际会议中心举行。这也是 HAMi 在今年 7 月晋级 CNCF 孵化(Incubating)项目后,首次以孵化项目的身份亮相 KubeCon China。

本届大会上,HAMi 社区将带来两场 Keynote、一场闪电演讲、一场专场技术分享,并在现场设置项目展台(T-1):从 PD 分离的异构推理部署,到 5 分钟讲透 MIG 动态切分,再到千卡规模的 GPU 虚拟化生产实践。欢迎社区的小伙伴到现场交流。

HAMi v2.10.0 发布:Flexible MIG、可组合调度策略与更广阔的加速器生态

· 阅读需要 15 分钟
HAMi 社区

HAMi 社区正式发布 HAMi v2.10.0。本次发布在三个方向上取得进展:更灵活的调度策略、更广泛的异构加速器覆盖,以及更加丰富的调度器生态。

v2.10.0 引入了动态 Flexible MIG、全新的 mutex 调度策略、社区期待已久的 NUMA 排序修复、可组合调度策略、PodGroup(gang-scheduling) 支持,以及更准确的 init 容器 资源计量。在设备侧,新增了 AMD MI300X 与壁仞支持、让基于模板的 vNPU 与 HAMi-core 节点在同一集群共存的昇腾异构管理能力,以及 vNPU HAMi-core 监控。同时通过全新的 KAI Resource Isolator 伴随项目,首次实现了 KAI Scheduler + HAMi-core 集成。

本文将对 v2.10.0 的主要更新进行详细说明。

CNCFHAMi 是 CNCF 孵化项目