昆仑芯科技完成具身智能强化学习框架RLinf适配验证

随着具身智能加速从技术探索走向规模化研发，强化学习正在成为提升机器人自主决策与任务执行能力的重要技术路径。与此同时，具身智能研发对算力平台的兼容性、分布式训练能力以及训练、仿真、推理协同提出了更高要求。

近日，昆仑芯完成具身智能强化学习框架RLinf适配验证，覆盖单节点训练、多节点协同、训练与仿真分离、训练与推理分离等典型场景，并完成Pi系列模型在LIBERO任务上的训练复现，进一步拓展昆仑芯在具身智能强化学习领域的开源生态支持。

接入主流开源框架，拓展应用支持

RLinf是面向具身智能的“仿训推一体化”大规模强化学习框架，由清华大学、无问芯穹联合发起，于2025年9月开源。框架面向具身智能与智能体场景，提供覆盖仿真、训练和推理的统一强化学习基础设施，旨在打通渲染、训练、推理等环节，为开发者提供从仿真环境交互到策略更新的完整强化学习流程，目前已在机器人等相关场景中开展应用。

此次适配中，昆仑芯基于RLinf模块化的硬件接口设计，通过标准插件方式完成Kunlunxin XPU后端接入，无需修改框架既有实现，即可将昆仑芯算力纳入RLinf运行体系，进一步打通设备管理、任务调度与分布式通信等关键环节。

在设备管理与任务调度方面，昆仑芯完成Kunlunxin XPU设备发现、资源配置及Ray调度适配，确保训练任务能够准确使用实际分配的算力资源；在分布式通信方面，以XCCL作为通信后端，支持AllReduce、AllGather等多卡集合通信，打通单节点及多节点强化学习任务的运行基础。

基于上述适配，昆仑芯P800能够在RLinf框架下开展单节点、多节点以及训练、仿真、推理分离等多种运行模式验证，为具身智能强化学习任务提供更加灵活的国产算力支持。

覆盖多种部署模式，提升资源调度灵活性

具身强化学习涵盖训练、仿真与推理等多个环节，对算力资源的配置方式提出了更高要求。基于RLinf，昆仑芯P800完成多种部署模式的适配验证。

其中，在训练与仿真分离模式下，Actor、Rollout部署于训练节点，Environment部署于独立仿真节点，实现训练与仿真资源的独立配置；在训练与推理分离模式下，策略训练与动作生成部署于不同设备，减少不同任务之间的资源竞争。

通过灵活的部署方式，昆仑芯P800进一步拓展了具身强化学习场景下的算力组织方式，为不同规模任务提供更加灵活的资源配置能力。

完成Pi 0.5适配验证，验证具身强化学习应用能力

在实际任务验证中，昆仑芯P800已完成LIBERO Spatial、Object和Goal等任务配置的适配验证。其中，Pi 0.5相关配置覆盖单节点8卡与双节点16卡环境，完成从单节点训练到多节点协同的运行验证。

在libero_spatial_grpo_openpi_pi05配置下，昆仑芯P800完成Pi 0.5模型在LIBERO Spatial任务上的强化学习训练与仿真评测。测试结果显示，在第70个训练step，模型任务成功率达到99.77%，强化训练曲线整体与公开结果呈现相同趋势；相比强化学习训练前，训练后策略成功率提升12.27%。

从训练到仿真评测，昆仑芯P800已跑通基于RLinf的完整强化学习流程。开发者可以沿用RLinf现有开发方式，在昆仑芯平台完成模型训练、策略优化与任务评测，为进一步开展具身智能强化学习研究与应用提供算力支撑。

优化分布式通信，降低多节点同步开销

在具身强化学习任务中，模型权重需要在训练与Rollout等环节之间频繁传递，通信效率直接影响整体运行效率。针对多节点训练中的权重同步开销，基于P800平台进一步优化跨节点通信链路，通过引入混合通信方案提升权重传递效率。

测试结果显示，单节点首个step的权重同步耗时由14.710秒降至3.006秒，多节点首个step由299.0秒降至6.510秒；在后续训练step中，相比仅使用Gloo，混合通信方案仍可节省约40秒的权重同步时间。

上述结果表明，经过通信链路优化，昆仑芯P800能够有效降低多节点强化学习任务中的同步开销，为具身智能强化学习的分布式运行提供更高效的通信支撑。

持续完善开源生态，助力具身智能适配

此次RLinf适配，是昆仑芯持续推进软硬件协同、拓展开源生态的重要实践。

从基础软件、AI框架到模型与应用，昆仑芯持续推进与主流生态的适配、优化与验证，不断拓展算力平台的兼容范围。通过对主流AI框架、大模型及具身智能相关框架的持续适配，昆仑芯不断完善软硬件协同能力与开发环境，降低开发者在国产算力平台上的迁移与验证成本。

目前，昆仑芯已完成包括RLinf在内的强化学习系列框架适配，并推动相关支持贡献至社区主线。未来，昆仑芯将持续加强与开源社区、具身智能产业链及开发者生态的协同，持续拓展主流框架与模型适配，完善软硬件协同的开发环境和生态体系，推动更多模型、框架与应用在昆仑芯平台高效运行，为机器人企业、科研团队及开发者提供更加开放、兼容的国产算力支持。

开发者可以参考下述链接，进行体验：

https://github.com/RLinf/RLinf/blob/release/v0.4/docker/README.md#building-for-kunlunxin-kunlun