Agentic RL 训练
面向 LLM/VLM 的多步强化学习:经验回放、异步训练框架与工具调用,让模型在交互中持续变强。
3 篇论文 →正在求职 正在寻找 Agentic RL、LLM/VLM Agent 与游戏 AI 方向的研究 / 算法岗位,欢迎联系。 邮件联系 →
我开创了大模型复杂实时决策这一研究方向:以星际争霸 II 为标杆,做出了全球首个将大模型用于复杂实时决策的工作(NeurIPS 2024),此后又完成了全球首个复杂决策场景下的递归自我改进、全球首个复杂多智能体场景下的 Agentic RL 与全球首个通用的大模型后训练经验回放框架。我关注的核心问题是:如何让 AI 像人一样感知、决策,并从交互中持续学习。
本科期间我是星际争霸 II 职业选手,达到韩服宗师(天梯最高段位,仅限服务器前 200 名)。这段经历让我习惯从真实玩家的视角去构建环境、数据与评测基准,推动游戏 AI 从“能赢”走向会看、会想、会学、会协作。我在中国科学院自动化研究所群体决策智能实验室读完硕士,之后在 KAUST 读计算机科学博士(2025.08–2026.09,已离开)。
面向 LLM/VLM 的多步强化学习:经验回放、异步训练框架与工具调用,让模型在交互中持续变强。
3 篇论文 →让大模型“读懂”并“打赢”以星际争霸 II 为代表的复杂实时决策问题:环境构建、摘要式决策框架、自然语言战术控制与人机协作。
用代码作为策略指挥多智能体协同,并让大模型自主设计环境与课程,实现环境与策略的协同进化。
从真实玩家的完整对局构建长时程、多智能体、多视角的电竞数据集(已开源,覆盖 SC2 / Dota 2 / CS2),并训练可交互、符合游戏逻辑的几何感知多智能体世界模型。
从职业选手的真实对局出发,构建能让多个智能体同时行动、交战的可交互世界模型。
全球首个开源的多游戏、长时程、多智能体电竞世界模型数据集
用游戏引擎把职业比赛与高水平玩家录像逐帧解码为多视角玩家画面,并与动作、引擎状态、事件严格对齐,一次覆盖 RTS、MOBA、FPS 三大品类。
全球首个基于 Cosmos 3 的几何感知多智能体交互式世界模型
多名玩家在同一个“生成出来的世界”里同时移动、交战,画面演化遵循真实的游戏逻辑。
CS2 World Model:左为真实对局录像,右为模型生成。四张地图,每段 8 秒。
开创大模型复杂实时决策这一研究方向。星际争霸 II 不只是一款即时战略游戏,更是复杂实时决策问题的标杆:部分可观测、长时程、多单位协同、持续对抗。我们从第一个让大模型在其中做决策,一路做到实时击败最高非作弊难度 AI。
全球首个将大模型用于复杂场景实时决策的工作
第一次让大模型“读懂”并亲自下场打星际争霸 II:构建 TextStarCraft II 环境,把瞬息万变的战局翻译成语言,模型直接看局势、想策略、下指令;提出 Chain of Summarization,用单帧 + 多帧摘要追踪战局,像人类选手一样“先看懂、再规划”。由此开创了大模型复杂实时决策这一研究方向。
大模型直接决策在星际争霸 II 上的 SOTA
大模型全程实时操控完整对局,游戏不暂停、边推理边对战:JEV 负责高频动作选择,Astra 负责持续的战略规划。
全球首个基于 VLM 的多智能体复杂实时决策系统
让视觉语言模型像职业选手一样“看画面打微操”:全球首个基于 PySC2 的多端高并发微操环境,统一支持 VLM 与 RL 智能体的训练和评测;全球首个可多步决策推理的 VLM Agent 框架。
全球首个在复杂决策场景实现递归自我改进(RSI)的工作
大模型不只解题,还自己出题:自主设计、生成并调节决策环境,课程难度与决策代码协同进化,全程无需人工干预。
全球首个复杂实时决策场景下的大小模型协同决策系统
保留顶级 RL 智能体 DI-star 的操作强度,用一句话改写它的战术风格:冻结策略网络,通过轻量 Adapter 与“战术张量”注入自然语言指令。
全球首个复杂实时决策场景下的人机协作决策系统
玩家用语音或文字与 AI 实时对话:LLM 做战略分析、行为树执行动作,形成边打边聊的人机闭环。
把强化学习后训练带进复杂、多轮、多智能体的决策环境。
全球首个在星际争霸 II 这类复杂多智能体决策场景下的 Agentic RL 工作
模型生成可执行的决策树代码指挥多智能体协同作战,在“写代码—执行—看战果—再迭代”的闭环中训练。相比 Search-R1 一类面向检索工具的交互,它的多轮交互面对的是持续变化的对抗环境,交互深度与反馈复杂度都远高于前者。
全球首个通用的大模型后训练经验回放(Replay Buffer)框架
经验回放是深度强化学习的基石,却一直没能进入大模型后训练——策略变化太快,旧样本的优先级迅速“过期”。FreshPER 用新鲜度感知优先级解决这一问题,即插即用适配 PPO / GRPO / REINFORCE++,覆盖数学、推理、多模态与 Agentic 任务。
TacticCraft: Natural Language-Driven Tactical Adaptation for StarCraft II
Adaptive Command: Real-Time Policy Adjustment via Language Models in StarCraft II
* 共同一作 · 加粗为本人
宗师 · 天梯最高段位,仅限每个服务器前 200 名
数千小时的高强度对抗,让我对不完全信息博弈、实时策略调整和心理博弈有切身体会。这些经验直接塑造了我后来做研究的问题意识与评估视角。
图标来源:Liquipedia · © Blizzard Entertainment