本文提出了 GRAPE，一种即插即用的 VLA 模型对齐框架，在多种机器人任务场景下均能使用，能够基于轨迹偏好提升机器人策略的泛化能力，并支持将模型对齐到指定目标。 论文一作为北卡罗来纳大学教堂山分校张子健，指导老师为北卡罗来纳大学教堂山分校助理 ...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室 ...

实际上是在2020年10月，OpenAI就决定不再进行机器人研究，称发现例如RLHF方法可以取得更快的进展。 如今看来，RLHF方法催生了ChatGPT，确实是一个正确 ...

基于人类反馈的强化学习（RLHF）是优化大语言模型（LLM）行为的关键技术，能够让模型更符合人类偏好和需求，提升生成质量。 然而，目前关于 RLHF 的 scaling（扩展）潜力研究仍然相对缺乏，尤其是在模型大小、数据组成和推理预算等关键因素上的影响尚未被 ...

RLHF 的 scaling 效率要低于预训练。 基于人类反馈的强化学习（RLHF）是优化大语言模型（LLM）行为的关键技术，能够让模型更符合人类偏好和需求 ...

江旭曾在OpenAI担任资深算法负责人，是ChatGPT最重要训练算法RLHF的发明人之一，曾参与开发理解和执行人类指令的模型InstructGPT，以及强化学习方法 ...

随着语言模型在许多任务上的泛化能力不断提升，以及RLHF逐渐成为对齐训练的默认方法，奖励欺骗在语言模型的RL训练中已经成为一个关键的实践性 ...