解锁机器人学习新纪元：LeRobot开源框架实战指南

【免费下载链接】lerobot 🤗 LeRobot: Making AI for Robotics more accessible with end-to-end learning 项目地址: https://gitcode.com/GitHub_Trending/le/lerobot

LeRobot是一个开源框架，旨在通过端到端学习使机器人人工智能更易于访问。它为机器人开发者和爱好者提供了强大的工具和资源，帮助他们快速构建、训练和部署机器人学习模型。

为什么选择LeRobot？

LeRobot框架的核心优势在于其模块化设计和强大的处理器系统。它解决了机器人数据与机器学习模型之间的基本不匹配问题，提供了从传感器到模型再到执行器的无缝数据流。

核心功能亮点

• 端到端学习：简化机器人从感知到行动的整个学习流程
• 模块化处理器：灵活处理各种传感器数据和模型输出
• 多机器人支持：兼容多种机器人硬件平台
• 丰富的示例代码：快速上手的示例项目和教程

图：LeRobot的VLA架构展示了从视觉输入到机器人动作的完整流程

快速开始：安装与配置

环境准备

LeRobot支持多种环境管理工具，推荐使用conda（通过miniforge）：

wget "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"
bash Miniforge3-$(uname)-$(uname -m).sh

创建并激活虚拟环境：

conda create -y -n lerobot python=3.12
conda activate lerobot

安装ffmpeg依赖：

conda install ffmpeg -c conda-forge

安装LeRobot

从源码安装（推荐用于开发）：

git clone https://gitcode.com/GitHub_Trending/le/lerobot
cd lerobot
pip install -e .

或者从PyPI安装：

pip install lerobot

如需特定功能，可安装额外组件：

pip install 'lerobot[all]'          # 所有可用功能
pip install 'lerobot[feetech]'      # Feetech电机支持

LeRobot核心概念解析

处理器：机器人与AI之间的桥梁

在机器人技术中，机器人和人类产生的数据与机器学习模型期望的数据之间存在根本不匹配。LeRobot的处理器系统正是为解决这一问题而设计的。

处理器充当通用翻译器，弥合这些差距，确保数据从传感器到模型再到执行器的无缝流动。它们处理将原始环境数据转换为模型就绪输入所需的所有预处理和后处理步骤。

图：LeRobot框架控制下的机器人执行任务

EnvTransition：通用数据容器

EnvTransition是流经所有处理器的基本数据结构。它是一个类型化字典，表示完整的机器人-环境交互：

• OBSERVATION：所有传感器数据（图像、状态、本体感受）
• ACTION：要执行或已执行的动作
• REWARD：强化学习信号
• DONE/TRUNCATED： episode边界指示器
• INFO：任意元数据
• COMPLEMENTARY_DATA：任务描述、索引、填充标志、步骤间数据

处理器管道

LeRobot提供两种主要的处理器管道：

• RobotProcessorPipeline：处理未批处理的机器人硬件数据
• PolicyProcessorPipeline：处理批处理的模型数据

这两种管道协同工作，实现从机器人传感器数据到模型输入，再到机器人执行命令的完整流程。

实战示例：使用LeRobot控制SO100机械臂

SO100是一款受欢迎的开源机械臂，LeRobot提供了完整的支持。以下是使用LeRobot控制SO100的基本步骤：

1. 配置SO100机器人：

from lerobot.robots.so_follower import SOFollowerRobot

robot = SOFollowerRobot(config_path="configs/so100.yaml")
robot.connect()

2. 加载预训练模型：

from lerobot.policies.factory import make_policy

policy = make_policy(
    "pi0",
    pretrained_path="hf_user/pi0-so100-pick-place",
)
policy.eval()

3. 运行推理循环：

import torch

with torch.no_grad():
    while True:
        # 获取机器人观测
        obs = robot.get_observation()
        
        # 预处理观测
        processed_obs = policy.preprocessor(obs)
        
        # 生成动作
        action = policy.select_action(processed_obs)
        
        # 后处理动作
        processed_action = policy.postprocessor(action)
        
        # 执行动作
        robot.send_action(processed_action)

图：SO100机械臂在LeRobot框架控制下执行任务

深入学习资源

官方文档

LeRobot提供了全面的文档，帮助用户快速掌握框架使用：

• 安装指南
• 处理器介绍
• 数据集工具使用

示例项目

LeRobot包含多个示例项目，展示不同场景下的应用：

• 电话遥控SO100
• 训练策略
• 数据集处理

总结

LeRobot框架通过提供模块化、灵活且强大的工具，极大地简化了机器人学习的开发过程。无论你是机器人爱好者、研究人员还是开发者，LeRobot都能帮助你快速构建和部署先进的机器人学习系统。

通过端到端学习的方法，LeRobot正在解锁机器人学习的新纪元，让AI驱动的机器人技术变得更加普及和易用。现在就加入LeRobot社区，开始你的机器人学习之旅吧！

【免费下载链接】lerobot 🤗 LeRobot: Making AI for Robotics more accessible with end-to-end learning 项目地址: https://gitcode.com/GitHub_Trending/le/lerobot