Task-Relevant and Irrelevant Region-Aware Augmentation for Generalizable Vision-Based Imitation Learning in Agricultural Manipulation

📄 arXiv: 2603.04845v1 📥 PDF

作者: Shun Hattori, Hikaru Sasaki, Takumi Hachimine, Yusuke Mizutani, Takamitsu Matsubara

分类: cs.RO

发布日期: 2026-03-05

💡 一句话要点

提出DRAIL框架，通过区域感知增强提升农业操作中视觉模仿学习的泛化性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉模仿学习 领域泛化 数据增强 农业机器人 区域感知

📋 核心要点

  1. 现有视觉模仿学习在农业操作中泛化性不足，主要受限于数据稀缺和作物/背景视觉差异。
  2. DRAIL框架将视觉信息划分为任务相关和无关区域，分别进行针对性增强，抑制虚假相关性。
  3. 实验表明，DRAIL在未见过的视觉条件下显著提升了成功率，并增强了策略对任务本质特征的依赖。

📝 摘要（中文）

基于视觉的模仿学习在机器人操作中展现了潜力，但其在实际农业任务中的泛化性仍然有限。这种限制源于演示数据稀缺以及由i)作物特定外观多样性和ii)背景变化引起的显著视觉领域差距。为了解决这个问题，我们提出了用于模仿学习的双区域增强（DRAIL），这是一种区域感知增强框架，旨在实现农业操作中可泛化的基于视觉的模仿学习。DRAIL显式地将视觉观察分为任务相关和任务无关区域。任务相关区域以领域知识驱动的方式进行增强，以保留必要的视觉特征，而任务无关区域则被积极地随机化，以抑制虚假的背景相关性。通过共同处理视觉变化的两种来源，DRAIL促进了依赖于任务本质特征而非偶然视觉线索的学习策略。我们通过基于扩散策略的视觉运动控制器，在人工蔬菜收获和真实生菜残叶采摘准备任务的机器人实验中评估了DRAIL。结果表明，与基线方法相比，在未见过的视觉条件下，成功率得到了持续提高。进一步的注意力分析和表征泛化指标表明，学习到的策略更多地依赖于任务本质的视觉特征，从而提高了鲁棒性和泛化性。

🔬 方法详解

问题定义：论文旨在解决农业机器人视觉模仿学习中，由于作物外观多样性和背景变化导致的泛化性差的问题。现有方法难以区分任务相关的关键视觉特征和任务无关的背景信息，容易学习到依赖于特定环境的策略，从而在新的环境中表现不佳。

核心思路：论文的核心思路是将视觉输入划分为任务相关区域和任务无关区域，并分别进行不同的数据增强。任务相关区域的增强旨在保留关键的视觉特征，例如作物的形状和颜色；而任务无关区域的增强则旨在消除背景噪声和虚假相关性，例如光照变化和杂草。通过这种方式，模型可以学习到更加鲁棒和泛化的策略。

技术框架：DRAIL框架包含以下几个主要步骤：1) 图像分割：将输入图像分割为任务相关区域和任务无关区域。可以使用预训练的分割模型或手动标注。2) 任务相关区域增强：对任务相关区域进行数据增强，例如旋转、缩放、颜色抖动等。增强方式需要根据具体的任务和作物特点进行设计，以保留关键的视觉特征。3) 任务无关区域增强：对任务无关区域进行数据增强，例如随机裁剪、高斯模糊、颜色替换等。增强方式需要尽可能地消除背景噪声和虚假相关性。4) 策略学习：使用增强后的数据训练模仿学习策略。可以使用各种模仿学习算法，例如行为克隆、Dagger等。

关键创新：DRAIL的关键创新在于提出了区域感知的增强方法，能够针对性地处理任务相关和任务无关的视觉信息。与传统的全局增强方法相比，DRAIL能够更好地保留关键的视觉特征，并消除背景噪声和虚假相关性，从而提高策略的泛化性。

关键设计：论文中，任务相关区域的增强采用了领域知识驱动的方式，例如针对蔬菜收获任务，保留蔬菜的颜色和形状特征。任务无关区域的增强则采用了随机化的方式，例如随机替换背景颜色和纹理。此外，论文还使用了注意力机制来可视化模型关注的区域，验证了DRAIL能够使模型更加关注任务相关的区域。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在人工蔬菜收获和真实生菜残叶采摘准备任务的机器人实验中，DRAIL相较于基线方法，在未见过的视觉条件下，成功率得到了持续提高。注意力分析表明，DRAIL使学习到的策略更多地依赖于任务本质的视觉特征，从而提高了鲁棒性和泛化性。具体的性能提升数据在论文中给出。

🎯 应用场景

该研究成果可应用于各种农业机器人操作任务，例如蔬菜水果采摘、作物病虫害检测、农田杂草清除等。通过提高视觉模仿学习的泛化性，可以降低机器人部署的成本和难度，加速农业智能化的进程，提高农业生产效率和质量，并减少对人工的依赖。

📄 摘要（原文）

Vision-based imitation learning has shown promise for robotic manipulation; however, its generalization remains limited in practical agricultural tasks. This limitation stems from scarce demonstration data and substantial visual domain gaps caused by i) crop-specific appearance diversity and ii) background variations. To address this limitation, we propose Dual-Region Augmentation for Imitation Learning (DRAIL), a region-aware augmentation framework designed for generalizable vision-based imitation learning in agricultural manipulation. DRAIL explicitly separates visual observations into task-relevant and task-irrelevant regions. The task-relevant region is augmented in a domain-knowledge-driven manner to preserve essential visual characteristics, while the task-irrelevant region is aggressively randomized to suppress spurious background correlations. By jointly handling both sources of visual variation, DRAIL promotes learning policies that rely on task-essential features rather than incidental visual cues. We evaluate DRAIL on diffusion policy-based visuomotor controllers through robot experiments on artificial vegetable harvesting and real lettuce defective leaf picking preparation tasks. The results show consistent improvements in success rates under unseen visual conditions compared to baseline methods. Further attention analysis and representation generalization metrics indicate that the learned policies rely more on task-essential visual features, resulting in enhanced robustness and generalization.