VibeLifeBench: Can Your Life Agent Be Proactive and Persistent in a Living World?
作者: Xiaohongshu Inc
分类: cs.CL, cs.AI
发布日期: 2026-08-11
💡 一句话要点
提出VibeLifeBench以评估生活助手的主动性与持续性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 生活助手 长期任务 动态环境 评估基准 主动性 一致性 智能代理
📋 核心要点
- 现有的LLM代理评估方法主要集中在短期请求，无法应对长时间、动态变化的日常生活任务。
- 本文提出VibeLifeBench基准，设计了200个长期任务，要求代理在模拟环境中自主发现变化并保持一致性。
- 实验结果显示，七个前沿模型在VibeLifeBench上的得分普遍较低，表明当前代理在实际生活辅助方面的能力仍有很大提升空间。
📝 摘要（中文）
大型语言模型（LLM）代理越来越多地被用作个人助手。然而，现有的评估方法主要基于短期、静态环境中的自包含请求。日常生活中的任务往往持续数周，且环境不断变化，代理需要在没有提示的情况下主动行动。为此，本文提出了VibeLifeBench，一个涵盖十个日常生活领域的200个长期任务的基准测试。每个任务在一个模拟世界中运行，代理需要自主发现变化并保持计划的一致性。通过对代理的细致评估，结果显示当前模型在实际生活辅助方面的表现仍然较低。我们将开源所有任务、环境和评估框架。
🔬 方法详解
问题定义：本文旨在解决现有大型语言模型代理在动态、长期任务中的评估不足，现有方法无法有效应对日常生活中的隐性约束和变化。
核心思路：VibeLifeBench通过设计200个跨十个领域的长期任务，要求代理在模拟环境中自主识别变化并保持一致性，以此评估其主动性和持续性。
技术框架：整体架构包括任务设计、环境模拟和评估模块。任务通过多周的时间线进行，环境中的变化由系统自主推进，代理需不断重新检查以发现变化。
关键创新：VibeLifeBench的创新在于其评估方法，采用细粒度的加权检查，关注代理的实际行为和隐性约束，而非仅仅是最终结果。
关键设计：评估过程中，任务的得分基于代理的行为时效性、最终状态和隐性约束的遵守情况，确保全面反映代理的表现。具体的参数设置和损失函数设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
实验结果显示，七个前沿模型在VibeLifeBench上的得分普遍较低，表明当前代理在实际生活辅助方面的能力仍有很大提升空间。具体得分数据未披露，但整体表现显示出与理想状态的显著差距。
🎯 应用场景
该研究的潜在应用领域包括智能个人助手、家庭自动化和长期任务管理等。通过提升代理的主动性和一致性，VibeLifeBench能够帮助开发更智能的生活助手，改善用户体验，推动智能家居和个人助理技术的发展。
📄 摘要（原文）
Large language model (LLM) agents are increasingly deployed as personal assistants. Existing evaluations, however, mostly use short, self-contained requests in static environments. Everyday life assistance is different. A task runs for weeks rather than minutes. The world keeps changing while the agent is not being prompted. Many constraints are never stated outright. An agent that merely answers the request in front of it will fail at such a task. What is needed instead is an agent that stays proactive and consistent. It decides on its own when to act, when to ask, and when to stay silent. It notices changes that nobody announced. It keeps one plan coherent from the first day to the last. No current benchmark measures this. We introduce VibeLifeBench, a benchmark of 200 long-horizon tasks across ten everyday-life domains. Each task is a scripted multi-week timeline in a simulated world of 22 mock services. The world advances on its own clock, and many of its changes are silent, so only an agent that re-inspects the world discovers them. Every task is graded by fine-grained, weighted checks that read only what the agent actually left behind, covering the end state, the timeliness of its actions, and whether it upheld the implicit constraints. We evaluate seven frontier models. All of them score low, which shows how far current agents are from assisting with real life. We will open-source all tasks, environments, and the evaluation framework.