SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context
作者: Qinkai Zhang, Yanyan Zhao, Xin Lu, Yulin Hu, Pengtao Han, Bing Qin
分类: cs.CL, cs.IR
发布日期: 2026-06-25
💡 一句话要点
提出SocialPersona以解决个性化语言助手的多模态偏好推断问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化助手 多模态学习 用户画像 社交媒体分析 偏好推断
📋 核心要点
- 现有个性化助手主要依赖用户明确表达的偏好，缺乏从多模态数据中推断用户兴趣的能力。
- SocialPersona通过构建基于社交媒体时间线的用户画像，支持从多模态上下文中提取用户偏好并生成个性化响应。
- 实验结果显示，模型在识别广泛兴趣领域上表现良好，但在细粒度和近期兴趣的识别上存在显著下降。
📝 摘要（中文）
个性化语言模型助手通常通过记忆来评估：模型能否回忆用户在对话中明确表达的偏好？然而，更全面的个性化需求在于推断用户在社交媒体上自然留下的多模态痕迹中所关心的内容。我们提出了SocialPersona，一个基准测试，用于评估多模态大型语言模型（MLLMs）能否从长期社交媒体时间线中恢复揭示的偏好，并在对话中使用这些偏好。SocialPersona基于171个日常非促销社交媒体用户的长期时间线，包含文本、图像、时间戳和2597个经过人工验证的偏好标签，涵盖七个兴趣领域，区分稳定兴趣和近期兴趣。实验表明，模型能够识别广泛的兴趣领域，但在细粒度和近期兴趣上的表现下降，且在个性化对话时进一步恶化。这些结果表明，跨模态、长期用户建模仍然是一个关键挑战，而SocialPersona可以帮助衡量和推动向能够推断和利用揭示偏好的助手的进展。
🔬 方法详解
问题定义：本论文旨在解决个性化语言助手在推断用户偏好时的局限性，现有方法往往无法有效利用用户在社交媒体上留下的多模态信息。
核心思路：通过构建SocialPersona基准，论文提出了一种从社交媒体时间线中提取用户偏好的方法，旨在实现更全面的个性化对话体验。
技术框架：SocialPersona的整体架构包括数据收集、用户画像构建和对话生成三个主要模块。数据收集模块从社交媒体获取文本和图像信息，用户画像构建模块提取并整合偏好标签，对话生成模块则基于用户画像生成个性化响应。
关键创新：本研究的关键创新在于引入了多模态数据（文本和图像）来增强用户偏好的推断能力，尤其是在细粒度和近期兴趣的识别上，与传统方法相比具有显著优势。
关键设计：在模型设计中，采用了多模态融合技术，结合了不同类型的输入数据，并使用了特定的损失函数来优化模型在偏好推断和对话生成中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，模型在识别广泛兴趣领域时表现良好，但在细粒度和近期兴趣的识别上性能下降，尤其是在个性化对话中，模型的表现进一步恶化。这些发现强调了跨模态用户建模的挑战。
🎯 应用场景
该研究的潜在应用领域包括个性化客服、社交媒体分析和智能助手等。通过更准确地理解用户的偏好，能够提升用户体验，增强用户与系统的互动效果，未来可能推动个性化技术的广泛应用。
📄 摘要（原文）
Personalized language-model assistants are often evaluated through a memory lens: can a model recall preferences users have explicitly stated in dialogue? More comprehensive personalization demands a harder capability -- inferring what users care about from the multimodal traces they naturally leave behind. We introduce SocialPersona, a benchmark for evaluating whether multimodal large language models (MLLMs) can recover revealed preferences from longitudinal social-media timelines and use them in dialogue. Built from longitudinal timelines of 171 everyday, non-promotional social-media users, SocialPersona contains text, images, timestamps, and 2,597 human-verified preference tags across seven interest domains, separating stable interests from recent interests. It supports two tasks: constructing structured user profiles from multimodal context and generating responses aligned with inferred profiles. Experiments with proprietary and open-weight MLLMs show that models can identify broad interest domains, yet their performance drops on fine-grained and recent interests and degrades further when inferred profiles must be used to personalize dialogue. Together with evidence that text and images provide complementary preference signals, these results indicate that robust cross-modal, long-horizon user modeling remains a key challenge, and that SocialPersona can help measure and advance progress toward assistants that infer and act on revealed preferences.