FormBharo: Designing and Evaluating a Voice Agent for Conversational Form Filling in Rural India
作者: Aman Dalmia, Sanskriti Midha, Jigar Doshi
分类: cs.CL, cs.AI, cs.HC
发布日期: 2026-08-06
💡 一句话要点
提出FormBharo以解决印度农村地区表单填写困难问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语音代理 表单填写 社会福利 大型语言模型 基于规则的控制 农村医疗 多轮对话
📋 核心要点
- 核心问题：现有的表单填写方式依赖于前线健康工作者，效率低下且无法满足需求。
- 方法要点：FormBharo通过语音对话与用户交互，结合LLMs和规则控制来实现高效的表单填写。
- 实验或效果：在真实语音转录下，表单完成率下降显著，但规则控制帮助小型模型在表单完成上超越大型模型。
📝 摘要（中文）
在印度，几乎所有社会福利都需要填写表单，但许多需要这些福利的人无法阅读或书写。为了解决这一问题，FormBharo被设计为一个语音代理，通过电话对话填写结构化表单。该系统结合了大型语言模型（LLMs）与确定性、基于规则的验证和流程控制，旨在在严格的延迟和成本预算下运行。FormBharo正在与ARMMAN合作，旨在为低收入、讲印地语的母亲提供产前和产后护理。我们还公开发布了FormVoiceAgentBench基准，以评估代理的各个组件和端到端表单完成情况。研究表明，使用真实语音转录时，表单完成率下降了约41个百分点，但基于规则的控制能够恢复许多提取错误。
🔬 方法详解
问题定义：本论文旨在解决印度农村地区低收入人群在填写社会福利表单时面临的困难。现有方法依赖于健康工作者逐一登记，效率低且无法覆盖广泛人群。
核心思路：FormBharo通过语音代理与用户进行对话，利用大型语言模型（LLMs）和基于规则的验证与流程控制，旨在实现高效且低成本的表单填写。这样的设计能够在保持对话自然性的同时，确保信息的准确性和完整性。
技术框架：整体架构包括三个主要模块：语音转录、信息提取和回复生成。语音转录将用户的语音转换为文本，信息提取模块从文本中提取关键信息，回复生成模块则根据提取的信息生成适当的反馈。
关键创新：最重要的技术创新在于结合了LLMs与基于规则的控制，能够在面对真实语音转录时有效减少错误传播，并提升表单完成率。这与传统方法的单一依赖于LLMs的方式有本质区别。
关键设计：在参数设置上，采用了针对不同模型的加权和标量化方法，以平衡准确性、成本和延迟。此外，设计了特定的损失函数来优化提取和生成的准确性，确保在多轮对话中保持信息的一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当使用真实语音转录时，表单完成率下降了约41个百分点，但通过基于规则的控制，较小的模型在表单完成上能够与大型模型相媲美。这表明，组件性能与端到端性能之间并不总是正相关，最终的模型选择需要通过全面评估来确定。
🎯 应用场景
该研究的潜在应用领域包括农村医疗、社会福利登记和教育等。通过语音代理技术，可以有效地帮助无法阅读或书写的人群获取所需的社会服务，提升他们的生活质量。未来，该技术有望扩展到其他语言和地区，进一步推动社会公平与包容性发展。
📄 摘要（原文）
In India, almost every social benefit starts with a form, yet the people who need these benefits most are often unable to read or write. Reaching them requires a spoken conversation. Today that work falls to frontline health workers who enroll beneficiaries one at a time, a poor use of stretched capacity. We built FormBharo ("fill the form" in Hindi), a voice agent that fills a structured form over a phone call under tight latency and cost budgets by pairing Large Language Models (LLMs) with deterministic, rule-based validation and flow control. It is being piloted with ARMMAN, an NGO running large-scale maternal and child mobile-health programs in India, to enroll low-income, Hindi-speaking mothers in antenatal and postnatal care. To our knowledge, it is the first voice agent piloted to fill an enrollment form for this population. We openly release FormVoiceAgentBench, a benchmark pairing human-recorded Hindi audio with 3,760 multi-turn conversation tests across 960 simulated calls, to evaluate our agent's components (transcription, extraction, reply generation) and end-to-end form completion under real acoustic variations. Form completion drops by up to ~41 points when LLMs receive error-prone real-speech transcripts instead of reference ones. The rule-based controls recover many turn-level extraction errors, helping smaller, cheaper models match or surpass frontier models on form completion. Component performance does not predict end-to-end performance: GPT-5.5 leads turn-level extraction accuracy on reference transcripts (99.8%) but ranks lower on form completion. Since errors both propagate and cancel across the pipeline, the optimal model choice of models emerges only through end-to-end evaluation. Finally, no single model is best across accuracy, cost, and latency at once, so we use a Pareto-based weighted-sum scalarization to select a deployable configuration balancing the three.