Inspect India Evals: An Open Benchmarking Framework for Evaluating Large Language Models in the Indian Linguistic and Cultural Context

📄 arXiv: 2607.25375v1 📥 PDF

作者: Abhishek Kumar Singh, Shrey Nag, Sachita, Lipi Goel, Rajeshwar Singh Janwar

分类: cs.CL

发布日期: 2026-07-28

备注: 19 pages, 9 figures, 7 tables

💡 一句话要点

提出Inspect India Evals以解决印度语言模型评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 评估框架 印度文化 多语言处理 公平性评估 安全性测试 开源工具

📋 核心要点

  1. 现有的语言模型评估基准主要集中在英语和西方文化，无法有效评估印度特有的语言和文化背景。
  2. Inspect India Evals是一个开源框架，提供六个针对印度语言和文化的评估基准，旨在填补现有评估的空白。
  3. 实验结果显示，Sarvam-M 24B和Gemma 2 27B在印度公平性指数上表现突出，特别是在文化知识和安全合规性方面。

📝 摘要（中文）

印度是一个拥有超过14亿人口的国家，拥有多种多样的传统文化和22种官方语言。现有的语言模型基准测试如MMLU和BIG-Bench主要集中在英语和西方文化，未能识别印度特有的安全性、公平性和准确性问题。Inspect India Evals旨在填补这一空白，作为一个开源框架，提供六个基准测试，涵盖多种印度语言的多语言MMLU、针对印度社会偏见的BharatBBQ、数字公共基础设施的安全评估等。研究测试了五个开放权重模型，结果显示Sarvam-M 24B和Gemma 2 27B在印度公平性指数上均得分80%，并在文化知识和安全合规性上表现优异。该框架是公开的，任何人均可复现或扩展此工作。

🔬 方法详解

问题定义：论文要解决的问题是现有语言模型评估基准缺乏对印度特有文化和语言的适应性，导致无法有效识别模型在印度环境下的安全性和公平性问题。

核心思路：论文提出了Inspect India Evals框架，通过构建六个针对印度语言和文化的基准测试，旨在全面评估大语言模型在印度背景下的表现。

技术框架：该框架基于UK AISI的Inspect AI平台，包含多语言MMLU、BharatBBQ、数字公共基础设施安全评估等多个模块，能够从多个维度评估模型的表现。

关键创新：最重要的创新在于构建了针对印度特定文化和语言的评估基准，填补了现有评估工具的空白，使得评估结果更具针对性和实用性。

关键设计：框架中采用了多种评估指标，如多语言安全测试和文化知识基准，确保评估的全面性和准确性，同时允许用户根据需要进行扩展和复现。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Sarvam-M 24B和Gemma 2 27B在印度公平性指数上均得分80%，在文化知识和数字公共基础设施安全合规性方面表现优异，Sarvam-M在这些方面甚至超越了更大的32B模型。所有模型在多语言安全测试中均获得100%的拒绝率，而数字公共基础设施安全合规性得分则在20%到100%之间波动。

🎯 应用场景

该研究的潜在应用领域包括教育、公共政策、社交媒体和数字公共基础设施等。通过提供针对印度文化和语言的评估工具，能够帮助开发者和研究人员更好地理解和改进语言模型在印度的应用效果，提升模型的公平性和安全性，具有重要的社会价值和实际影响。

📄 摘要（原文）

India is a vast nation of over 1.4 billion people, varied by hundreds of diverse and locally specific traditions and cultures and 22 officially recognized languages. Large language models (LLMs) are now being deployed on a massive scale throughout the mainland as well as in remote villages. However, the common benchmarks - MMLU, BIG-Bench, and TruthfulQA are almost exclusively English- and Western-centric. They do not identify those safety, fairness, and accuracy failures unique to the Indian context. That is the gap Inspect India Evals seeks to fill. It is an open-source framework built on top of UK AISI's Inspect AI platform. It has six benchmarks: Multilingual MMLU across sixteen Indian languages, BharatBBQ (our adaptation of BBQ for Indian social bias), a safety evaluation for Digital Public Infrastructure, a multilingual safety test using harmful prompts in Indian languages, a multi-turn jailbreak resistance test, and an Indian cultural knowledge benchmark scored using LLM-as-judge rubrics. In this study, we tested five open-weight models ranging from 8B to 32B parameters. Sarvam-M 24B and Gemma 2 27B came out on top, both scoring 80% on the composite India Fairness Index, with Sarvam-M even beating larger 32B models on Indian cultural knowledge and DPI safety compliance. All models scored 100% refusal on Multilingual Safety, whereas DPI safety varied from 20% to 100%. The framework is public. It's built to work with the UK AISI registry. Anyone can reproduce or extend this work.