TRIDENT and SHAKTI: A Framework and Benchmark for Hindi AI-Text Detection

📄 arXiv: 2610.41232v1 📥 PDF

作者: Shifali Agrahari, Sujit Kumar, Sanasam Ranbir Singh

分类: cs.AI, cs.CL

发布日期: 2026-10-30

💡 一句话要点

提出SHAKTI基准与TRIDENT框架以解决印地语AI文本检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 印地语文本检测 AI生成内容 往返翻译 多语言基准 机器学习 自然语言处理

📋 核心要点

  1. 现有的AI文本检测方法主要集中在英语，缺乏针对印地语等低资源语言的有效基准和工具。
  2. 本文提出SHAKTI基准和TRIDENT检测框架，利用往返翻译技术提高印地语AI文本检测的准确性和可靠性。
  3. 实验结果显示，TRIDENT在多种语言和对抗性设置下均优于传统方法，特别是TRIDENT-S在整体性能上表现最佳。

📝 摘要（中文）

随着大型语言模型（LLMs）日益多语种化，区分人类撰写与AI生成的文本对于维护信息完整性至关重要。然而，现有研究主要集中于英语，针对低资源语言如印地语的基准研究较为有限。为填补这一空白，本文提出了SHAKTI，一个涵盖四种体裁、八个LLM家族、多种提示策略和对抗性变换的大规模印地语基准。我们通过人工标注评估其质量，并分析人类与AI生成文本之间的语言、语法和情感差异。在此基础上，提出了TRIDENT，一个基于往返翻译的检测框架，包含三种变体：TRIDENT-S（静态阈值）、TRIDENT-D（动态阈值）和TRIDENT-C（使用多距离RTT特征的逻辑回归）。TRIDENT利用原始文本与往返翻译文本之间的语义一致性来识别AI生成内容。大量实验表明，TRIDENT在传统和监督基线中表现优异，TRIDENT-S实现了最佳整体性能。

🔬 方法详解

问题定义：本文旨在解决印地语AI文本检测的不足，现有方法缺乏针对低资源语言的有效基准和工具，导致检测准确性低下。

核心思路：提出SHAKTI基准和TRIDENT框架，通过往返翻译技术利用语义一致性来识别AI生成的文本，旨在提高检测的准确性和鲁棒性。

技术框架：TRIDENT框架包含三个变体：TRIDENT-S（静态阈值）、TRIDENT-D（动态阈值）和TRIDENT-C（逻辑回归），通过分析原始文本与往返翻译文本的差异进行检测。

关键创新：SHAKTI基准的构建和TRIDENT框架的提出是本研究的核心创新，特别是利用往返翻译的语义一致性进行AI文本检测，与现有方法相比具有显著的优势。

关键设计：TRIDENT的设计中，静态和动态阈值的选择、逻辑回归模型的参数设置以及多距离RTT特征的提取都是关键技术细节，确保了检测的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TRIDENT框架在多种语言和对抗性设置下均表现优异，尤其是TRIDENT-S在整体性能上超越了传统和监督基线，具体提升幅度达到XX%（具体数据需根据原文补充）。

🎯 应用场景

该研究的潜在应用领域包括教育、媒体监控和社交网络等，能够帮助识别和过滤AI生成的虚假信息，维护信息的真实性和完整性。未来，该框架可扩展到其他低资源语言的文本检测中，具有广泛的实际价值。

📄 摘要（原文）

As Large Language Models (LLMs) become increasingly multilingual, distinguishing human-written from AI-generated text is essential for maintaining information integrity. However, research remains English-centric, with limited benchmarks for low-resource languages such as Hindi. To address this gap, we introduce SHAKTI, a large-scale Hindi benchmark covering four genres, eight LLM families, multiple prompting strategies, and adversarial transformations. We evaluate its quality through human annotation and analyze linguistic, grammatical, and sentiment-based differences between human- and AI-generated texts. Building on these findings, we propose TRIDENT, a round-trip translation-based detection framework with three variants: TRIDENT-S (static threshold), TRIDENT-D (dynamic threshold), and TRIDENT-C (logistic regression using multi-distance RTT features). TRIDENT leverages semantic consistency between original and round-trip translated texts to identify AI-generated content. Extensive experiments show that TRIDENT outperforms conventional and supervised baselines, with TRIDENT-S achieving the best overall performance. Further evaluations across seven languages, adversarial settings, and unseen LLMs demonstrate its multilingual applicability and robustness, while highlighting sensitivity to the translation model.