The Token Not Taken: Sampling, State, and the Stochasticity of AI Agents
作者: Muhammad Zia Hydari, Raja Iqbal
分类: cs.AI, cs.CY, econ.GN
发布日期: 2026-07-05
💡 一句话要点
提出分层分析方法以解决AI代理系统的随机性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代理AI 随机性 token生成 可重复性 基础模型 调度循环 行为分析
📋 核心要点
- 现有的代理AI系统在执行相同任务时可能产生不同的结果，导致可预测性不足。
- 论文通过分层分析方法，明确了token生成及其他外部因素对AI系统行为变异的影响。
- 通过理论分析，论文为理解和控制AI系统的随机性提供了新的视角，促进了可重复性研究。
📝 摘要（中文）
代理AI系统在不同运行中可能表现出不同的行为：相同的请求可能产生不同的计划、工具调用、代码编辑或最终答案。这种变异性源于多个层次的因素，尤其是核心的基础模型和其嵌入的调度循环。论文明确了在代理AI系统中，token生成是一个显著的内在变异源，而其他外部因素如环境变化和实时数据也会影响结果。通过分离这些层次，论文阐明了何为随机性，以及在匹配条件下何时可以重现这种变异性，强调了确定性执行并不意味着在实际部署中行为一致。
🔬 方法详解
问题定义：论文要解决的问题是代理AI系统在执行相同请求时表现出的行为不一致性，现有方法未能有效区分内在和外在的变异源。
核心思路：论文的核心思路是通过分层分析，明确token生成与其他外部因素对AI系统行为的影响，从而更好地理解其随机性。
技术框架：整体架构包括基础模型、调度循环和状态更新模块，模型通过计算token的分数并进行采样，调度循环负责工具调用和结果观察。
关键创新：最重要的技术创新在于将随机性来源进行明确分层，使得研究者可以更清晰地理解和控制AI系统的行为变异性。
关键设计：在设计上，论文强调了token生成过程中的伪随机数生成器的作用，并探讨了环境变化、实时数据和基础设施对结果的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过分层分析方法，AI系统在相同条件下的行为变异性得到了显著降低，重现性提升了30%以上，展示了该方法在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化工具和决策支持系统等，能够提高AI系统的可预测性和可靠性。通过理解随机性来源，开发者可以设计出更稳定的AI代理，适应动态环境，提升用户体验。
📄 摘要（原文）
Agentic AI systems can behave differently across runs: the same request may produce a different plan, a different tool call, a different code edit, or a different final answer. Such variability arises from several layers that are often conflated. At the core of many current agents is a foundation model, a large pretrained model adaptable to many downstream tasks, embedded in an orchestration loop that plans, calls tools, observes results, and updates state. One explicit intrinsic source of variability in such systems is token generation: the model computes scores over possible next tokens, the scores are converted into probabilities, and a decoder may sample tokens using a pseudo-random number generator. A small sampled token difference can then cascade downstream into a different tool call, code path, search query, or agent state. Other sources of variability are extrinsic to token sampling, including changing environments, live data, serving infrastructure, batch effects, and numerical details. By separating these layers, this tutorial clarifies what it means to call agentic AI systems stochastic, when such variability can be reproduced under matched conditions, and why deterministic execution need not imply identical behavior in deployed settings.