核心发现
方法论
Dice Roll方法通过温度调整的核采样模型，分解响应方差为采样、提示措辞、运行间和模型版本组件。使用负二项混合模型、Cliff's δ、依赖保持自举、基于模拟的功效分析和广义理论分解，进行五项品牌推荐审计研究的再分析。
关键结果
- 结果1: 通过D研究，探索性(n=5, G=0.58)、确认性(n=10, G=0.74)和严格性(n=15, G=0.81)迭代指导层次出现，目标与效应大小和广泛性系数相关。
- 结果2: 四种指标家族（计数、集合、嵌入、公平调整PASOR）是互补的，激励紧凑的指标电池而非单一指标。
- 结果3: 三个独立语料库的预注册外部验证在39个单元中37个重现D研究的可靠性预测，无失败，n=5功效值精确到小数点后两位。
研究意义
该研究为LLM品牌推荐的重复查询审计提供了统计学上的原则基础，解决了现有方法中缺乏标准化协议的问题，确保在真实自回归生成的条件依赖和非高斯结构下的可靠性。
技术贡献
技术贡献包括将Dice Roll方法与温度调整的核采样生成模型结合，提供了新的方差分解和负二项GLMM的功效分析，替代了传统的正态理论功效表。
新颖性
首次将Dice Roll方法标准化为LLM品牌推荐审计协议，提供了新的方法论框架，解决了现有研究中迭代次数和稳定性指标选择的随意性。
局限性
- 局限1: 固定迭代层次无法转移，支持试点后解决的阅读。
- 局限2: 所有五个再分析数据集来自该研究组，外部验证是下一步。
未来方向
未来工作包括在独立收集的数据上进行外部验证，并探索Dice Roll方法在其他领域的适用性。
AI 总览摘要
Dice Roll方法为LLM品牌推荐审计提供了标准化协议，解决了迭代次数和稳定性指标选择的随意性问题。通过温度调整的核采样模型，该方法分解响应方差为采样、提示措辞、运行间和模型版本组件。使用负二项混合模型、Cliff's δ、依赖保持自举、基于模拟的功效分析和广义理论分解，进行五项品牌推荐审计研究的再分析。结果显示，探索性、确认性和严格性迭代指导层次出现，目标与效应大小和广泛性系数相关。四种指标家族是互补的，激励紧凑的指标电池而非单一指标。预注册外部验证在39个单元中37个重现D研究的可靠性预测，无失败。该协议为LLM品牌推荐的重复查询审计提供了统计学上的原则基础，确保在真实自回归生成的条件依赖和非高斯结构下的可靠性。未来工作包括在独立收集的数据上进行外部验证，并探索Dice Roll方法在其他领域的适用性。
深度分析
研究背景
随着LLM在品牌推荐中的应用增加，研究人员面临如何审计其随机变化的问题。现有方法缺乏标准化协议，导致迭代次数和稳定性指标选择的随意性。
核心问题
核心问题是如何在LLM品牌推荐中进行有效的重复查询审计，以确保结果的稳定性和可靠性。
核心创新
Dice Roll方法通过温度调整的核采样模型，提供了新的方差分解和负二项GLMM的功效分析，解决了现有方法中的随意性问题。
方法详解
- �� 使用温度调整的核采样模型分解响应方差
- �� 负二项混合模型处理迭代为重复测量
- �� 使用Cliff's δ作为无分布效应大小
- �� 依赖保持自举和基于模拟的功效分析
- �� 广义理论分解和固定快照漂移诊断
实验设计
研究分析了五项品牌推荐审计研究的数据，总计约190,000个观察，270多个品牌，6种语言，迭代次数从5到40。
结果分析
结果显示探索性、确认性和严格性迭代指导层次出现，目标与效应大小和广泛性系数相关。四种指标家族是互补的，激励紧凑的指标电池而非单一指标。
应用场景
该方法可用于LLM品牌推荐的审计，确保在真实自回归生成的条件依赖和非高斯结构下的可靠性。
局限与展望
固定迭代层次无法转移，所有五个再分析数据集来自该研究组，外部验证是下一步。
通俗解读 非专业人士也能看懂
想象你在掷骰子，每次掷出不同的结果。Dice Roll方法就像是掷骰子，通过多次重复查询来审计LLM的品牌推荐。每次查询就像一次掷骰子，结果可能不同，但通过多次重复，你可以得到一个更稳定的结果。这个方法帮助我们理解LLM在推荐品牌时的随机变化，并确保结果的可靠性。
简单解释 像给14岁少年讲一样
嘿，想象一下你在玩一个游戏，每次你按下按钮，屏幕上都会出现不同的品牌推荐。这个变化不是因为游戏坏了，而是因为它设计成这样！Dice Roll方法就像是游戏中的一个技巧，通过多次按按钮（查询），你可以看到品牌推荐的稳定性。这样，你就能知道哪些品牌总是被推荐，哪些只是偶尔出现。酷吧？
术语表
Dice Roll Method (骰子滚动法)
一种用于审计LLM品牌推荐的标准化协议，通过多次重复查询来分析随机变化。
用于分析LLM品牌推荐中的随机变化。
Temperature-Scaled Nucleus Sampling (温度调整的核采样)
一种生成模型，通过调整温度参数来影响采样的概率分布。
用于生成LLM输出的核心机制。
Negative-Binomial Mixed Model (负二项混合模型)
一种统计模型，用于处理过度分散的计数数据，适用于重复测量。
用于处理LLM品牌推荐审计中的迭代数据。
Cliff's Delta (Cliff's δ)
一种无分布效应大小，适用于非正态分布的数据。
用于评估LLM品牌推荐审计中的效应大小。
Generalizability Theory (广泛性理论)
一种统计理论，用于评估测量的可靠性和广泛性。
用于分析LLM品牌推荐审计中的可靠性。
开放问题 这项研究留下的未解疑问
- 1 如何在其他领域应用Dice Roll方法？需要进一步验证其适用性。
- 2 如何处理LLM品牌推荐中的语言差异？需要更多跨语言研究。
应用场景
近期应用
品牌推荐审计
帮助企业了解LLM在品牌推荐中的稳定性和随机变化。
算法优化
通过Dice Roll方法优化LLM的品牌推荐算法，提高准确性。
远期愿景
跨领域应用
将Dice Roll方法应用于其他领域的LLM审计，探索其广泛性。
原文摘要
Background: Researchers increasingly use repeated identical prompts to audit stochastic variation in large language model (LLM) brand recommendations, yet no standardized protocol exists for setting iteration counts, selecting stability metrics, or establishing reliability thresholds. Objective: We formalize the Dice Roll Method as a reusable protocol for repeated-query auditing of LLM brand recommendations, grounded in a generative model of temperature-scaled nucleus sampling. Methods: Total response variance is decomposed into sampling, prompt-phrasing, run-to-run, and model-version components. The stack: a negative-binomial mixed model with iterations as repeated measures; Cliff's delta as the distribution-free effect size; dependence-preserving bootstrap; simulation-based power; a generalizability-theory decomposition; drift diagnostics on pinned snapshots. We reanalyse five brand-recommendation auditing studies: approximately 190,000 observations, 270+ brands, 6 languages, iteration counts 5 to 40. Results: Three tiers of iteration guidance emerge from the D-study: exploratory (n = 5, G = 0.58), confirmatory (n = 10, G = 0.74), and rigorous (n = 15, G = 0.81), tied to effect-size and generalizability targets. The four metric families (count, set, embedding, fairness-adjusted PASOR) are complementary, motivating a compact metric battery over single indicators. A pre-registered external validation on three independent corpora (Motoki et al., 100-round; Rozado, 24 models; llm-stability) reproduces the D-study reliability prediction in 37 of 39 cells with no failures and the n = 5 power value to two decimals; the fixed tiers do not transfer, supporting a pilot-then-solve reading. Conclusion: The protocol gives repeated-query auditing of LLM brand recommendations a statistically principled footing under the conditional, non-Gaussian structure of real autoregressive generation.