核心发现
方法论
采用三条件探针设计，利用Geranium多模态检索引擎，比较未 grounded、grounded合成角色与真实专家反馈。Grounded角色基于van den Brandt等人20次访谈编码，结合PersonaCite检索相关证据，生成符合真实用户关切的反馈。未 grounded角色由通用LLM直接生成，缺乏具体用户背景。通过分析不同条件下反馈的语言偏好、关注点偏差，揭示合成角色在域特定可视化评价中的适用范围。
关键结果
- grounded合成角色的反馈更贴近文档化用户的语言和关注点，而未 grounded角色偏向操作细节，且两者在模态偏好上均未反映专家研究中的图像偏好。所有合成角色在‘发现-适应’框架下趋同，但都未捕捉到专家偏好的图像模态优势。
- 在模态偏好排名中，未 grounded角色一致偏好Spec > Image > Text，grounded角色表现出多样性，且在证据缺失时表现出更高的拒绝率（约50%），反映其对证据的依赖。与专家研究相比，合成角色在关注点和反馈风格上存在明显差异。
- 实验验证了grounded合成角色能更好模拟真实用户的语言和关注点，但在多模态偏好和创新探索方面仍存在偏差，提示合成角色在域特定评估中的潜力与局限。
研究意义
本研究系统性分析了基于LLM的合成角色在专业领域可视化评价中的表现差异，为未来结合真实用户与合成角色的多维评估提供理论基础。揭示grounded合成角色能增强评价的真实性，但仍需优化其多模态偏好和创新能力，推动自动化用户模拟在复杂科学数据中的应用。该方法有助于缓解专家资源稀缺的瓶颈，促进多学科交叉的可视化工具设计与验证，具有重要的学术与产业价值。
技术贡献
提出Sycamore框架，通过三条件设计系统性比较未 grounded、grounded合成角色与真实专家反馈，创新性地结合访谈编码与检索增强生成（RAG）机制，提升合成角色的真实性和多样性。引入证据门控机制，增强模型对域知识的依赖，改善反馈偏差。该方法在多模态可视化评价中首次系统性验证了合成角色的适用性，为未来自动化用户模拟提供了可扩展的技术路径。
新颖性
首次系统性比较了基于LLM的合成角色在专业领域中的表现差异，特别是在基因组可视化检索系统中的应用。创新点在于引入证据检索增强机制，结合访谈编码实现grounded合成角色，突破传统静态用户模型的局限。该研究填补了合成用户在高复杂度、多模态科学数据中的应用空白，为自动化评价提供新思路。
局限性
- 模型对证据的依赖可能导致在知识缺失或偏差时表现不佳，难以全面模拟多样化用户行为。
- 当前实验仅限于Geranium系统，泛化到其他复杂可视化工具仍需验证。
- 合成角色在多模态偏好和创新能力方面仍存在偏差，未能完全反映真实用户的偏好变化。
未来方向
未来将结合多源真实用户数据，优化合成角色的多模态偏好表达，增强其多样性和创新能力。探索多任务学习与强化学习机制，提升模型的自主学习和适应能力。同时，扩展到其他科学领域和复杂交互场景，推动自动化用户模拟在科学数据可视化中的广泛应用。
AI 总览摘要
在科学数据可视化的评估中，用户研究一直是核心环节，但在基因组学等专业领域，专家资源稀缺，限制了评价的广度和深度。为解决这一瓶颈，本文提出Sycamore框架，利用大规模语言模型（LLM）生成合成用户角色，结合访谈编码和检索增强生成（RAG）机制，系统性比较未 grounded、grounded合成角色与真实专家反馈的表现差异。
研究采用Geranium多模态检索引擎作为评估对象，设计了三条件探针：未 grounded角色由通用LLM直接生成，缺乏具体背景；grounded角色基于van den Brandt等人的访谈编码，结合PersonaCite检索相关证据，生成更贴近真实用户的反馈；真实专家反馈来自已发表的用户研究。通过分析不同条件下的反馈内容、语言偏好和模态选择，发现grounded角色更能模拟真实用户的关注点和语言风格，但在多模态偏好方面仍存在偏差，未能反映专家的图像偏好。
实验结果显示，合成角色在‘发现-适应’框架下趋同，但都未捕捉到专家偏好的图像模态优势。未 grounded角色偏向操作细节，且在缺乏证据时表现出较高的拒绝率（约50%），体现其对知识依赖的局限。该研究验证了结合访谈编码和检索机制的合成角色在专业领域中的潜力，为自动化评价提供了新的技术路径，同时也揭示了其在多模态偏好和创新能力方面的不足。
整体而言，Sycamore为未来结合真实用户与合成角色的多维度评估提供了理论基础和实践框架，有助于缓解专家资源稀缺问题，推动科学数据可视化的自动化评估与优化。未来工作将聚焦于多源数据融合、模型自主学习和跨领域推广，期待合成用户在科学研究与产业应用中的广泛落地。
深度分析
研究背景
科学数据可视化在基因组学等领域快速发展，工具如IGV、Circos、Gosling等广泛应用，但其评估依赖传统用户研究，受限于专家资源稀缺。近年来，LLM的出现为模拟用户提供新可能，尤其是在复杂、多模态数据环境中，自动化评价成为研究热点。已有研究多关注模型生成的用户行为模拟，但缺乏系统性比较不同模拟策略的效果，特别是在专业领域的应用场景中。Geranium作为多模态检索工具，为评估提供了理想平台，但其评价体系仍主要依赖真实用户反馈，难以扩展。本文旨在通过合成角色的系统性比较，探索其在科学可视化评价中的潜力与局限，为未来自动化、多源、多模态的用户模拟提供理论基础。
核心问题
在基因组学等专业领域，用户多样且稀缺，传统用户研究难以覆盖全部目标用户群，限制了工具的全面评估。现有方法无法高效模拟不同用户的语言、关注点和偏好，导致评价结果偏差，影响工具优化。如何利用LLM生成具有代表性的合成用户，既保证真实性，又能覆盖多样性，成为亟待解决的核心问题。此外，缺乏系统性比较不同合成策略对评价质量的影响，限制了其推广应用。解决这一问题，有助于提升科学数据可视化工具的设计效率和效果。
核心创新
本研究创新在于提出Sycamore框架，结合访谈编码和检索增强机制，系统性比较未 grounded、grounded合成角色与真实专家反馈。具体创新点包括：• 设计三条件探针，系统分析合成角色的表现差异；• 利用PersonaCite结合访谈证据，生成更贴近真实用户的合成反馈；• 引入证据门控机制，增强模型对域知识的依赖，改善反馈偏差。这些创新突破了传统静态用户模型的局限，推动自动化用户模拟在科学数据评价中的应用，为多模态、多任务学习提供了技术基础。
方法详解
- �� 采用Geranium多模态检索引擎作为评估对象，设计三条件：未 grounded由通用LLM生成，缺乏背景信息；grounded结合访谈编码和检索证据，生成符合用户关切的反馈；专家反馈作为基准。
- �� 通过PersonaCite检索编码的访谈证据，结合模型生成，形成grounded合成角色。
- �� 设计评估协议，模拟用户探索流程，包括工作流程描述、手动探索、模态偏好排名。
- �� 利用证据门控机制，确保模型在缺乏证据时拒绝回答，提升反馈的真实性。
- �� 收集多轮交互记录，分析反馈内容、模态偏好、证据依赖情况。
- �� 比较不同条件下的反馈差异，验证grounded合成角色的真实性和局限性。
实验设计
实验采用Geranium系统，评估7个grounded合成角色、7个未 grounded角色和7名真实专家。指标包括模态偏好排名、证据拒绝率、反馈内容主题等。通过定量分析和主题编码，比较不同条件下的反馈差异。参数设置包括：模型使用GPT-5系列，检索证据池为van den Brandt等人访谈编码，阈值设为0.45以控制证据不足的拒绝。实验还包括对合成角色多样性、偏差来源和模态偏好变化的深入分析。
结果分析
未 grounded角色表现出高度一致的模态偏好（Spec > Image > Text），而grounded角色展现出多样性，且在证据缺失时拒绝比例高达50%。合成角色在‘发现-适应’框架下趋同，但都未反映专家的图像偏好。实验验证了grounded合成角色能更贴近真实用户的语言和关注点，但在多模态偏好和创新方面仍存在偏差，提示其在科学数据评价中的潜力与局限。
应用场景
该方法可应用于科学研究、药物开发、临床诊断等领域的可视化工具评估，尤其在专家资源有限时，自动化模拟用户行为，提升评估效率。未来可结合多源真实数据，优化模型多样性，推动自动化用户模拟在复杂交互场景中的应用，降低评估成本，提升工具的用户适应性。
局限与展望
模型对知识的依赖可能导致在知识盲区表现不佳，难以全面模拟多样用户行为。当前实验仅验证Geranium系统，泛化到其他复杂工具仍需验证。合成角色在多模态偏好和创新能力方面仍存在偏差，未来需结合多源数据和多任务学习进行优化。
通俗解读 非专业人士也能看懂
想象你在一家大型工厂工作，工厂里有许多不同的岗位，每个人都负责不同的任务。有些人擅长操作机器，有些人擅长设计流程，但他们都需要用到工厂里的各种工具。现在，如果我们想知道这些工人喜欢用哪些工具，或者他们在工作中遇到的困难，传统的方法是请工厂里的专家告诉我们，但专家很少，不能代表所有工人。于是，我们用一种智能机器人（类似LLM）模拟工人，试图让它表现得像真实工人一样。这个机器人可以根据不同的“工人角色”调整行为，比如“机械操作工”或“流程设计师”。我们还让机器人参考一些真实工人的访谈内容，确保它的回答更贴近实际。通过观察这些机器人在不同情况下的表现，我们可以了解它们在评价工具和流程方面的优缺点。这就像用机器人模拟工厂里的工人，帮我们提前发现问题，节省了请人调查的时间和成本。虽然机器人还不能完全替代真实工人，但它为工厂的改进提供了宝贵的参考。
简单解释 像给14岁少年讲一样
想象你在学校里有很多不同的朋友，每个朋友都喜欢不同的游戏和学习方式。有的朋友喜欢画画，有的喜欢玩电脑游戏，还有的喜欢看书。可是，你想知道他们最喜欢什么，但每次问他们都很难，因为他们的兴趣不同，而且有些朋友不太喜欢说话。于是，你找了一台特别聪明的机器人，它可以模仿你的朋友们，试着告诉你他们喜欢什么。这个机器人会根据你告诉它的朋友的特点，像“喜欢画画的朋友”或“喜欢玩游戏的朋友”，来模拟他们的想法。它还会参考一些你朋友的聊天记录，确保说的话像他们一样。这样，你就可以用这个机器人了解朋友们的兴趣，提前准备礼物或安排活动。虽然这个机器人还不能完全代替真正的朋友，但它能帮你更好地理解他们，节省很多时间。就像用一个超级聪明的机器人朋友，帮你猜猜谁喜欢什么，帮你做决定。
术语表
Synthetic Persona (合成角色)
一种由大规模语言模型（LLM）生成的虚拟用户形象，模拟特定用户群体的行为和语言特征，用于系统评价。In this paper, it refers to artificially created user profiles for visualization feedback.
用于比较不同条件下的用户反馈表现，验证合成角色在专业领域的适用性。
Grounded (有证据基础)
基于真实用户访谈和编码信息，通过检索相关证据生成更贴近实际的用户反馈。In this paper, it指结合访谈内容生成的合成角色。
增强模型对域知识的依赖，提高反馈的真实性和代表性。
Geranium (多模态检索系统)
一个支持图像、文本和规范（Gosling）三模态查询的基因组可视化检索引擎。In this paper, it是评估对象。
作为系统评价的核心平台，测试合成角色的反馈效果。
Retrieval-Augmented Generation (RAG, 检索增强生成)
结合检索机制与生成模型的技术，通过检索相关证据提升生成内容的真实性。In this paper, 它用于生成符合真实用户关注的反馈。
确保合成角色的反馈基于真实证据，避免虚假信息。
模态偏好 (Modality Preference)
用户在多模态交互中偏好使用的输入方式（如图像、文本、规范）。In this paper, 它反映用户在不同查询方式中的选择。
分析合成角色与专家在模态偏好上的差异。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升grounded合成角色在多模态偏好和创新能力上的表现，以更贴近真实用户的多样性。
- 2 在更复杂的交互场景中，如何有效结合多源真实数据，增强合成角色的适应性和泛化能力。
- 3 探索合成角色在不同科学领域中的迁移能力及其对工具设计的具体影响。
应用场景
近期应用
科学工具评估
利用合成角色模拟不同科研用户，快速评估基因组、蛋白质等多模态可视化工具的适用性，降低专家依赖，提升评估效率。
用户行为模拟
在新工具开发中，自动生成多样化用户反馈，辅助设计优化，提前发现潜在问题。
远期愿景
自动化多模态交互优化
结合合成角色与强化学习，持续优化科学数据可视化系统的交互体验，实现智能化自适应。
原文摘要
Evaluating visualization systems in niche domains such as genomics is challenging due to scarcity of domain experts and difficulty recruiting a representative user base. While LLM-based synthetic personas are increasingly used to ease evaluation bottlenecks, they face well-founded skepticism. Rather than weighing synthetic personas as substitutes for real users, we ask a fundamental open question: when synthetic personas evaluate a real visualization system, what do they actually produce, and how does that output change when grounded in documented human contexts? We present Sycamore, an exploratory three-condition probe design using Geranium, a search engine for multimodal genomics visualization, as a case study. Sycamore evaluates Geranium using: (1) ungrounded synthetic personas from generic LLM priors; (2) grounded synthetic personas constrained by voice-of-customer artifacts from a prior interview study; and (3) a published baseline study of real domain experts. We observe that grounding shifts synthetic feedback toward the language and concerns of documented users, while ungrounded evaluators drift toward operational specifics that real participants did not raise; both synthetic conditions, however, converge on a find-and-adapt frame and miss the image-modality preference observed in the expert study. We discuss what these observations imply for where synthetic personas might fit alongside expert studies in domain-specific visualization evaluation. All supplemental materials are available at https://osf.io/kdfr3/.