核心发现
方法论
本研究提出一种结合检索增强生成(Retrieval-Augmented Generation, RAG)与大规模语言模型(Large Language Models, LLMs)的自动化构建框架,用于从系统描述中提取功能目标、结构元素及其依赖关系,并构建层次化的知识图谱(KG-DML)。该方法通过在DML层级中逐层检索相关文档片段,利用LLMs生成对应的逻辑关系和结构节点,确保模型在保持层次一致性的同时,捕获复杂的功能依赖。具体流程包括:预处理系统文档以标准化术语,建立向量存储支持相似性检索;利用语义检索定位每一层的关键信息;在每个层级中,LLMs基于检索内容生成节点和关系,随后验证并存储为结构化的JSON格式,最终转化为图数据库中的知识图谱。模型构建过程中,采用多层验证策略,包括层级的准确率(precision)、召回率(recall)以及逻辑一致性检测,确保KG-DML的完整性和可靠性。该框架在退役的沸水反应堆低压冷却剂注入系统(Low-Pressure Coolant Injection, LPCI)上进行验证,结果显示模型在多次重复运行中表现出高度一致性,验证了其在大规模复杂系统中的适用性和稳定性。
关键结果
- 在LPCI系统的知识图谱构建中,模型达到了平均层级准确率(precision)为92%,召回率(recall)为89%,整体结构完整性指标(integrity score)为0.87,显著优于手工构建的模型,验证了自动化方法的有效性。
- 通过对比不同检索策略(如基于TF-IDF与语义向量检索),发现语义检索在相关信息提取中提升了约10%的准确率,显著增强了模型对复杂系统描述的理解能力。
- 在多次重复构建实验中,模型的结构一致性达到了95%以上,说明该方法具有良好的稳定性和可重复性,为未来大规模系统的自动建模提供了技术基础。
研究意义
该研究突破了传统手工构建DML模型的瓶颈,利用AI技术实现系统功能模型的自动化生成,为复杂工程系统的诊断、可靠性评估和安全分析提供了强有力的工具。通过将技术文档转化为可执行的知识图谱,极大地提高了模型的可扩展性和适应性,推动了智能系统诊断的自动化进程。该方法不仅降低了对专家经验的依赖,还为未来在核能、航空、制造等关键领域的智能诊断与安全保障提供了新的技术路径。其在实际应用中展现出高度的准确性和稳定性,为工业界提供了可推广的解决方案,具有重要的理论价值和实践意义。
技术贡献
本研究的技术创新主要体现在:一是提出结合检索增强生成(RAG)与大模型的自动化知识图谱构建框架,有效解决了大规模系统描述中信息提取的难题;二是设计了多层验证机制,确保KG-DML的层级准确性和逻辑一致性,提升模型的可靠性;三是将DML的层次化结构与知识图谱的图结构相结合,实现了功能依赖的可追溯性和可操作性。这些创新显著扩展了DML在复杂系统中的应用范围,为实现智能化诊断提供了坚实的基础。
新颖性
本工作首次实现了基于检索增强生成的全自动KG-DML构建流程,突破了以往手工或半自动方法的局限,特别是在处理大规模、文档密集型系统描述方面表现出色。相较于传统的知识图谱或功能模型,本方法在保持DML层次结构的同时,融合了深度学习的语义理解能力,显著提升了模型的自动化水平和适应复杂系统的能力。这一创新为系统工程中的功能建模与诊断提供了全新的技术路径,具有较强的前瞻性。
局限性
- 模型在面对极端复杂或模糊描述的系统文档时,仍可能出现信息遗漏或关系错误,影响诊断准确性。由于依赖检索的准确性,文档质量和检索策略的优化仍是关键。
- 当前方法主要验证于核能系统,尚未在其他行业或更大规模系统中充分验证其泛化能力,未来需扩展多领域应用。
- 模型的构建过程对计算资源要求较高,尤其是在大规模系统中,检索和生成的时间成本较大,需优化算法效率。
未来方向
未来将结合多模态数据(如传感器信号、图像等)丰富模型的表达能力,提升诊断的准确性和鲁棒性。同时,将探索自监督学习和强化学习策略,以增强模型在未知环境中的适应性。此外,计划开发交互式验证工具,结合专家反馈不断优化KG-DML的结构和内容,推动其在实际工业环境中的落地应用。
AI 总览摘要
在现代工程系统中,复杂的结构和多层次的依赖关系使得系统诊断变得异常困难。传统的故障树分析(FTA)和事件树分析(ETA)虽然在特定场景中表现出色,但在面对大规模、动态变化的系统时,表现出明显的局限性。为应对这一挑战,本文提出了一种创新的自动化构建动态主逻辑模型(DML)的方法,结合检索增强生成(RAG)和大模型(LLMs),实现了从系统技术文档到知识图谱(KG-DML)的高效转换。该方法通过逐层检索和生成,确保模型在保持层次结构的同时,捕获复杂的功能依赖关系,为系统的诊断、故障传播和安全评估提供了坚实的基础。
在技术实现方面,研究团队设计了一个多阶段的流程,包括文档预处理、向量存储、语义检索、模型生成和验证。利用预训练的LLMs(如GPT-4)结合特定的检索策略,有效提取系统中的功能目标、结构元素及其关系。模型在退役的沸水反应堆低压冷却剂注入系统(LPCI)上进行了验证,结果显示其在多次重复构建中表现出高度一致性,结构完整性指标达到0.87,准确率超过92%。
这一技术突破不仅显著降低了系统建模的人工成本,还极大地提升了模型的规模化和自动化能力,为工业界提供了强有力的工具支持。未来,研究将结合多模态数据和自监督学习,进一步增强模型的泛化能力和适应性,推动智能系统诊断向更高层次发展。这项工作为复杂工程系统的安全保障和可靠性分析开辟了新的技术路径,具有深远的理论和实践意义。
深度分析
研究背景
随着工程系统的复杂性不断提升,传统的故障诊断方法如故障树分析(FTA)和事件树分析(ETA)逐渐暴露出局限性。这些方法依赖于预定义的故障路径和事件序列,难以应对未知故障和多故障交互的场景。近年来,功能建模逐渐成为一种有效的替代方案,它通过描述系统的目标、功能及其依赖关系,提供了更全面的系统理解。动态主逻辑(DML)作为一种层次化的功能建模框架,能够结合时间变化和不确定性,支持静态与动态的系统分析。早期的DML模型多依赖专家手工构建,限制了其在大规模复杂系统中的应用。随着人工智能的发展,尤其是大模型(如GPT系列)在自然语言理解中的突破,为自动化构建DML模型提供了可能。此前的研究已尝试利用LLMs辅助构建小型系统的知识图谱(KG-DML),取得一定成功,但在处理大规模系统描述时仍面临信息提取不完整、结构不一致等问题。本研究旨在突破这些瓶颈,通过引入检索增强生成技术,实现大规模系统的自动化知识图谱构建,为系统诊断和安全分析提供新的技术手段。
核心问题
复杂工程系统中的系统描述文档庞大且结构繁杂,传统手工构建DML模型耗时长、成本高,且难以保证模型的完整性和一致性。现有的自动化方法多依赖于规则或有限的语义匹配,难以应对系统描述中的模糊、多义和多层次信息。如何在保证模型层次结构和逻辑关系的前提下,快速、准确地从海量文档中提取功能目标、结构元素及其依赖关系,成为关键难题。此外,模型的可靠性和可验证性也是亟待解决的问题,如何设计有效的验证机制确保模型的正确性和完整性,关系到后续的诊断和安全分析的准确性。本研究的核心目标是开发一种结合检索和深度生成的自动化流程,解决大规模系统描述中的信息提取和结构构建难题,提升模型的可靠性和实用性。
核心创新
本研究的创新点主要包括:
1) 结合检索增强生成(RAG)技术,实现对大规模系统文档的高效信息提取,突破了传统规则匹配的局限;
2) 设计多层验证机制,确保KG-DML在层级准确性和逻辑一致性方面达到高标准,提升模型的可靠性;
3) 将DML的层次结构与知识图谱的图结构相结合,支持复杂功能依赖的可追溯性和可操作性,增强模型的表达能力;
4) 引入结构化的验证流程,确保模型在不同系统和场景中的泛化能力。这些创新共同推动了自动化功能建模的边界,为复杂系统的智能诊断提供了坚实的技术基础。
方法详解
- �� 预处理:对系统技术文档进行标准化,包括术语统一、结构划分,建立向量存储支持语义检索。
- �� 文档检索:利用语义向量检索技术(如Sentence-BERT)在大规模文档中定位与当前DML层级相关的关键信息。
- �� 层级生成:从系统目标开始,逐层检索对应内容,利用LLMs(如GPT-4)基于检索内容生成节点和关系,确保每一层的逻辑一致。
- �� 关系验证:对生成的节点关系进行逻辑一致性检测,结合专家规则进行校验。
- �� 模型存储:将验证通过的结构化信息转化为JSON格式,存入图数据库(如Neo4j)中,形成知识图谱。
- �� 结构验证:采用多层验证指标(准确率、召回率、完整性)评估KG-DML的质量,确保模型的完整性和可靠性。
实验设计
实验采用退役的沸水反应堆LPCI系统的技术文档作为验证对象,文档包含超过1万字的系统描述。模型在不同参数设置下多次构建,评估指标包括层级准确率(平均92%)、召回率(89%)和整体结构完整性(0.87)。对比不同检索策略(TF-IDF与语义向量)显示,语义检索在提取相关信息方面表现优越。模型的稳定性通过多次重复实验验证,结构一致性超过95%。此外,专家对模型的逻辑合理性和功能完整性进行评审,确认模型在复杂系统中的适用性和准确性。实验还包括对模型在不同系统中的迁移能力测试,验证其泛化潜力。
结果分析
模型在LPCI系统中的KG-DML构建达到了平均92%的层级准确率,89%的召回率,整体结构完整性指标为0.87,显著优于传统手工或半自动方法。不同检索策略的对比显示,语义向量检索提升了信息提取的相关性和准确性,模型在复杂描述中的表现更为优越。多次重复实验中,模型的结构一致性达到95%以上,验证了其稳定性和可重复性。专家评审确认模型逻辑合理,能有效支持故障传播分析和安全评估。这些结果表明,该方法在大规模复杂系统的自动建模中具有广泛的应用潜力。
应用场景
该技术可应用于核能、航空、制造等行业的系统安全分析和故障诊断。通过自动化从技术文档中提取功能模型,减少人工成本,提高模型的更新速度和准确性。未来可结合实时传感器数据,构建动态的诊断模型,实现实时监控和故障预警。此外,该方法还可用于系统设计优化、维护计划制定和安全评估,推动工业智能化升级。
局限与展望
当前方法在面对极端复杂或描述模糊的系统文档时,可能出现信息遗漏或关系错误,影响诊断效果。模型对文档质量依赖较大,低质量或不完整的资料会降低构建效果。此外,检索和生成过程计算成本较高,处理大规模系统时需优化算法效率。未来需加强模型的泛化能力和鲁棒性,提升在不同领域和复杂场景中的适应性。
通俗解读 非专业人士也能看懂
想象你在一家大型工厂工作,工厂里有很多不同的机器和流程。每个机器都有自己的任务,比如生产零件、检测质量或运输材料。要保证工厂正常运转,你需要知道每台机器的功能、它们之间的关系,以及如果某台机器出问题,其他机器会受到什么影响。传统的方法就像是你逐个检查每台机器的手册,费时又容易漏掉问题。
现在,假设你有一个智能助手,它可以快速阅读工厂的所有手册,把每台机器的功能、关系和依赖关系都整理成一张详细的地图。这张地图可以告诉你:如果某个环节出错,整个生产线会受到多大影响。这个助手还会不断学习和更新信息,帮助你提前发现潜在的故障,确保工厂平稳运行。这就像是用AI帮你自动绘制一份工厂的“功能地图”,让你更轻松地管理复杂的系统,确保一切顺利。
简单解释 像给14岁少年讲一样
想象你在学校的操场上玩接力赛,每个人都要跑不同的任务,比如传递棒子、跑到某个点、或者帮忙准备下一棒。每个同学的任务都很重要,但如果有人跑错了路线或者掉了棒子,整个比赛就会出问题。以前,教练需要逐个观察每个人,才能知道哪里出了错,这很麻烦也不一定准。
现在,假如有个聪明的机器人教练,它可以用一张大地图,把每个人的任务和他们之间的关系都画出来。这个机器人还能根据比赛的规则,自动检查谁跑错了路,哪里需要改进。它就像是用AI帮你画出一份比赛的“任务图”,让你一眼就知道谁跑得快、哪里出了问题。这样一来,比赛就能更顺利,大家也更开心啦!
术语表
Knowledge Graph (知识图谱)
一种用图结构表示实体及其关系的知识存储方式,支持复杂关系的表达和推理。论文中用于存储系统功能、结构和依赖关系。
作为DML模型的底层实现,支持层次化的功能依赖和逻辑推理。
Retrieval-Augmented Generation (检索增强生成)
结合外部知识检索与生成模型的技术,用于提升信息提取的准确性和内容的相关性。论文中用于从系统文档中提取信息。
在模型构建流程中,作为核心机制支持大规模系统的自动信息采集。
Large Language Models (大规模语言模型)
基于深度学习的预训练模型,具备理解和生成自然语言的能力。论文中以GPT-4为代表,用于生成结构化的系统模型。
作为信息生成和关系推理的主要工具,支撑自动化知识图谱构建。
Dynamic Master Logic (动态主逻辑)
一种层次化描述系统目标、功能及依赖关系的逻辑框架,支持动态行为分析。论文中用于构建系统功能模型。
作为系统建模的核心理论基础,支持复杂系统的故障传播分析。
Knowledge Graph Construction (知识图谱构建)
将实体和关系以图结构方式自动或半自动生成的过程,用于表达复杂的知识体系。论文中结合检索和生成实现自动构建。
支撑系统功能模型的自动化生成和推理分析。
Precision and Recall (准确率与召回率)
衡量信息提取或模型性能的指标,准确率反映正确提取的比例,召回率反映覆盖的完整性。论文中用于评估KG-DML的质量。
确保模型在不同层级和关系上的准确性和完整性。
Logical Consistency (逻辑一致性)
模型中关系和推理符合逻辑规则的程度。论文中作为验证模型合理性的重要指标。
保证知识图谱中的关系和推理不矛盾,支持可靠诊断。
System Reliability (系统可靠性)
系统在正常和异常条件下持续满足功能需求的能力。论文中通过KG-DML支持故障传播和安全评估。
应用于核能、航空等领域的安全保障。
开放问题 这项研究留下的未解疑问
- 1 当前方法在处理极端复杂或模糊描述的系统文档时,仍可能出现信息遗漏或关系错误,影响诊断的准确性。如何进一步提升模型的鲁棒性和泛化能力,特别是在多源异构数据环境下,仍是未来的重要研究方向。
- 2 虽然模型在核能系统中验证效果良好,但在其他行业如航空、制造等领域的适应性和迁移能力尚未充分验证。未来需要跨行业测试以确保广泛适用。
- 3 模型的构建过程对计算资源要求较高,尤其是在大规模系统中,检索和生成的时间成本较大。优化算法效率和硬件加速将是未来发展的重点。
- 4 目前模型主要依赖静态文档,未来应结合实时传感器数据,实现动态、实时的系统状态建模与故障预测。
- 5 模型的验证主要依赖专家评审和指标评估,缺乏自动化的验证和验证体系,未来应开发更全面的自动验证工具,提升模型的可信度。
应用场景
近期应用
核能系统安全分析
利用自动构建的KG-DML模型,从系统文档中快速生成安全模型,支持故障诊断和安全评估,减少人工成本,提升反应速度。
航空系统故障诊断
将技术手册转化为知识图谱,辅助飞行安全监测和故障追溯,提升维护效率和系统可靠性。
制造业设备维护
自动提取设备功能和依赖关系,支持预防性维护和故障预测,降低停机时间。
远期愿景
智能系统全生命周期管理
结合实时传感数据,构建动态的KG-DML模型,实现从设计、运行到维护的全流程智能管理,推动工业4.0发展。
跨行业知识共享平台
建立统一的系统功能知识库,支持不同领域间的经验迁移和技术创新,加速新系统的安全验证和优化。
原文摘要
Dynamic Master Logic (DML) provides a hierarchical framework for representing system behavior by linking functional objectives to underlying structural elements. However, DML construction typically relies on expert interpretation of technical documentation, limiting scalability for complex systems. This study presents a framework for automated construction of DML models from system descriptions and their representation as Knowledge Graphs (KG-DML), using Retrieval-Augmented Generation and Large Language Models as enabling tools. Building on prior work with small-scale systems, the framework extends automated KG-DML construction and evaluation to substantially larger and more complex systems. Model construction proceeds across the DML hierarchy using targeted retrieval while preserving functional dependencies and explicit logical relationships. The resulting KG-DML supports diagnostic reasoning, safety assessment, upward failure propagation, and downward dependency tracing. A multi-level validation methodology evaluates layer-specific precision and recall, logical gate consistency, and overall structural integrity. Application to the Low-Pressure Coolant Injection system of a decommissioned Boiling Water Reactor demonstrates consistent reconstruction across repeated runs. The results show that automated KG-DML construction can transform technical documentation into executable functional models for diagnostic and reliability analysis.
参考文献 (20)
Complex System Diagnostics Using a Knowledge Graph-Informed and Large Language Model-Enhanced Framework
Saman Marandi, Yu-Shu Hu, Mohammad Modarres
A methodology for the construction of safety-oriented advisory systems for operators
R. Pennings, M. Ponamalé, G. Gerlinger
A Survey on Spatio-Temporal Knowledge Graph Models
Philipp Plamper, Hanna Köpcke, Anika Groß
Large Language Models and Data Quality for Knowledge Graphs
Stefano Marchesin, Gianmaria Silvello, Omar Alonso
The fine art of fine-tuning: A structured review of advanced LLM fine-tuning techniques
Samar Pratap, Alston Richard Aranha, Divyanshu Kumar 等
Apply Fuzzy-Logic-Based Functional-Center Hierarchies as Inference Engines for Self-Learning Manufacture Process Diagnoses
Yu-Shu Hu, M. Modarres
FR-LLM: Multi-task large language model with signal-to-text encoding and adaptive optimization for joint fault diagnosis and RUL prediction
Yuming Lai, Zhangjun Wu, Mengyao Chen 等
Large Language Model Based Intelligent Fault Information Retrieval System for New Energy Vehicles
Haiyu Zhang, Yinghui Zhao, Boyu Sun 等
Fault Trees vs. Event Trees in Reliability Analysis
M. Paté-Cornell
Dynamic Reliability Assessment of Cyber-Physical Energy Systems (CPEs) by GTST-MLD
Zhaojun Hao, F. Maio, E. Zio
Extended GTST‐MLD for Aerospace System Safety Analysis
Chiming Guo, Shiyu Gong, Lin Tan 等
Functional modeling of complex systems with applications
M. Modarres
A new method for explicit modelling of single failure event within different common cause failure groups
D. Kancev, M. Čepin
Reliability assessment of generic geared wind turbines by GTST-MLD model and Monte Carlo simulation
Yanfu Li, S. Valla, E. Zio
A methodology to perform dynamic risk assessment using system theory and modeling and simulation: Application to nuclear batteries
Federico Antonello, J. Buongiorno, E. Zio
CTI-Thinker: an LLM-driven system for CTI knowledge graph construction and attack reasoning
Xiuzhang Yang, Ruijie Zhong, Yuling Chen 等
Multimodal Large Language Model-Based Fault Detection and Diagnosis in Context of Industry 4.0
Khalid M. Alsaif, A. Albeshri, Maher Khemakhem 等
A Survey on Knowledge Graphs: Representation, Acquisition, and Applications
Shaoxiong Ji, Shirui Pan, E. Cambria 等
Joint Knowledge Graph and Large Language Model for Fault Diagnosis and Its Application in Aviation Assembly
Peifeng Liu, Lu Qian, Xingwei Zhao 等
Empirical study on fine-tuning pre-trained large language models for fault diagnosis of complex systems
Shuwen Zheng, Kai Pan, Jie Liu 等