大型语言模型在电能行业的应用与局限测评

大型语言模型在电能行业的能力与局限

大型语言模型（LLM）近期热度飙升，其在自然语言处理及多样化任务中展现的能力令人瞩目。各行各业对基于基础模型的人工智能工具寄予厚望，电能行业亦不例外。然而，热情之下需冷静审视：这些LLM究竟在提升电能行业运营效率上具备哪些真实能力，又面临哪些硬性短板。本文旨在厘清这些问题，并指出若干值得深入探索的研究方向。未来核心工作聚焦于三方面：设计专门用于微调LLM的数据采集系统、将电力系统特有工具嵌入LLM，以及利用检索增强生成（RAG）构建领域知识库。唯有攻克这些环节，LLM在安全关键应用中的响应质量与可靠性才能实现质的飞跃。

1 引言

自注意力机制与多头注意力机制作为Transformer架构的核心组件问世后，AI研究路径被彻底重塑。尤其在理解序列数据（尤其是文本）方面，其作用不可替代。这些突破构成了大型语言模型（LLM）的基石——这类模型的最大优势在于，无需显式编程即可执行大量任务。Transformer架构在捕捉长程依赖关系上的可扩展性与高效率，直接催生了生成预训练变压器（GPT）模型。凭借其通用性，LLM迅速在多个行业找到应用场景，研究人员正积极挖掘其在电能行业的潜力。已有研究表明，LLM在生成定制代码、利用RAG技术回答技术问题、合成电网数据、借助深度强化学习寻找最优潮流方案等方面确实具备实力，但数据所有权、隐私及安全保障方面的担忧也随之浮现。

电能行业是现代社会的命脉。电力消费不仅是社会行为与繁荣的晴雨表，更是支撑工业与商业经济活动的根本。在全球气候变化压力加剧、电力需求持续攀升的背景下，电力行业正面临一场深刻变革：必须前所未有地集成海量传感器、大量接纳太阳能与风能等可变可再生能源，并整合氢能、电动汽车及大型计算负载等新技术。与此同时，客户对供电质量与可靠性的期望不断走高。这种扩张导致设备、装置及相关数据量呈指数级增长，给电力系统运营商和公用事业公司带来巨大挑战——人员未增，复杂性却数倍翻升。新知识与瞬时数据的快速积累已超出人类在无辅助条件下的处理极限。这些变化将电力系统推向一个过渡阶段，必须适应新技术，同时化解其带来的难题。

在此背景下，LLM为电能行业提供了极具前景的价值：它能够理解人类提示、缓解感官过载，并在管理极端天气事件及应对不确定性风险时提供近乎实时的指导。因此，有必要系统剖析LLM在独立执行或通过附加功能委派现实电力工程任务时，究竟具备哪些能力与短板。为此，我们利用生产级LLM（尤其是GPT模型）开展了一轮严格的测试与分析，全面探索LLM作为人与电能系统之间接口的准备程度。此外，我们还研究了如何更好地推动LLM在新时期的整合，同时考虑其潜在局限。最后，展望了电能行业未来的研究机遇。

（注释：大型语言模型（LLMs）在电能行业中的能力和局限性。图中分为四个主要部分：LLMs的优势（Strengths）、能力（Capabilities）、局限性（Limitations）和弱点（Weaknesses）。

优势（Strengths）

1. 基础性（Foundational）

- 语言模型及其在权重学习中的应用

- 提示工程及上下文学习

2. 附加功能（Add-on）

- 通过工具嵌入增强能力

- 多模态能力

能力（Capabilities）

1. 电力系统相关性分析

2. 野火风险识别

3. 设备损坏检测

4. 现场危险识别

5. 电力系统文档分析

6. 负载预测

局限性（Limitations）

1. 价格预测

2. 电力流相关问题

3. 确保电力系统安全运行

弱点（Weaknesses）

1. 特定领域数据的可用性和处理挑战

2. 缺乏安全保障措施

3. 不适应处理物理问题

4. 潜在的网络安全和隐私威胁暴露

综合

图中将电力系统和LLMs整合在一起，通过LLMs的多功能性来管理电力系统的复杂性和变化，同时指出了其潜在的应用和局限性。）

2 大型语言模型填补空白的能力

本节探讨LLM在解决电力工程挑战方面的能力，具体内容见图2，详细实验过程见补充信息第SI.1-8章。我们深入研究了LLM在执行多种电气工程特定任务时的准确性，包括电力流分析、最优电力流分析、预测、图像与模式识别，以及利用自定义领域知识库回答问题。尽管重点放在GPT模型系列，但多数观察结果对其他主流模型同样适用。以下详细阐述图1展示的LLM四大关键优势，并说明这些优势如何转化为执行电力工程任务的核心能力。

图2：LLM在电能行业中的应用。该图展示了LLM在电力系统中的四个不同应用。（A）强调了LLM的多模态能力和选择适当提示在绝缘子缺陷检测中的应用。（B）说明通过权重学习微调的语言模型，并通过提示工程技术进一步增强，可用于时间序列预测。（C）展示了LLM的工具嵌入能力以及提示工程，可以用于分析野火模式以进行风险评估。（D）展示了LLM的自然语言处理优势及利用RAG生成对LLM可能未见过的文档的精确响应。

（注释：LLM在电能行业中的四个具体应用，分别是绝缘子缺陷检测、负载预测、野火风险识别和使用RAG进行知识库分析。

(A) 绝缘子缺陷检测：图片展示了带有明显裂痕或破损层的绝缘子。根据提供的上下文信息，任何破损层都意味着状态为“故障”，因此可以推断出图中绝缘子的状态也为“故障”。

告诉我这个的状态。

图片显示一个绝缘子的某一层上有明显的裂痕或破损。根据其他图片提供的上下文信息，任何破损层的状态都被认为是“故障”，因此可以推断出这张图片中绝缘子的状态也是“故障”。

(B) 负载预测：图中展示了三种预测模型的对比，包括LLM建议的线性模型、带有文本嵌入的预测模型和微调后的LLM预测模型。微调后的LLM预测模型的平均绝对百分比误差（MAPE）最低，为8%。

(C) 野火风险识别：展示了利用LLM的工具嵌入能力分析野火模式并将其叠加在输电线路基础设施地图上的应用，从而识别出处于风险中的输电线路。

(D) 使用RAG进行知识库分析：展示了LLM如何利用RAG生成对文档中问题的精确回答的能力。例子中，问题是“什么是机会停电？”，LLM详细解释了机会停电的定义和条件。

什么是机会停电？

机会停电是指当某个特定资源因强制停电而被迫离线，并且该资源在接下来的两天内已经被批准进行计划停电时，ERCOT可以批准的一种特殊类别的计划停电。当一个已经获得批准的停电计划的资源在接下来的两天内发生强制停电时，该资源可能会保持离线状态，并在计划的停电时间前启动已经批准的停电。传输设施的机会停电也可以在某个特定资源因强制、计划或维护停电而离线时获得ERCOT的批准。）

2.1 语言模型和权重学习

LLM的基础能力是从文本输入（提示）生成语义有意义的文本输出（响应）。虽然预训练数据集的具体内容尚不明确，但根据我们的研究，现有语言模型能够为电力工程领域的特定问题提供逻辑清晰的回应（见第SI.5章）。这部分能力很可能源于模型庞大的参数数量——某些信息被直接“记忆”在权重中。Transformer架构的高效处理机制使得这些记忆信息能够快速检索。这种记忆与检索能力有时也被称为权重学习。基础LLM通常允许用户通过“微调”过程在新信息语料库上完善模型，我们已在负载预测任务中应用了这一策略（见图2(B)，详情见第SI.6章）。这一过程会改变LLM中的模型参数。

LLM对电力系统的影响深远。它能促进电力系统数据、软件、工具及跨领域数据集之间的交互，进而提升电力行业运营效率，并支持决策过程。利用LLM的推理能力，可实现实时诊断（第SI.1章）、按需分析，并增强传统控制中心的操作能力。

2.2 提示工程和上下文学习

LLM生成响应的效果高度依赖于提问或提示的结构与风格，这一操作被称为提示工程。提示工程能帮助电力工程师在解决复杂问题时获得更有意义的回答，而简单提示往往无法达到期望的响应（见第SI.2和SI.4章）。相关技术中最著名的包括思维链提示和检索增强生成（RAG）。如图2(D)所示，LLM能够筛选包含大量文本信息的文档，这在电力系统操作这种快节奏的工作环境中尤为实用（见第SI.5.2章）。

在提示工程的研究中，LLM最令人惊讶的能力之一是基于少量示例提示进行上下文学习，如图2(A)所示（见第SI.3章）。更准确地说，LLM似乎能从提示中推导出模式或学习规则，无需对底层模型做任何额外修改，即可运用这些模式和规则生成正确响应（在第SI.6章的负载预测示例中也有体现）。即便LLM的性能可能并非最优，这种基于有限数据学习的能力对电力工程师而言极其宝贵——电力系统的数据集通常受保护，难以获取。LLM生成的响应往往不稳定，但将自定义领域知识作为提示工程的一部分，可有效降低这种变异性。

2.3 通过工具嵌入增强能力

LLM本质上是一个复杂的语言处理单元，但通过加入更多处理单元可增强其能力。工具嵌入正是这种增强方式之一：训练LLM将某些任务委派出去。例如，我们观察到GPT-4会优先考虑写文本文件，并利用嵌入的工具执行代码，然后推断生成的结果（如第SI.1、SI.2章中的示例所示）。如图2(C)所示，LLM利用工具嵌入能力提取野火区域并叠加在输电线路基础设施图上，用于识别处于风险中的输电线路（第SI.2章）。

这种工具嵌入能力对电力系统工程师而言堪称神器，因为许多应用都需要解决非线性非凸问题。电力系统工程师日常使用基于物理的建模与仿真工具，如PSS/E、PSCAD、PowerWorld和CyME，这些工具均可由LLM调用来解决复杂问题。工具嵌入能力可通过API调用实现，同时还促进了典型的时空时间序列电力系统数据（如SCADA数据）的按需远程处理（见第SI.1章）。

2.4 增强的多模态能力

多数情况下，电力工程师需处理非文本与非数字数据（见第SI.3和SI.4章），例如时间序列测量数据、图像或视频。基础LLM可与其他模型结合，获得多模态处理能力，从而对各种非文本格式的信息进行上下文化处理。这些能力主要通过语义嵌入实现，与自然语言处理中常用的嵌入类似。因此，大型语言模型（LLM）在处理多模态数据方面表现出色。值得注意的是，前沿计算机科学文献正致力于增强LLM的多模态输入输出能力。预计不久后，多模态能力将成为大多数现成LLM的原生功能，下一代应用程序将真正释放这些潜力。在我们的实验中，LLM在解释图像数据方面表现得相当娴熟。如图2(A)所示，LLM利用多模态能力和上下文学习能力诊断出绝缘子图像中的缺陷（见第SI.3章）。

3 LLM在电能行业应用中的局限性

3.1 特定领域数据的可用性和处理的挑战

在电力行业应用大型语言模型（LLM）的一大难题是LLM预训练中缺乏特定领域的数据。由于隐私问题和法规限制，LLM的预训练只能依赖公开可用和经过许可的第三方数据集。因此，研究界面临一个开放性问题：如何构建一个庞大的电力系统专用训练数据集，同时避开美国联邦电力法案第215A(d)节中关于关键能源/电力基础设施信息（CEII）的规定？在这种现实约束下，我们可以采用较小但高质量（标注过）的数据集进行微调，这些数据集能帮助用户执行电力流分析（见第SI.7章），甚至防止LLM生成不安全的响应（见第SI.8章）。根据使用场景的不同，这些微调数据集可能需要经过处理，以防止隐私泄露，并转换为对下游任务微调最有效的格式。将有限的高质量数据作为提示的一部分，结合LLM的上下文少样本学习能力，可能会提升性能——已有研究人员在探索这种可能性。

此外，电力系统数据大部分来自多种测量仪器的长期时间序列数据，这些数据可能并非自然语言形式。这就需要设计定制化的、更高效的嵌入算法。同时，LLM每次查询只能处理有限量的信息——即上下文窗口，而电力系统信号可能表现出长期依赖性，由于这些限制，这些依赖性可能无法被捕捉。

3.2 缺乏安全保障措施

在电力系统语境下，安全涵盖的范围很广，涉及设备安全、人员安全、终端用户安全以及电力系统的安全运行。集成到电力系统中的LLM必须遵守这些安全标准。首先，由于生成模型的特性，LLM的结果具有概率性，因此响应的正确性无法完全保证。其次，LLM通常不提供其输出的不确定性估计。电力系统运行必须遵守非常严格的安全性能指南，例如电压幅度限制。这些电力系统操作要求，LLM通常难以满足。在我们的实验中，我们观察到提示的细微变化就导致LLM生成了不同的响应和代码，进而可能造成错误结果。我们还发现，有多种方法能诱使LLM提供不安全的响应（见第SI.8章）。缺乏定制的安全保障措施，也可能阻止我们执行电力系统中一些必要的任务。例如，在我们的实验中，我们无法仅凭视觉输入就预测野火传播或进行审计。此外，由于LLM是在大量数据上训练的，我们需确保少数群体的声音不会被淹没。领域专家通过提供实时指导和标记问题内容来训练LLM，扮演着重要角色。

因此，尽管LLM能极大造福电力行业，但它们也带来了与传统软件系统不同的独特风险。需要建立治理框架来缓解这些风险。例如，美国国家标准与技术研究所（NIST）的AI风险管理框架提供了基于负责任AI普遍原则的自愿指南。创建一个安全的基于LLM的系统，是一个关键的研究领域，尤其是在电力行业这类安全关键基础设施系统中。

3.3 不适应处理物理原则

能源生产和消费是一个由一系列物理原理支配的复杂过程，例如麦克斯韦方程、机械动力学以及人类行为。用LLM来建模人类行为，特别是在价格预测和需求响应政策设计这些任务中，存在巨大挑战。这可能是因为价格是负荷、人类决策和市场规则三者复合的结果。使用更多数据，可能会改进可再生能源发电预测、价格预测（见第SI.6章）以及对人类行为的理解，这对电网运行有益。尽管已有努力将多个专门的注意力机制用于决策，也可用于电力流分析（见第SI.7章），但用于控制过程的LLM是高度专业化的。

基础LLM通常因模型的黑箱性质而缺乏可解释性。在电力系统中，这可能会成为问题，因为经常会出现意外情况。因此，LLM的可解释性将是构建可解释、透明系统的关键组成部分。这也让我们相信，现有的、基于物理驱动的复杂专用工具对电力工程师而言仍然不可或缺。通用的LLM可以作为有价值的助手，总结和发现决策的含义，并通过工具嵌入帮助电力工程师，但不应深入复杂的过程。

3.4 潜在的网络安全和隐私威胁

将大型语言模型（LLM）集成到电力系统中时，网络安全和隐私是首要顾虑。即使在本地LLM设置中，也存在潜在的网络漏洞。例如，使用与电力系统相关的公司特定数据来构建LLM，可能会无意中让组织暴露在特权提升攻击、后门利用和敏感训练数据被提取的风险中。那些用于安全关键任务（如价格预测，见第SI.6章）的在线LLM，会成为网络攻击的频繁目标。此外，专门的提示本身就可能被视为商业机密，恶意行为者可能会将其泄露（见第SI.7章）。

随着LLM越来越多地集成到电力系统中，对数据隐私的担忧与日俱增。建立标准协议，确保数据在用于训练前被充分匿名化和清理，去掉个人身份信息，变得至关重要。但在某些情况下，个人或群体信息是上下文相关的，这仍然是一个挑战。

4 未来前景

LLM（如GPT模型）在通过自然语言输入解释电力工程任务方面展现出巨大潜力。通过本研究，我们测试了LLM在电力行业应用中的能力与局限性。我们讨论了LLM在回答一般电力系统查询、代码生成和数据分析方面的有效性。此外，通过检索增强生成，LLM可以充当文档知识库，并帮助执行操作员培训等任务。最后，LLM的多模态能力在诊断设备故障和远程监控方面也很有用。实际上，通用的LLM在检测对象（文本、图像、数据）之间的相关性方面表现强大，但在解决与物理高度相关的问题时仍然欠佳，这些问题通常涉及复杂的数学原理。

在电力系统研究和应用中，有许多可能性可以扩展和增强LLM的能力。第一个方向是精心策划数据收集，以便微调基础LLM。这需要深厚的电力系统专业知识，来识别最有效的数据源并设计收集机制，确保能拿到高质量的数据集。对LLM结果进行不确定性量化，也是电力行业研究的一个重要方向。第二个方向是允许嵌入电力系统特定的工具。市面上已经有各种强大且多样化的电力系统功能工具，LLM可以充当连接所有这些工具的中心枢纽，通过高质量的嵌入来实现。但如果嵌入做得太简单，可能会效率低下，甚至导致不同工具之间产生冲突。因此可能需要电力系统专家来识别这些工具嵌入所需的理想行为。第三个方向是构建用于检索增强的电力系统知识库。虽然已有生成此类知识库的通用方法，但它们可能无法充分利用电力系统的物理约束和特性。因此，这项工作需要对电力系统运行和能力有深入透彻的理解。基于基础模型的AI工具，作为电力行业的决策支持副驾驶，未来是光明的。

Majumder S, Dong L, Doudi F, et al. Exploring the capabilities and limitations of large language models in the electric energy sector[J]. Joule, 2024, 8(6): 1544-1549.

来源：互联网