港大开源OpenGraph：攻克图基础模型难题，实现多领域通用图模型

港大开源OpenGraph：攻克图基础模型难题，实现多领域通用图模型

图基础模型领域最近迎来了一个重量级选手。香港大学发布的OpenGraph，可以说是一举攻克了困扰该领域的三大核心难题。它的突破点在于，巧妙地实现了零样本学习能力，能够灵活适配多种下游任务，而无需针对每个任务进行繁琐的重新训练。这套模型的构建思路非常清晰，主要围绕三个关键部分展开：首先是设计一个统一的图Tokenizer，接着是构建一个可扩展的图Transformer，最后则创新性地引入了大语言模型的知识蒸馏技术。

统一图Tokenizer：化解数据异构的难题

图数据的“麻烦”在哪里？不同数据集之间的节点集合千差万别，特征空间也各有不同，这给构建通用模型带来了巨大障碍。OpenGraph的解法是，创建一个统一的图Tokenizer。它采用了一种拓扑感知的映射方案，简单来说，就是让模型能“读懂”不同图数据的内在结构和关系，并将它们高效地转化为统一的“语言符号”（Token）。这样一来，无论面对哪种图结构，模型都能用同一种方式进行理解和处理，为后续的通用性打下了坚实基础。

（相关研究论文地址：https://arxiv.org/pdf/2403.01121.pdf）

可扩展的图Transformer：效率与性能的平衡术

模型能力强大固然好，但如果计算开销大到无法承受，便失去了实用价值。OpenGraph在图Transformer部分引入了巧妙的采样技巧来破解这个矛盾。具体包括Token序列采样，以及在自注意力机制中使用的锚点采样方法。这些技巧并非简单地牺牲精度，而是在保证模型仍能捕捉复杂节点间依赖关系的前提下，大幅降低了训练所需的时间和内存开销。这意味着，处理大规模图数据不再是遥不可及的梦想。

大语言模型知识蒸馏：用“合成数据”滋养模型

真实世界的标注图数据往往稀缺且获取成本高昂，这严重制约了模型的训练。OpenGraph的思路别出心裁：向大语言模型“借知识”。通过利用大语言模型生成多样化的、高质量的图结构数据，来“喂养”和训练自己的图模型。这种方法巧妙地弥补了真实数据的不足。实验结果表明，这一策略行之有效。OpenGraph不仅在跨数据集预测任务上表现出了显著优势，其独特的图Tokenizer设计和大语言模型蒸馏方法，也都通过了严格的验证。

开启通用图模型的新篇章

总的来说，OpenGraph的亮相，实实在在地填补了图基础模型领域的一个关键空白。它不仅仅是一个技术工具，更为如何构建真正通用的图模型提供了全新的思路和坚实的技术支撑。从社交网络分析到推荐系统，从生物化学研究到金融风控，其潜在的应用场景非常广泛，预示着图智能技术将进入一个更加强大和便捷的新阶段。

来源：互联网