清华大学ProteinOPD框架：高效多目标蛋白质设计偏好对齐方案

蛋白质设计领域正迎来一个关键的转折点。早期的蛋白质语言模型，核心任务是生成结构上合理的氨基酸序列。但如今，合成生物学和药物研发等实际应用场景，对模型提出了更高的要求：我们不仅需要“合理”的蛋白，更需要“好用”的蛋白——比如，既要能正确折叠，又要具备良好的溶解性，最好还能耐受高温。然而，想让一个模型同时满足多个、甚至可能相互冲突的优化目标，并非易事。模型常常顾此失彼，在提升某一属性的同时，要么遗忘了预训练阶段习得的通用设计能力，要么在其他目标上表现滑坡。

最近，清华大学高子琪团队与IDEA AI4S团队联手，提出了一个名为ProteinOPD的新框架，旨在高效解决这一多目标偏好对齐的难题。简单来说，这个框架的核心贡献可以概括为三点：

首先，它直击多目标优化的痛点，在显著提升目标属性的同时，能较好地保留基础模型原有的设计能力和生成质量。其次，它创新性地将“在线策略蒸馏”方法从单教师、单目标场景，扩展到了多教师、多目标的复杂设置。最后，研究团队提供了相当完整的开源支持，包括论文、代码、项目主页和在线体验入口，覆盖了从模型训练到推理应用的全流程，极大地方便了社区的复现与后续探索。

方法设计：解耦“获取”与“组合”

ProteinOPD的聪明之处在于，它将复杂的多目标问题进行了巧妙拆解。其核心思路是将“偏好获取”和“偏好组合”这两个步骤分离开来。

具体怎么操作？第一步，针对我们关心的每一个目标属性，比如折叠性、溶解性或热稳定性，框架会利用一个专门的“属性预言机”对大量蛋白序列进行打分，并从中筛选出少量在该属性上表现优异的样本，构成一个个“偏好专属”的训练集。接下来，通过对预训练好的基础蛋白语言模型进行轻量级的适配微调，就能得到一系列“专家教师”——每个教师只精通并负责引导一种特定的属性偏好。

到了训练学生模型的关键阶段，ProteinOPD摒弃了传统的、在固定数据集上进行模仿学习的方式，转而采用了一种更为动态的“在线策略蒸馏”。这意味着，学生模型不是被动学习静态样本，而是主动生成序列前缀；教师模型则基于学生当前的实际“探索轨迹”，给出下一个氨基酸token应该如何选择的概率分布指导。这种机制让学生能在自身真实的生成状态空间中获得反馈，有效缓解了训练与推理阶段的数据分布不一致问题。同时，在token级别进行密集的分布监督，也比序列级别的稀疏奖励信号更高效、更稳定。

那么，如何让一个学生同时听取多位“专家教师”的意见呢？这就是ProteinOPD的另一项关键设计：多教师OPD。研究团队采用了一种名为“归一化专家乘积”的方法，将多位教师给出的next-token概率分布融合成一个“几何共识”目标。与简单的算术平均不同，几何共识更强调那些得到多位教师共同认可的token选择——只有当多个目标属性都倾向于某个氨基酸时，它才会在最终共识中获得高权重。这促使模型去寻找多个偏好之间的“最大公约数”，而不是被某一个极端目标牵着鼻子走。

有趣的是，这个归一化过程本身还能揭示不同属性目标之间的内在冲突程度。当所有教师对某个序列前缀的意见高度一致时，说明目标间冲突小；反之，若教师们的分布差异很大，则意味着属性间存在较强的竞争关系。这为研究者观察和理解多目标优化的内在复杂性，提供了一个无需额外计算的直观信号。

模型性能：效率与效果的平衡

理论设计是否有效，最终要靠实验数据说话。在多项评估中，ProteinOPD展现出了令人印象深刻的性能。

首先，在多目标偏好对齐的综合测试中，ProteinOPD取得了帕累托最优的结果。与一个名为MoMPNN的强基准方法相比，其超体积指标提升了34.8%。更具体地看，当以ProtGPT2为基础模型时，ProteinOPD将生成蛋白的可折叠性、溶解性和热稳定性分别提升了14.8%、16.9%和54.2%。

其次，在单目标实验中，ProteinOPD也证明了其优势：它能够成功地将经过监督微调的教师模型的偏好能力转移给学生，同时显著缓解了直接微调基础模型常导致的“灾难性遗忘”问题。在无条件生成任务中，它在保留大部分属性收益的同时，将序列新颖性的损失控制在了更低水平；在条件生成任务中，它甚至提升了条件一致性得分，说明模型在追逐新属性的过程中，没有破坏原有的核心设计功能。

最后，也是实际应用中非常关键的一点——训练效率。ProteinOPD相比基于强化学习的方法，在达到相近热稳定性提升水平时，实现了约8倍的训练加速。同时，其教师模型的构建只需要少量经过预言机筛选的高质量样本，这使得整个流程非常适合蛋白质设计实践中需要快速迭代、试错的需求。

样例研究：直观对比见真章

为了更直观地展示效果，论文还将ProteinOPD与另一个方法ASPO的生成样例进行了对比。为了公平聚焦于多属性对齐能力，作者特意筛选了那些热稳定性得分均超过0.95，且与已知天然蛋白序列相似度极低（低于5%）的生成结果。

可视化分析显示，ProteinOPD生成的蛋白样例，其预测的局部距离差异测试得分达到了0.73，高于ASPO生成样例的0.49；同时，其溶解性得分也达到了0.69，优于ASPO的0.43。这个对比清晰地表明，ProteinOPD不仅能在单一属性上实现突破，更能在保持序列新颖性的前提下，实现多个理想属性的有效协同提升。

总而言之，ProteinOPD为蛋白质设计的偏好对齐问题提供了一条高效且实用的技术路径：通过训练轻量级的专属教师来学习单一偏好，利用多教师几何共识机制来调和目标冲突，再借助基于自身生成轨迹的在线策略蒸馏实现稳定、高效的知识迁移。这项工作成功地将OPD范式从通用语言模型领域拓展到了蛋白质设计这一专业领域，并进一步推进至多目标、多教师的复杂场景，为生成式蛋白质设计走向更精准、更可控的应用，提供了有力的新工具和思路。

来源：互联网