学术分享｜无惧数据匮乏！上海交大博士后周子宜详解蛋白质语言模型的小样本学习方法 FSFP

预训练蛋白质语言模型 (PLMs) 能够以无监督的方式学习数百万蛋白质中氨基酸序列的分布特征，在揭示蛋白质序列与其功能之间的隐含关系方面显示出了巨大的潜力。

在此背景下，上海交通大学自然科学研究院/物理天文学院/张江高研院/药学院洪亮教授课题组，联合上海人工智能实验室青年研究员谈攀，开发了一种针对蛋白质语言模型的小样本学习方法，能够在使用极少数湿实验数据的情况下大幅提升传统蛋白质语言模型的突变效果预测性能， 在实际应用中显示出了巨大的潜力。

在「Meet AI4S」系列直播第三期中，HyperAI超神经有幸邀请到了该研究成果的论文第一作者——上海交通大学自然科学研究院 & 上海国家应用数学中心博士后周子宜。9 月 25 日，周子宜博士将以线上直播的形式进一步为大家分享蛋白质语言模型的小样本学习方法，探讨 AI 辅助下定向进化的新思路。

点击预约直播：

https://hdxu.cn/6Bjom

扫码备注「AI4S」加入讨论群↓

活动详情

分享主题

蛋白质语言模型的小样本学习方法

内容简介

蛋白质语言模型 (PLM) 在蛋白质功能预测方面取得了突破，然而其往往需要大量实验数据微调才能达到较高的精度。本次介绍一种针对 PLM 的小样本学习方法，能在只使用数十个训练样本的情况下显著提升 PLM 的突变效果预测性能。

论文回顾

HyperAI超神经此前曾解读分享了周子宜博士为第一作者的研究论文「Enhancing efficiency of protein language models with minimal wet-lab data through few-shot learning」。

点击查看详细报道：20个实验数据创造AI蛋白质里程碑！上海交大联合上海AI Lab发布FSFP，有效优化蛋白质预训练模型

FSFP 方法包含 3 个阶段

为元学习构建辅助任务 (Build auxiliary tasks for meta-training)、在辅助任务上训练 PLMs (Meta-train PLMs on the auxiliary tasks)、以及将 PLMs 转移到目标任务 (Transfer PLMs to the target task via LTR)。

其中，FSFP 使用 ListMLE 损失来学习对突变适应度进行排名。在每次训练迭代中，把 PLM 对训练样本的预测排列向它们的真实排列修正。该排序学习方法被同时应用于元训练阶段的内部优化和迁移学习阶段。

数据集的获取

该研究选择蛋白质突变数据集 (ProteinGym) 作为基准测试数据集。数据集共包含来自 87 个 DMS 测序实验的大约 150 万个错义变体。

ProteinGym 蛋白质突变数据集下载地址：
https://go.hyper.ai/6GvFD

FSFP 方法评估

• 在平均性能方面，通过 FSFP 训练的 PLMs 在所有训练数据规模上始终优于其他基线。
• 在外推性能评估方面，FSFP 训练 PLMs 的 Spearman 相关性评估更优。
• FSFP 被成功应用于 Phi29 DNA 聚合酶的工程改造，显著提升了阳性率。

观众收益：

1. 了解 PLM 的基本原理以及在蛋白质工程中的应用
2. 了解 PLM 的基本原理以及在蛋白质工程中的应用
3. 探讨 AI 辅助下定向进化的新思路

上海交通大学洪亮课题组

上海交通大学洪亮课题组隶属于上海交通大学自然科学研究院。课题组研究方向主要为 AI 蛋白和药物设计、分子生物物理，具体包括：

• 基于人工智能技术的蛋白质定向改造、酶工程定向进化、和辅助药物设计；
• 中子散射，同步辐射国家大科学装置，单分子荧光，分子动力学模拟和人工智能算法等，研究生物大分子的动力学、生物大分子低温保存技术及原理。

该课题组研究成果颇丰，截止目前共发表研究论文 77 篇，其中多篇登顶 Nature 期刊。

Meet AI4S 系列直播

HyperAI超神经 (hyper.ai) 是中国最⼤的数据科学领域搜索引擎，聚焦 AI for Science 的最新科研成果，实时追踪 Nature、Science 等顶级刊物的学术论文，至今已完成百余篇 AI for Science 论文的解读。

此外，我们还运营了国内唯一 AI for Science 开源项目 awesome-ai4s。

项目地址：

https://github.com/hyperai/awesome-ai4s

为了进一步推进 AI4S 的普适化，将学术机构的科研成果进一步降低传播壁垒，分享给更广泛的行业学者、科技爱好者及产业单位，HyperAI超神经策划了「Meet AI4S」视频栏目，邀请深耕 AI for Science 领域的科研人员或相关单位，以视频的形式分享研究成果、方法思路，共同探讨 AI for Science 在科研进展及推进落地过程中面临的机遇和挑战，促进 AI for Science 的科学普及和传播。

欢迎高效课题组及研究机构共同参与到我们的直播活动中！扫描二维码添加「神经星星」微信，了解详情↓