报告题目：预训练语言模型压缩技术
主讲人：林政 中科院信息工程研究所副研究员
时间：2022年09月01日（星期四）上午10:00
地点：腾讯会议号641-120-348
摘要：
“预训练+微调”已经成为NLP任务的主流范式，各类预训练语言模型（如BERT、GPT）的参数量呈指数级增长，随之带来了训练开销大、难以在资源受限场景部署的问题，因此需要对大规模预训练模型进行高效压缩。本次报告主要围绕三个研究问题展开：（1）不同压缩方法具有不同特点，是否可以将多种不同作用原理的压缩方法进行融合从而各取所长？（2）在知识蒸馏中，是否有必要对教师模型的全部隐藏层知识进行蒸馏？（3）预训练模型中是否存在可迁移的子网络，该子网络可以在多种下游任务上微调，并取得和完整预训练模型相当的效果？在解答上述三个问题之后，会对预训练模型压缩领域进行总结与展望。
报告人简介：
林政 中国科学院信息工程研究所副研究员、博士生导师，主要研究领域是自然语言处理、网络内容安全，具体包括情感/情绪分析、机器阅读理解、神经网络模型压缩等研究任务。在2018、2019年连续获得两届全国“军事智能-机器阅读”挑战赛冠军。2020年在常识推理阅读国际比赛排行榜上取得了三个任务的第一名。近几年在TASLP、ACL、EMNLP、AAAI、IJCAI、WWW、CIKM、WSDM、ICMR等国内外顶级学术会议和期刊上发表论文50篇，入选科技部F5000优秀论文，获得国家自然科学基金青年项目、面上项目、国家重点研发计划等多个项目资助。
邀请人：人工智能系 苏劲松教授
