球友会qy

时间：2025年2月28日 （周五） 14:00-15:30

地 点：中国科研实验室软件园区5号楼4层第一会议室

主讲人：刘勇，中国人民大学，长聘副教授

报告主题：大模型机理分析-- In-context learning

和数据合成

报告摘要：

近年来，大模型技术呈现出突飞猛进的开展态势，然而与之相比，大模型基础理论分析却处于相对滞后的状态。本研究聚焦于大模型机理分析展开深入探究，一方面对 In-context learning（ICL）隐式更新机理进行剖析，并从对比学习视角出发对 Transformer 结构加以改进；另一方面针对当前流行的合成数据生成过程进行数学建模，并从反信息瓶颈这一新颖视角对数据合成进行理论分析。希望能够为 ICL 以极大模型合成数据设计给予全新的见解与思路，助力大模型相关应用更好地开展

报告人介绍：

刘勇，中国人民大学，长聘副教授，博士生导师，国家级高层次青年人才。长期从事机器学习基础理论研究，共发表论文100余篇，其中以第一作者/通讯作者发表顶级期刊和会议论文近50篇，涵盖机器学习领域顶级期刊JMLR、IEEE TPAMI、Artificial Intelligence和顶级会议ICML、NeurIPS等。曾获中国人民大学“杰出学者”、中国科研实验室“青年创新促进会”成员、中国科研实验室信息工程研究所“引进优青”等称号。主持/参与国家自然科学面上/基金青年、科技部重点研发、北京市科技计划中央引导地方专项、北京市面上项目等项目。