汇报标题 (Title)：泛化暗示进建：从单工作到多工作
汇报人 (Speaker)： 景丽萍 教授（北京交通大学）
汇报功夫 (Time)：2023年11月22日(周三) 20:30
汇报地址 (Place)：腾讯会议 724364448
约请人(Inviter)：彭亚新 教授
主办部门：理学院数学系
汇报提要：从复杂、冗余、动态的高维数据中抽取其性质信息，形成单一、泛化、不变的低维暗示是深度进建的关键指标之一。传统进建理论所凭据的数据独立同散布如果往往无法满足盛开场景的真实需要。服务于深度进建的信息瓶颈理论在领导进建步骤设计时往往面对无法有效平衡信息压缩量和进建的泛化性。近年的PAC-Bayes信息瓶颈缓解了这个问题，但必要推算昂贵的二阶曲率，这故障了其大规模的利用推广。为此，科研团队提出了可鉴别信息瓶颈，利用密度比率匹配优化的可鉴别性，在无需二阶信息的前提下提升暗示的泛化能力。与此同时，针对复杂的多工作非独立同散布设置下，模型面对着适该当前工作和平衡从前工作的两难困境。我们从理论上证了然深度网络训练时归一化操作对该问题的影响，利用不确定性估计，提出了自适应平衡批归一化战术，提升对新工作暗示的泛化性，确保模型具备持续进建能力。
