“鼎新北科--自动化”名家讲坛 2020控制专题（六）

2020年8月17日至28日，威尼斯144777cm举办“鼎新北科——自动化”名家讲坛系列报告。8月25日进行了专题三的第三场讲座（总第43讲），主讲人为南京信息工程大学袁晓彤教授。会议由学院院长张朝晖教授致辞、智能科学与技术系樊彬教授主持，学院党委书记李擎、智能科学与技术系副主任刘冀伟及100余名师生参加了会议。

 

 

 

袁教授的报告以“随机稀疏学习算法及其在深度网络剪枝中的应用”为题，针对稀疏约束统计学习模型的高效计算问题，探讨了基于分布式和随机梯度下降的稀疏优化算法。在当前机器学习应用的规模越来越大的背景下，为了提高计算效率，袁教授向我们介绍了“稀疏”这一先验假设，它可以很好地符合人的认知机制，同时更好地进行对高维数据的低维结构的捕捉，从而大大加快了大规模机器学习的效率。

 

 

 

在利用稀疏学习算法的前提下，袁教授所在团队主要研究了两种优化算法：一种是基于混合随机梯度的快速阈值追踪算法，这种算法的思想是使用大小随时间变化的mini-batch来优化迭代复杂度；另一种是基于近似牛顿估计的通信高效分布式优化算法，这种方法对多机器通信复杂度进行优化，提高了通信效率，并且在神经网络剪枝中得以应用。研究结果表明所提出的稀疏优化方法可以显著调高非凸稀疏学习的计算效率，自适应地显著减少卷积神经网络的冗余度，同时保持稠密模型的泛化能力。报告最后，袁晓彤教授针对学校师生提出的问题给出了自己富有独到见解的回答。

本次学术报告内容精彩纷呈，引起了师生们的广泛讨论和积极提问，在场的老师和学生认真学习报告精髓，进一步开阔了学术视野，纷纷表示获益匪浅。

图文：刘传巾 周俊杰

审核：彭开香      

责编：马  琳