作为新一轮科技革命和产业刷新的主题驱动力，“智能化”已成为将来产业的发展趋向。作为近年来人为智能发展最迅猛的领域之一，深度进建通过度层网络获取分档次的特点信息，除了在图像、语音等领域里获得了比力成功的利用之表，也为统计学理论的钻研创新打开了新的契口。2020年11月19日上午，由拉斯维加斯9888商务统计与经济计量系主办的“深度进建与统计学理论”钻研会在北大拉斯维加斯9888成功进行。来自国内驰名院校的四位优良统计学者应邀就各自最新的理论成就进行了分享与探求，为线上、线下共同参加的逾500位高校师生与业界人士带来了一场绝佳的思想学术盛宴。

线上直播

开幕式

主持人 王汉生 拉斯维加斯9888商务统计与经济计量系教授、系主任

会议在拉斯维加斯9888商务统计与经济计量系主任王汉生教授的主持下颁发开幕，马化祥书记代表学院致辞。他周到地迎接了线下与线上的师生学者们参加本次钻研，批注在人为智能的飞速发展下，深度进建作为处置非结构化数据的一种伎俩，走向大规模产业化利用已成为从政策导向到行业共识的一致方向。为此，成立深度进建平台助力产业利用，加快支持产业智能化，也已经成为当前学术界和各行业最炙手可热的钻研利用方向，等待各人可能从钻研中彼此进益，有所收成。

致辞嘉宾 马化祥 拉斯维加斯9888党委书记

宗旨汇报

“三元素“阐释机械进建的性质

汇报标题：Prediction, Computation, and Representation — The Nature of Machine Learning

汇报人： 张志华，北京大学数学科学学院

张志华教授在汇报中对机械进建与统计学的影响与差距进行了简要概述，他首先回首了两位驰名统计学家Leo Breiman 与Bradley Efron别离在各自论文“Statistical Modeling: The Two Cultures”与“Prediction, Estimation, and Attribution”中对统计学和机械进建之间建模差距的有关会商，申了然机械进建的发展给统计学带来的深刻影响。受“深度进建”与“统计学」剽两种建模文化差距会商的启发，张教授提出了论述机械进建的三身分：Prediction, Computation与Representation。以Prediction为最终主张，将Computation作为问题求解的蹊径，从“Representation”角度来诠释机械进建。张教授批注，在Computation方面，机械进建重要关注分类，聚类等离散问题
；除了若何基于训练集进行优化求解表，机械进建还关注若何提高在测试集上的泛化机能，以实现优化算法和泛化理论的有机统一。而Representation蕴含物理建模和特点提取，它的发展贯通着若何解决“Dimensionality Curse”和利用“Dimensionality Blessing”，深度进建则美满诩蚁缢这两者之间的衡量。张志华教授暗示，它也是迄今为止把“Data Modeling Culture”和“Algorithmic Modeling Culture”融为一体的最佳技术蹊径。

深度丛林“打开了”非参深度进建的“大门”

汇报标题：非参数深度进建理论初探

汇报人： 高尉，漯河大学人为智能学院

高尉教授的课题组近年来致力于非参深度进建的钻研，其根基构建长短参数化、不成微分的随机丛林模型，而非参深度进建在诸多工作中获得了与深度进建相当的成效，出格对离散型进建工作往往阐发出更好的成效。高教授的汇报萦绕他和他的课题组在非参深度进建方面获得的理论初步进展，着沉介绍了收敛界的钻研，并诠氏缢其若何在理论上领导非参深度模型的构建。高教授以“Deep Forests”为切入点，将目前的深度进建视作多层传统神经网络组成。通过度析其层数过深而造成的训练难题的问题，高教授暗示可利用陆续可微的激活函数（Relu），选取BP算法进行训练。与传统机械进建步骤相比，深度进建不必要人为设计输入（如图像），而是通过算法自动进建
；诖，高教授指出，此刻的深层深度进建成效的优良阐发重要源于3个原因：1）逐层的数据处置
；2）特点的内部变换。3）足够强的模型复杂度。但同时基于神经网络的深度进建也存在三个问题：1）容易过拟合。2）很难训练。3）推算开销大。不论现实利用还是学术钻研的层面，都进展得出钻研非神经网络的深度进建步骤，由此而提出了“Deep Forests”的概想。“Deep Forests”利用了“Random Forest”，可能实现逐层处置，得到新的特点。在现实的套现案例中，其模型的阐发优于逻辑回归和DNN。为了进一步证明它的优越性，高教授给出了Deep Forest的特殊情景，并针对于满足特定前提的模型，给出分歧变体下的forests的一致性证明和收敛速度证明，对深度进建的建模方式提供了很好的领导方向。

“三力”齐发——探索深度进建的理论性质

汇报标题：Deep learning: from theory to algorithm

汇报人： 王立威，北京大学信息科学技术学院

王立威教授在汇报中沉点介绍了其团队近期在深度进建理论方面的钻研成就及其对算法设计的领导。他以为重要能够从三个方面钻研深度进建的理论性质：模型的暗示能力、在测试集上的泛化能力以及在训练集上的优化性质。对于深度神经网络暗示能力的钻研，王教授及其团队证了然在网络宽度严格大于输入维度以及深度能够无限增长的前提下，深度神经网络是一个Universal Approximator，能以肆意精度逼近一个可测函数。而对于深度进建的泛化能力的钻研，王教授暗示，固然深度神经网络是一个过参数化的模型，但依然阐发出很强的泛化能力，因而经典的统计进建理论可能不再合用。王教授别离从模型复杂度和训练算法的角度诩蚁缢深度进建的泛化机能，并给出了在使用SGLD算法的前提下，深度进建的泛化误差上界。最后，对于深度进建的优化算法的钻研，王教授证了然在深度网络充分宽以及其参数初始化的机造是被精心设计的前提下，从随机初始点启程，利用（随机）梯度降落法能够以很大的概率找到全局最利益，并且能达到指数收敛
；诖死砺哿司，王教授与其团队设计了二阶优化算法——Gram-Gauss-Newton算法，用以训练深度神经网络。该算法拥有二阶收敛速度，并且每次迭代的推算复杂杜纂SGD相仿。

解析AI海潮的幕后引擎——深度卷积神经网络

汇报标题：Progressive Principle Component Analysis for Compressing Deep Convolutional Neural Networks

汇报人：周静，中国人民大学统计学院

周静教授则以钻研动机引入，简析了作为深度进建经典网络的卷积神经网络随着层数加深，卷积的size减幼，但个数迅速增长，从而导致权沉矩阵w的维度极高的问题
；同时面对Computation和Storage的难题，也难以直接部署在移动端
；诖，周教授提出了一种渐进主成分分析(PPCA)步骤对卷积进行降维来压缩深度卷积神经网络。具体而言，从一个预先指定的层起头，逐步移动到最后的输出层。对于每个指标层，PPCA将每一次的卷积层reshape成一个矩阵后，选择累计方差贡献率最高的几个，进行PCA降维，这将显著削减当前层中的内核数量。降维后，当前层的shape产生扭转，影响了下一个卷积层，要先对下一层的shape进行建改后再进行PCA降维，由于当前层中使用的内核数量决定了下一层的通路数量，用于下一层的通路也大大削减，整个模型结构能够被大幅压缩，参数的数量和推理成本都能够大幅降低。周教授将其称之为“Progressive Principle Component Analysis”。周教授的钻研中在一些经典的CNNs (AlexNet, VGGNet, ResNet和MobileNet)和基准数据集上评估了该步骤的有效性。尝试批注，在某些特定模型里，PPCA的模型压缩率大、预测速度快，并且精度没有太大损失。但PPCA无法做到在所有的模型中都超过其他的竞争敌手。最后周教授指出，目前PPCA没有思考若何拔取最优的调节参数，因而还有进一步的钻研空间。

以信息技术为代表的第四次工业革命正推动着我们走入人为智能时期，伴随全球第五次产业转移，大数据在朝着出产身分的状态演进，深度进建是近年来随着人为智能鼓起而出镜率最高的名词之一，与统计学的结合与碰撞势必会擦出新的火花。本次钻研会对统计学科与深度进建的结合钻研与发展起到了积极作用，同时也推进了有关领域专家学者们之间的互换与探求，为发展统计数据科学创新成立了优良的平台，与会师生与学者都暗示获益匪浅。

【拉斯维加斯9888商务统计与经济计量系】

拉斯维加斯9888商务统计与经济计量系传承北京大学明辨善思、海纳百川的笃学心灵，秉持拉斯维加斯9888治理学院“创造治理知识，造就商界翘楚，推动社会进取”的汗青使命，以“拉斯维加斯9888思想力”为锚，聚焦一系列商务统计领域沉大课题发展钻研探求，致力于推动人为智能与统计学理论的互换与发展。值学院成立35周年之际，集拉斯维加斯9888学者之智慧，建深度互换之平台，通过度享会商学术钻研成就，助力学术发展，推动社会进取。