近日，创新奇智首创的关于端到端深度神经“概率”决策树及无损提点剪枝学术研讨论文《Dynamic Connected Neural Decision Classifier and Regressor with Dynamic Soft Pruning》被全球数据发掘范畴顶级会议ICDM2020收录（全长论文录取率为9.8%）。
ICDM是全球数据发掘范畴内的最高级别学术会议之一，次要展现和讨论数据发掘范畴的研讨停顿，包括统计方法、机器学习、数据发掘基础算法模型辨认、数据库和数据仓库、数据可视化系统以及高功能计算。
创新奇智研发的动态软剪枝神经网络集成了自主研发的Dynamic Connected Neural Decision Network (DNDN)、Dynamic Soft Pruning(DSP) 以及Embedding模块，可以更好地顺应不同复杂度的数据集，从而更为有效地训练模型。树型神经网络单元可以顺应数值型特征里的条件判别情形，完成决策树相似功能。两层树型神经网络单元可以顺应不同难度义务的数据集。运用剪枝训练，可以挑选特征，防止过拟合，并在不影响功能的前提下将权值矩阵稀疏化，进一步避免神经网络调参。
次要贡献
DNDN模型将Deep Neural Decision Forests(DNDF)中的交替更新训练转变为端到端的训练
DSP软剪枝有相对平滑的衰减，使得DNDF中特征到节点层映射更富有特性，从而使得每棵“树”具有足够强的多样性
动态软剪枝神经网络集成两层树型神经网络单元，用以顺应不同复杂度的数据集训练模型
在众多数据集上停止了反复实验，树形神经网络在维度较高、样本较多的分类成绩上普遍优于现有神经网络结构和决策树算法
论文解读
背景
机器学习算法曾经被广泛运用，并且在学术和商业范畴都继续惹起关注与探求。虽然深度神经网络（DNN）的函数类型丰富残缺，但在结构化数值特征义务上，基于树的一些传统机器学习算法(如随机森林，Xgboost等) 的效果大多优于全衔接DNN算法或Wide & Deep算法。深度学习在图像和NLP成绩上表现优秀，优于传统的机器学习方法。创新奇智努力于探求新型 DNN 结构，以顺应结构化数值特征的分类义务。
基于树的机器学习算法存在以下三个成绩：
① 决策边界是硬边界
② 决策面通常垂直于坐标轴
③ 在特征很多且较弱时，决策树比较难自动将它们停止整合并得到强特征。
普通自动机器学习平台也存在当特征维度较高、参数空间较大时，能够会较难停止足够充分搜索的成绩。为了处理以上成绩，创新奇智率先提出了端到端训练的动态软剪枝神经网络。
Dynamic Neural Soft Pruning Network（DNSPN）模型
DNDN模块
模拟树的拓扑结构，使其拥有基于树的机器学习算法的优秀性质。现有Softmax层的各个特征之间只能停止线性组合，所以等待有一种可以组合特征的手腕，使得即便是较弱的特征也能组合出较强的特性，所以把某个全衔接层（FC）中的神经元视为完全二叉树的各个节点，我们通常称该层为“节点层”， 把传统的二分路由（非左即右）换成概率路由（“有σ(x)的概率”去左子节点，“有1-σ(x)的概率”去右子节点）。计算输入的概率向量时，由于样本x到达各个叶子节点
的概率加在一同为1，所以只需在各个
中放置一个类别概率向量πι，再停止加权求和即可。
对于叶节点上类别概率分布的训练，之前的做法是将一切类别概率分布初始化为平均分布，经过相似于不动点迭代的、交替更新的方式来训练这些类别概率和网络权值，但是由于不动点迭代需求做很多次前行传导，以及不动点迭代独立于训练步骤，有训练速度慢与训练过程不波动的缺陷。为此，作者采用一种端到端优化的替代方案，用Softmax与若干个随机初始化矩阵来初始化各个类别概率分布，将类别概率分布的训练放在模型参数的训练中，自动训练出较优的分布。
DSP动态软剪枝
超参数空间宏大无比，通常而言难以对其停止自动化调参。DNDN的拟合才能非常强，但我们通常担心的不是模型才能不够，而是模型的泛化才能不够，即过拟合成绩。DNDN采用了全衔接的手腕，这意味着每个高层神经元都要受一切低层神经元的影响，对数据噪音容错性差。所以在训练的过程中对神经元之间的衔接进举动态剪枝，从而可以让模型趋于精简，缓解了上述成绩。
之前的做法，一旦被剪枝就直接衰减到0，没有过渡过程，常常导致在特征曾经做得较好的数据集上出现功能损失，所以需求引入衰减过程，降低模型的渐变型，从而在大多数较差的数据集上达到硬剪枝效果，在较好的数据集上几乎没有功能损失。这样的剪枝完成和调参都很简便，且经过调参可以逼近硬剪枝（α→0,β→∞,r=γ=1）。
不同于Surgery采用的剪枝函数，DSP提出了一种测量参数重要性的新方法，如下所示：
T ̃k是一个中间函数，表示为：
在每一层全衔接后面都加了DNDN单元，从而使得模型可以顺应不同难度的数据集。对于简单的数据集，浅层的DNDN单元就能拟合得不错，所以就不必让模型一定要在深层的地方做决策。对于较难的数据集，就次要是深层的DNDN单元做决策，但浅层的DNDN单元也能起到辅助决策的作用。
实验
作者在OpenML、UCI、AutoML和Self-Designed Dataset with noise四种数据集上将DNSPN与AutoSkearm 、LightGBM, 、FCNN 等停止实验对比，评价目的一致选用了AUC，来验证DNSPN的功能。另外也测试了DNDF与DNDN的表现，与DNSPN对比。
图4 OpenML数据集上各个模型的AUC表现
图5 AutoML数据集上各个模型AUC的表现
从图4中可以看出DNSPN全体表现优于其他算法，Auto-Sklearn和LightGBM虽然在小部分数据集上表现有了提高，但与DNSPN相比，训练工夫更长。由于DNSPN可以做到端到端训练并且剪枝，训练工夫平均可减少40%。从图5可以看出来DNSPN除了在其中3个数据集上表现较为最优秀以外，在大型数据集上效果尤为分明。
总结
创新奇智提出的DNSPN可以提高训练的波动性和速度。此外，还提出了DSP来切断网络中的冗余衔接，避免过拟合和提高鲁棒性。然后，将不同的层嵌入到一同，并结合细节和语义学习来做最后预测，这可以进一步提高UCI、OpenML、AutoML和自构建数据集上停止实验，从鲁棒性和准确性的角度分析验证了DNSPN的优越性。
创新奇智CTO张发恩表示：”人工智能商业化落地的前提是过硬的技术与算法。在'技术产品'和'行业场景'双轮驱动形式下，创新奇智一直以技术为基础、以人才为根本，组建“创新奇智科研委员会-创新奇智创新研讨院-工程算法研发团队’三级研发体系，展开前沿算法研讨与落地探求。
创新奇智创新研讨院硕果累累，目前已在ICCV、ECCV、DAC、IEEE ICDM等多个顶级会议发表学术研讨论文，仅最近一个月就有8篇论文收录，如：
《Zero Knowledge Proofs for Cloud Storage Integrity Checking》（ CCC2020 ）
《Provenance-based Hierarchical Encryption for Fine-grained Access Control in Cloud Computing》(2nd International Conference on Industrial Artificial Intelligence）
《On the Security of A Remote Cloud Storage Integrity Checking Protocol》（ CSSC2020 ）
还在Wider Face、Pascal VOC、Cityscapes、MOT Challenge、MIT Scene Parsing等多个世界顶级计算机视觉大赛获得冠军。
雷锋网雷锋网 |
