2021年8月，吴恩达的深度学习课程宣布发布，并立刻吸引住了诸多深度学习粉絲的“毕恭毕敬”。一如吴恩达先前在Coursera上的深度学习课程，这几科深度学习课程也是广受好评。

　　在众多粉絲中，澳大利亚国家银行金融体系的顶尖投资分析师Ryan J. Shrott过去三门深度学习课程中汇总出了二十一点体会心得，汇总了该系列产品课程的众多精粹。

　　吴恩达老先生（Andrew Ng）的3门课程都非常有效，教會了我很多好用的专业知识。吴教授善于过虑掉流行词汇，用一种清楚简约的方法解释了一切。例如他表明了监管式深度学习（supervised deep learning）只不过一个多维的拟合曲线程序流程，而别的一切具备象征性的了解，如人们中枢神经系统的通用性参考，则有一些过于玄妙了。

　　官方网详细介绍说只必须有一些基本上的离散数学和Python程序编写专业知识就可以听得懂这种课程。殊不知我觉得你还是应当明白矢量素材高等数学（vector calculus），有利于明白提升全过程的內部原理。假如你没关注內部怎样运作，仅仅关心获得高些方面的信息内容，你能绕过这些高等数学的视頻。

　　大家人们现如今有着的90%的数据全是于近期2年内搜集的。深层神经元网络（DNN’s）能够能够更好地运用规模性的数据，进而超过较小的互联网及传统式学习培训优化算法。

　　在上这门课以前，我在沒有意识到一个神经元网络能够无需for循环来构建。吴恩达非常好地传递了矢量化代码设计的必要性。在工作中，他还给予了一个规范化的矢量素材代码设计样版，那样你也就能够很便捷的运用到自身的运用中了。

　　在第一个课程中，我懂得了用NumPy库完成前向和反向传播全过程，我因此对例如TensorFlow和Keras这种高级别架构的內部工作中原理造成了更多方面的了解。吴恩达根据解释计算图（comptation graph）身后的基本原理，让我懂得TensorFlow是怎样实行“奇妙的提升”的。

　　吴恩达对DNN‘s的分层次层面拥有形象化的了解。例如，在人脸识别层面，他觉得此前的分层次用以将面部边沿排序，事后的分层次将这种分得的组产生五官（如鼻部、双眼、嘴这些），再下面的分层次把这种人体器官组成在一起用于鉴别人像图片。他还解释了控制回路基础理论（circuit theory），即存有一些涵数，必须模块的指数值去配对浅部互联网的数据。能够根据加上比较有限总数的额外层来简单化这一指数值难题。

　　他还解决了误差和标准差中间被广泛引入的“衡量”（tradeoff）难题。他觉得在深度学习的时期，大家有着单独处理每一个难题的工作能力，因此 这类“衡量”难题将不会再存有。

　　为何向成本函数中添加一个处罚项会减少标准差效用？在上这门课以前我对它的判断力是它使权重值引流矩阵接近于零，进而造成一个更为“线形”的涵数。吴教授则得出了另一个有关tanh激活函数的解释。他觉得更小的权重值引流矩阵造成更小的輸出，这种輸出集中化紧紧围绕在tanh涵数的线形地区。

　　他还为dropout得出了一个形象化的解释。以前我觉得dropout只是在每一个迭代更新中解决任意神经细胞，就如同一个越小的互联网，其线形水平就越强一样。而他的见解是以单独神经细胞的视角看来这一作法。

　　由于dropout随后解决联接，促使神经细胞向父系社会神经细胞中更为匀称地蔓延权重值。以致于更趋向于减缩权重值的L2范数（squared norm）的实际效果。他还解释了dropout只不过L2正则化的一种响应式方式，而这二种的实际效果相近。

　　吴恩达展现了为何归一化能够根据制作等高线图（contour plots）的方法加快提升流程。他详尽解读了一个实例，在归一化和非归一化等高线图上梯度下降法样版开展迭代更新。

　　吴恩达展现了不太好的主要参数复位将造成梯度消失或发生爆炸。他觉得处理这个问题的基本准则是保证每一层的权重值引流矩阵的标准差都类似为1。他还探讨了tanh激活函数的Xavier复位方式。

　　吴教授应用等高线图解释了减少和提升小批量生产规格的衡量。基本准则是很大的规格每一次迭代更新会减缓，而较小的规格则能够加速迭代更新全过程，可是没法确保一样的收敛性实际效果。最好方式便是在二者之间开展衡量，促使训炼全过程比马上解决全部数据集要快，又能运用向量化分析技术性的优点。

　　吴恩达解释了抛体运动（momentum）和RMSprop等技术性是怎样限定梯度下降法靠近极小值的途径。他还用球滚出山的事例栩栩如生地解释了这一全过程。他把这种方式融合起來以解释知名的Adam提升全过程。

　　吴恩达解释了怎么使用TensorFlow完成神经元网络，并表明了在提升全过程中应用的后面过程。课程工作之一便是激励你用TensorFlow来完成dropout和L2正则化，提升了我对后面过程的了解。

　　吴恩达探讨了设备学习方法中正交化的必要性。基本上观念是实行一些控制，这种控制一次只功效于优化算法特性的单一部件。比如为了更好地处理误差难题，你能应用更高的互联网或大量的鲁棒优化技术性。你期待这种控制只危害误差而不容易危害别的如较弱广泛等难题。一个缺乏正交化的控制太早终止了提升全过程。由于这会与此同时危害实体模型的误差和标准差。

　　吴恩达注重挑选单一数据评定指标值来评定优化算法的必要性。在实体模型开发设计全过程中，假如你的总体目标更改，那麼接着才能够变更评定衡量规范。 Ng得出了在猫分类应用软件中鉴别情色相片的事例！

　　自始至终保证开发设计集和检测集具备同样的遍布。这可保证你的精英团队在迭代更新全过程中看准恰当的总体目标。这也代表着，假如你决策改正检测集中化不正确标识的数据，那麼你还是务必改正开发设计集中化不正确标识的数据。

　　吴恩达得出了为何一个精英团队会对具备不一样遍布的训练集和检测集/开发设计集有兴趣的缘故。缘故取决于，你期待评定规范是依据你真真正正关注的事例推算出来的。比如，你或许想应用与你的问题不有关的实例做为训练集，可是，请别寄希望于应用这种实例对你的优化算法开展评定。你能应用大量的数据训炼你的优化算法。工作经验证实，这类方式在许多 状况下能让你产生更强的特性。缺陷就是你的训练集和检测集/开发设计集拥有不一样的遍布。解决方法是空出一小部分训练集，来独立明确训练集的泛化能力。随后，你能将此差错率与具体的开发设计集差错率开展较为，并测算出“数据不配对”衡量规范。吴恩达接着解释了处理这一数据不配对难题的方式，如人力数据生成。

　　在深度学习时期，创建训练集/开发设计集/检测集区划的参照规范发生了极大的转变。在上课以前，我明白一般 的60/20/20区划。 Ng注重，针对一个十分大的数据集，你应该应用大概98/1/1乃至99 / 0.5 / 0.5的区划。这是由于开发设计集和检测集只需充足大，以保证你的精英团队给予的可信区间就可以。假如你已经应用10,000,000个训练集实例，那麼或许有100,000个实例（或1%的数据）早已非常大了，足够保证在你的开发设计集和/或检测集具备一些相信界线。

　　吴恩达解释了在一些运用中，人们水准的主要表现怎样被作为贝叶斯算法偏差的意味着。比如，针对例如视觉效果和声频鉴别的每日任务，人的水准偏差将十分贴近贝叶斯算法偏差。这能够使你的精英团队量化分析你的实体模型中能够防止的误差。沒有贝叶斯算法偏差等标准，将难以了解互联网中的标准差和可防止的误差难题。

　　吴恩达展现了一个实际效果较为显著的技术性，即根据应用不正确剖析，来明显提升优化算法特性的实效性。基本上观念是手动式标识不正确归类的实例，并将活力集中化在对不正确归类数据奉献较大的不正确上。

　　比如，在鉴别猫的运用中，吴恩达判断模糊不清图象对不正确奉献较大。这一灵敏度分析能够使你见到，在降低总的不正确层面，你的勤奋是非常值得的。一般 可能是那样的状况，修补模糊不清图象是一个十分艰巨的任务，而别的不正确是显著的，且非常容易处理。因而敏感度和模糊不清工作中都将被列入管理决策全过程。

　　迁移学习容许你将专业知识从一个实体模型转移到另一个实体模型。比如，你能将图像识别技术专业知识从鉴别猫的应用软件转移到放射性确诊。完成迁移学习牵涉到用大量的数据再次训炼用以相近主要用途的最终多层互联网。这一念头是，互联网中较早的隐模块具备更普遍的运用，一般 并不是专业对于你已经应用的互联网中的特殊每日任务。总得来说，当二项每日任务具备同样的键入特点时，并且如果你试着学习培训的每日任务比你已经试着训炼的每日任务有大量的数据时，迁移学习是合理的。

　　多任务学习驱使一个单一的神经元网络与此同时学习培训好几个每日任务（而不是每一个每日任务都是有一个独立的神经元网络）。Ng解释说，假如一组每日任务能够从共享资源较低等其他特点中获益，而且每一个每日任务的数据量在量级上类似，则该方式能够非常好地工作中。

　　端到端的深度学习必须好几个解决环节，并将其组成一个单一的神经元网络。这促使数据可以自身讲话，而不容易存有大家在提升全过程中手动式表明工程项目流程发生的误差。反过来，这类方式必须大量的数据，很有可能会清除很有可能手动式设计方案的部件。

　　Ryan汇总道，尽管吴恩达的深度学习课程不可以使你变成 真真正正的深度学习权威专家，但能够使你对深度学习实体模型的发展趋势全过程拥有基本上的判断力掌握。自然，这二十一点体会心得也远远地不可以包含该系列产品课程的所有信息内容，要想新手入门深度学习，或是的自身亲自学习培训这系列产品课程。