深圳 网站建设培训班嘉兴网站制作设计

深圳 网站建设培训班,嘉兴网站制作设计,企业标识系统,广州网络营销推广目录 0.机器学习策略 1.正交化原则 2.单一数字评估指标 #xff08;1#xff09;定义 #xff08;2#xff09;查准率 和 查全率 3.满足和优化指标 #xff08;1#xff09;介绍 #xff08;2#xff09;例子 4.训练集#xff0c;开发集#xff0c;测试集的…目录0.机器学习策略1.正交化原则2.单一数字评估指标1定义2查准率 和 查全率3.满足和优化指标1介绍2例子4.训练集开发集测试集的划分1 机器学习工作流程2开发集和测试集要来自同一分布3数据集大小划分4什么时候改变指标或开发集/测试集5.人类水平 / 人类表现1概念2为什么超越人类水平之前一直很快但超越人类水平进展会变慢。3估计贝叶斯错误率4可避免偏差0.机器学习策略优化深度学习模型时错误的选择可能会浪费很多时间。机器学习策略能让我们找到调整哪些参数最可能有效优化模型的。1.正交化原则机器学习中的正交化核心是让系统的不同组件(调整方案)只负责单一任务对于不同的情况有专门的解决办法。比如模型若训练误差高只需聚焦提升拟合能力无需同时调整泛化相关策略。2.单一数字评估指标1定义在通过调整参数、更换算法、更改模型结构等方式优化模型时用一个单一实数来评估优化后的模型是好是坏。2查准率 和 查全率查准率 (Precision)预测为1中实际为1的比例。衡量准不准查全率 (Recall)实际为1中被预测为1的比例。衡量漏没漏实际情况下要结合查准率和查全率一般用两者的调和平均数2 / (1/P 1/R)平均率如果A, B......F 六个国家分类器对于不同国家的错误率和平均错误率如下则C为最好的分类器。3.满足和优化指标1介绍在一些情况中把所有事情组合成单实数评估指标有时并不容易可能有多个指标在那些情况里有时候设立满足指标satisficing metrics和优化指标optimizing metrics是很重要的。如果你需要顾及多个指标比如说有一个优化指标你想尽可能优化的然后还有一个或多个满足指标需要满足的需要达到一定的门槛threshold。2例子这里有A、B、C三个分类器假设我们只看中分类准确度你可以使用F1分数来衡量。但是如果除了准确度还需要考虑运行时间会发现这两个指标不太合适综合成单值评价指标。因此我们可以说准确度是一个优化指标因为你想要准确度最大化而运行时间就是我们所说的满足指标意思是它必须满足一个阈值这里假设它只需要小于100毫秒达到之后你不在乎这指标有多好。所以我们选择分类器B4.训练集开发集测试集的划分1 机器学习工作流程机器学习中的工作流程是用训练集训练不同的模型然后使用开发集来评估然后选择一个之后不断迭代去改善开发集的性能直到最后你可以得到一个令你满意的成本然后你再用测试集去评估。2开发集和测试集要来自同一分布如果你的开发集和测试集来自不同的分布针对开发集优化时瞄准一个靶心而在测试时效果却不佳因为靶心移到不同的位置了。为了避免这种情况要将所有数据随机洗牌放入开发集和测试集使开发集和测试集都来自同一分布这分布就是把所有数据混在一起服从的分布。3数据集大小划分旧的划分方式机器学习早期这样70/30或者60/20/20分的经验法则是相当合理的。如果你有几千个样本或者有一万个样本这些做法也还是合理的。但在现代机器学习中我们更习惯操作规模大得多的数据集比如说1百万个训练样本这样分可能更合理98%作为训练集1%开发集1%测试集。4什么时候改变指标或开发集/测试集总结有问题的时候eg1构建一个猫分类器试图找到很多猫的照片使用的指标是分类错误率。算法A和B分别有3错误率和5错误率所以算法A似乎做得更好。但是算法A由于某些原因把很多色情图片分类成猫了而算法B没有让任何色情图像通过从用户接受的角度来看算法B更好。这时应该改变评估指标或者要改变开发集或测试集。eg2现在两个分类器A和B在开发集上分别有3%和5%的错误率但在实际部署产品时算法B表现更好。研究发现训练过程使用的都是高质量图片而部署到手机应用时用户上传的图片是低质量的这些图片取景不专业猫不完整或图像模糊。开发集/测试集和实际应用的图片不同分布所以方针就是修改指标或者开发测试集。5.人类水平 / 人类表现1概念我们衡量一个模型的好坏通常把它和人类表现相比较如图训练模型时随着时间的延长模型的表现会超过人类表现水平之后性能或准确率上升就会变得缓慢而且不会一个超过理论上限——贝叶斯最优错误率。贝叶斯最优错误Bayes Optimal Error是所有可能的分类器包括最优分类器在给定数据分布下能达到的最小错误率是衡量模型性能的理论上限。2为什么超越人类水平之前一直很快但超越人类水平进展会变慢。因为模型的训练是人类来改进的在未达到人类水平之前人类可以看到模型的不足网络结构、算法、偏差方差.......并改进超过人类水平后人类很难找到不足之处3估计贝叶斯错误率一些情况下可以用人类水平的错误率估计或代替贝叶斯错误率。对于计算机视觉任务而言这样替代相当合理因为人类实际上是非常擅长计算机视觉任务的所以人类能做到的水平和贝叶斯错误率相差不远。4可避免偏差贝叶斯错误率或者对贝叶斯错误率的估计和训练错误率之间的差值称为可避免偏差avoidable bias。你可能希望一直提高训练集表现直到你接近贝叶斯错误率但实际上你也不希望做到比贝叶斯错误率更好因为理论上是不可能超过贝叶斯错误率的除非过拟合。而训练错误率和开发错误率之前的差值就大概说明你的算法在方差