南京网站建设 小程序做网站用买服务器码

南京网站建设 小程序,做网站用买服务器码,网站建设的意义和作用,网站开发界面设计Hi#xff0c;大家好#xff0c;我是半亩花海。在上节说明了迁移学习领域的其他度量准则#xff08;KL散度与JS距离、MMD、PA、A-distance、HSIC#xff09;之后#xff0c;本文主要将介绍迁移学习的四种基本方法——基于样本迁移、基于特征迁移、基于模型迁移、基于关系迁…Hi大家好我是半亩花海。在上节说明了迁移学习领域的其他度量准则KL散度与JS距离、MMD、PA、A-distance、HSIC之后本文主要将介绍迁移学习的四种基本方法——基于样本迁移、基于特征迁移、基于模型迁移、基于关系迁移。其中基于样本迁移通过调整源域样本权重实现迁移基于特征迁移通过特征变换减少域间差异是目前研究热点基于模型迁移寻找共享参数多与深度神经网络结合基于关系迁移关注样本间关系但相关研究较少。文章重点分析了基于特征和模型的方法指出它们是目前迁移学习领域的主要研究方向。目录一、基于样本迁移二、基于特征迁移三、基于模型迁移四、基于关系迁移基于样本的迁移学习方法示意图按照迁移学习领域权威综述文章 A survey on transfer learning [Pan and Yang, 2010] 迁移学习的基本方法可以分为四种。这四种基本的方法分别是基于样本的迁移基于模型的迁移基于特征的迁移及基于关系的迁移。本部分简要叙述各种方法的基本原理和代表性相关工作。基于特征和模型的迁移方法是我们的重点。一、基于样本迁移基于样本的迁移学习方法 (Instance based Transfer Learning) 根据一定的权重生成规则对数据样本进行重用来进行迁移学习。图14形象地表示了基于样本迁移方法的思想。 源域中存在不同种类的动物如狗、鸟、猫等目标域只有狗这一种类别。在迁移时为了最大限度地和目标域相似我们可以人为地提高源域中属于狗这个类别的样本权重。二、基于特征迁移基于特征的迁移方法 (Feature based Transfer Learning) 是指将通过特征变换的方式互相迁移 [Liu et al., 2011, Zheng et al., 2008, Hu and Yang, 2011]来减少源域和目标域之间的差距或者将源域和目标域的数据特征变换到统一特征空间中 [Pan et al., 2011, Long et al., 2014b, Duan et al., 2012]然后利用传统的机器学习方法进行分类识别。根据特征的同构和异构性又可以分为同构和异构迁移学习。图15很形象地表示了两种基于特征的迁移学习方法。基于特征的迁移学习方法示意图基于特征的迁移学习方法是迁移学习领域中最热门的研究方法这类方法通常假设源域和目标域间有一些交叉的特征。近年来基于特征的迁移学习方法大多与神经网络进行结合在神经网络的训练中进行学习特征和模型的迁移。三、基于模型迁移基于模型的迁移方法 (Parameter/Model based Transfer Learning) 是指从源域和目标域中找到他们之间共享的参数信息以实现迁移的方法。这种迁移方式要求的假设条件是源域中的数据与目标域中的数据可以共享一些模型的参数。下图形象地表示了基于模型的迁移学习方法的基本思想。基于模型的迁移学习方法示意图通过对现有工作的调研可以发现目前绝大多数基于模型的迁移学习方法都与深度神经网络进行结合。这些方法对现有的一些神经网络结构进行修改在网络中加入领域适配层然后联合进行训练。因此这些方法也可以看作是基于模型、特征的方法的结合。四、基于关系迁移基于关系的迁移学习方法 (Relation Based Transfer Learning) 与上述三种方法具有截 然不同的思路。这种方法比较关注源域和目标域的样本之间的关系。下图形象地表示了不同领域之间相似的关系。基于关系的迁移学习方法示意图就目前来说基于关系的迁移学习方法的相关研究工作非常少仅有几篇连贯式的文章讨论[Mihalkova et al., 2007, Mihalkova and Mooney, 2008, Davis and Domingos, 2009]。这些文章都借助于马尔科夫逻辑网络(Markov Logic Net) 来挖掘不同领域之间的关系相似性。基于马尔科夫逻辑网的关系迁移标题在后面的文章中我们将重点讨论基于特征和基于模型的迁移学习方法这也是目前绝大多数研究工作的热点。五、参考资料1. 王晋东《迁移学习简明手册》(PDF版)https://www.labxing.com/files/lab_publications/615-1533737180-LiEa0mQe.pdf#page82zoom100,120,3922. 《迁移学习简明手册》发布啦https://zhuanlan.zhihu.com/p/35352154