导航菜单
首页 » 淡然如水111 » 正文

普陀山在哪里-浅说“搬迁学习”(Transfer Learning)

—— 原文发布于自己的微信大众号“大数据与人工智能Lab”(BigdataAILab),欢迎重视。

什么是搬迁学习?

搬迁学习(Transfer Learning)是一种机器学习办法,是把一个范畴(即源范畴)的常识,搬迁到别的一个范畴(即方针范畴),使得方针范畴可以获得更好的学习作用。

一般,源范畴数据量满足,而方针范畴数据量较小,这种场景就很合适做搬迁学习,例如咱们咱们要对一个使命进行分类,可是此使命中数据不满足(方针域),可是却又许多的相关的练习数据(源域),可是此练习数据与所需进行的分类使命中的测试数据特征散布不同(例如语音情感辨认中,一种言语的语音数据满足,可是所需进行分类使命的情感数据却极度缺少),在这种情况下假如可以选用适宜的搬迁学习办法则可以大大提高样本不满足使命的分类辨认成果。

为什么现在需求搬迁学习?

前百度首普陀山在哪里-浅说“搬迁学习”(Transfer Learning)席科学家、斯坦福的教授吴恩达(Andrew Ng)在从前说过:「搬迁学习将会是继监督学习之后的下一个机器学习商业成功的驱动力」。

在本次2016年的 NIPS 会议上,吴恩达 给出了一个未来 AI方向的技能发展图,仍是很客观的:

毋庸置疑,监督学习是现在成熟度最高的,可以说现已成功商用,而下一个商用的技能 将会是 搬迁学习(Transfer Learning),这也是 Andrew 猜测未来五年最有或许走向商用的 AI技能。

吴恩达在一次采访中,也说到搬迁学习会是一个很有生机的范畴,咱们之所以对搬迁学习感到振奋,其原因在于现代深度学习的巨大价值是针对咱们具有海量普陀山在哪里-浅说“搬迁学习”(Transfer Learning)数据的问题。可是,也有许多问题范畴,咱们没有满足数据。比普陀山在哪里-浅说“搬迁学习”(Transfer Learning)方语音辨认。在一些言语中,比方普通话,咱们有许多数据,可是那些只要少数人说的言语,咱们的数据就不行巨大。所以,为了针对数据量不那么多的我国少数人所说的方言进行语音辨认,能将从学习普通话中得到的东西进行搬迁吗?咱们的技能的确可以做到这一点,咱们也正在做,可是,这一范畴的前进能让人工智能有才能处理广泛得多的问题。

传统的机器学习与搬迁学习有什么不同呢?

在机器学习的经典监督学习场景中,假如咱们要针对一些使命和域 A 练习一个模型,咱们会假定被供给了针对同一个域和使命的标签数据。如下图所示,其间咱们的模型 A 在练习数据和测试数据中的域和使命都是相同的。

即使是跟搬迁学习比较类似的多使命学习,多使命学习是对方针域和源域进行一起学习,而搬迁学习主要是对经过对源域的学习处理方针域的辨认使命。下图就展现了传统的机器学习办法与搬迁学习的差异:

什么合适搬迁?

在一些学习使命中有一些特征是个别所特有的,这些特征不可以搬迁。而有些特征是在所有的个别中具有奉献的,这些可以进行搬迁。

有些时分假如搬迁的不适宜则会导致负搬迁,例如当源域和方针域的使命毫不相关时有或许会导致负搬迁。

搬迁学习的分类

依据 Sinno Jialin Pan 和 Qiang Yang 在 TKDE 2010 上的文章,可将搬迁学习算法,依据所要搬迁的常识表明方法(即 “what to transfer”),分为四大类:

  • 根据实例的搬迁学习(instance-based transfer learning):源范畴(source domain)中的数据(data)的某一部分可以经过reweighting的普陀山在哪里-浅说“搬迁学习”(Transfer Learning)办法重用,用于target domain的学习。
  • 根据特征表明的搬迁学习(feature-representation transfer learning):经过source domain学习一个好的(good)的特征表明,把常识经过特征的方法进行编码,并从suorce domain传递到target domain,尘垢target domain使命作用。
  • 根据参数的搬迁学习(parameter-transfer learning):target domain和source domian的使命之间同享相同的模型参数(model parameters)或者是遵守相同的先验散布(prior distribution)。
  • 根据联络常识搬迁学习(relational-knowledge transfer learning):相关范畴之间的常识搬迁,假定source domain和target domain中,数据(data)之间联络联络是相同的。

前三类搬迁学习方法都要求数据(data)独立同散布假定。一起,四类搬迁学习方法都要求挑选的sourc doma与target domai普陀山在哪里-浅说“搬迁学习”(Transfer Learning)n相关,

下表给出了搬迁内容的搬迁学习分类:

搬迁学习的使用

用于情感分类,图画分类,命名实体辨认,WiFi信号定位,自动化屈服,中文到英文翻译等问题。

搬迁学习的价值

  • 复用现有常识域数据,已有的许多作业不至于彻底丢掉;
  • 不需求再去花费巨大价值去从头收集和标定巨大的新数据集,也有或许数据底性包厢子无法获取;
  • 关于快速呈现的新范畴,可以快速搬迁和使用,表现时效性优势。

总结

总归,搬迁学习将会成为接下来令人振奋的研讨方向,特别是许多使用需求可以将常识搬迁到新的使命和域中的模型,将会成为人工智能的又一个重要助推力。

欢迎

关于快速呈现的新范畴,可以快速搬迁和使用,表现时效性优势。

总结

总归,搬迁学习将会成为接下来令人振奋的研讨方向,特别是许多使用需求可以将常识搬迁到新的使命和域中的模型,将会成为人工智能的又一个重要助推力。

欢迎自己的参考文献:K码农-http://kmanong.top/kmn/qxw/form/home?top_cate=28

二维码