迁移学习 Transfer Learning

110 阅读 0 评论 73 点赞

我是靠谱客的博主犹豫朋友，最近开发中收集的这篇文章主要介绍迁移学习 Transfer Learning，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

from:http://transferlearning.xyz/

关于迁移学习的所有资料，包括：介绍、综述文章、最新文章、代表工作及其代码、常用数据集、硕博士论文、比赛等等。(可能是目前最全的迁移学习资料库？) 欢迎一起贡献！

Everything about Transfer Learning (Probably the most complete repository?). Your contribution is highly valued!

如果认为本仓库有用，请在你的论文和其他出版物中进行引用！ If you find this repo helpful, please cite it as follows:

@Misc{transferlearning.xyz,
howpublished = {url{http://transferlearning.xyz}},   
title = {Everything about Transfer Learning and Domain Adapation},  
author = {Wang, Jindong and others}  
}

目录 Table of contents

最新文章 Latest
迁移学习简介 Introduction to transfer learning
研究领域与相关文章 Research articles by area
理论与综述文章 Theoretical and survey papers
相关代码 Available codes
代表性研究学者 Scholars
相关硕博士论文 Thesis
数据集及算法结果 Datasets and benchmark
比赛 Challenges and competitions
迁移学习应用 Transfer learning applications
其他 Other resources
Contributing

关于机器学习和行为识别的资料，请参考：行为识别｜机器学习

0.Latest

迁移学习文章汇总 Awesome transfer learning papers

Latest publications
- 20181212 ICONIP-18 Domain Adaptation via Identical Distribution Across Models and Tasks - English: Transfer from large net to small net - 中文：从大网络迁移到小网络
- 20181212 AIKP Deep Domain Adaptation - English: Low-rank + deep nn for domain adaptation - 中文：Low-rank用于深度迁移
- 20181212 AIKP Multi-source Transfer Learning - English: Multi-source transfer - 中文：Multi-source transfer
- 20181212 NeurIPS-18 workshop Efficient transfer learning and online adaptation with latent variable models for continuous control - English: Reinforcement transfer learning with latent models - 中文：隐变量模型用于迁移强化学习的控制
Preprints on arXiv (Not peer-reviewed)
- 20181212 arXiv Beyond Domain Adaptation: Unseen Domain Encapsulation via Universal Non-volume Preserving Models - Domain generalization method - 一种针对于unseen domain的学习方法
- 20181212 arXiv 3D Scene Parsing via Class-Wise Adaptation - Class-wise adaptation for 3D scene parsing - 类别的适配用于3D场景分析
- 20181212 arXiv Secure Federated Transfer Learning - Federated transfer learning + Encryption - 联邦迁移学习+加密(杨强团队)
- 20181212 arXiv Learning Transferable Adversarial Examples via Ghost Networks - Use ghost networks to learn transferrable adversarial examples - 使用ghost网络来学习可迁移的对抗样本
- 20181211 arXiv Adversarial Transfer Learning - English: A survey on adversarial domain adaptation - 中文：一个关于对抗迁移的综述，特别用在domain adaptation上
- 20181211 arXiv Deep Variational Transfer: Transfer Learning through Semi-supervised Deep Generative Models - English: Transfer learning with deep generative model - 中文：通过深度生成模型进行迁移学习

更多 More…

1.Introduction and Tutorials

简介文字资料
- 简单的中文简介 Chinese introduction
- PPT(English)
- PPT(中文)
- 迁移学习中的领域自适应方法 Domain adaptation: PDF ｜ Video
- 清华大学龙明盛老师的深度迁移学习报告 Transfer learning report by Mingsheng Long @ THU：PPT(Samsung)、PPT(Google China)
入门教程
- 《迁移学习简明手册》Transfer Learning Tutorial 开发维护地址
视频教程
- 台湾大学李宏毅的视频讲解(中文视频)
- 迁移学习中的领域自适应方法(中文)
迁移学习领域的著名学者、代表工作及实验室介绍 Transfer Learning Scholars and Labs
什么是负迁移(negative transfer)？
动手教程、代码、数据 Hands-on Codes
- 基于深度学习和迁移学习的识花实践 Using Transfer Learning for Flower Recognition
- 基于Pytorch的图像分类 Using Transfer Learning for Image Classification
- 使用Pytorch进行finetune Using Pytorch for Fine-tune
- 基于AlexNet和ResNet的finetune Fine-tune based on Alexnet and Resnet
- 更多 More…

2.Transfer Learning Areas and Papers

3.Theory and Survey

Here are some articles on transfer learning theory and survey.

迁移学习领域最具代表性的综述是A survey on transfer learning，发表于2010年，对迁移学习进行了比较权威的定义。 – The most influential survey on transfer learning.
迁移学习的理论分析 Transfer Learning Theory：
- 迁移学习方面一直以来都比较缺乏理论分析与证明的文章，以下三篇连贯式的理论文章成为了经典 Transfer learning theory：
  - NIPS-06 Analysis of Representations for Domain Adaptation
  - ML-10 A Theory of Learning from Different Domains
  - NIPS-08 Learning Bounds for Domain Adaptation
- 许多研究者在迁移学习的研究中会应用MMD(Maximum Mean Discrepancy)这个最大均值差异来衡量不同domain之间的距离。MMD的理论文章是：
  - MMD的提出：A Hilbert Space Embedding for Distributions 以及 A Kernel Two-Sample Test
  - 多核MMD(MK-MMD)：Optimal kernel choice for large-scale two-sample tests
  - MMD及多核MMD代码：Matlab Python
- 理论研究方面，重点关注Alex Smola、Ben-David、Bernhard Schölkopf、Arthur Gretton等人的研究即可。
较新的综述 Latest survey：
- 2018 一篇迁移度量学习的综述: Transfer Metric Learning: Algorithms, Applications and Outlooks
- 2018 一篇最近的非对称情况下的异构迁移学习综述：Asymmetric Heterogeneous Transfer Learning: A Survey
- 2018 Neural style transfer的一个survey：Neural Style Transfer: A Review
- 2018 深度domain adaptation的一个综述：Deep Visual Domain Adaptation: A Survey
- 2017 多任务学习的综述，来自香港科技大学杨强团队：A survey on multi-task learning
- 2017 异构迁移学习的综述：A survey on heterogeneous transfer learning
- 2017 跨领域数据识别的综述：Cross-dataset recognition: a survey
- 2016 A survey of transfer learning。其中交代了一些比较经典的如同构、异构等学习方法代表性文章。
- 2015 中文综述：迁移学习研究进展
迁移学习的应用
- 视觉domain adaptation综述：Visual Domain Adaptation: A Survey of Recent Advances
- 迁移学习应用于行为识别综述：Transfer Learning for Activity Recognition: A Survey
- 迁移学习与增强学习：Transfer Learning for Reinforcement Learning Domains: A Survey
- 多个源域进行迁移的综述：A Survey of Multi-source Domain Adaptation。

4.Code

请见这里	Please see HERE for some popular transfer learning codes.

5.Transfer Learning Scholars

Here are some transfer learning scholars and labs.

全部列表以及代表工作性见这里

Please refer to here to see a complete list.

Qiang Yang：中文名杨强。香港科技大学计算机系讲座教授，迁移学习领域世界性专家。IEEE/ACM/AAAI/IAPR/AAAS fellow。[Google scholar]
Sinno Jialin Pan：杨强的学生，香港科技大学博士，现任新加坡南洋理工大学助理教授。迁移学习领域代表性综述A survey on transfer learning的第一作者（Qiang Yang是二作）。[Google scholar]
Wenyuan Dai：中文名戴文渊，上海交通大学硕士，现任第四范式人工智能创业公司CEO。迁移学习领域著名的牛人，在顶级会议上发表多篇高水平文章，每篇论文引用量巨大。[Google scholar]
Lixin Duan：中文名段立新，新加坡南洋理工大学博士，现就职于电子科技大学，教授。[Google scholar]
Boqing Gong：南加州大学博士，现就职于腾讯AI Lab(西雅图)。曾任中佛罗里达大学助理教授。[Google scholar]
Fuzhen Zhuang：中文名庄福振，中科院计算所博士，现任中科院计算所副研究员。[Google scholar]
Mingsheng Long：中文名龙明盛，清华大学博士，现任清华大学助理教授、博士生导师。[Google scholar]
Qingyao Wu：中文名吴庆耀，现任华南理工大学副教授。主要做在线迁移学习、异构迁移学习方面的研究。[Google scholar]
Weike Pan：中文名潘微科，杨强的学生，现任深圳大学副教授，香港科技大学博士毕业。主要做迁移学习在推荐系统方面的一些工作。 [Google Scholar]
Tongliang Liu：中文名刘同亮，现任悉尼大学助理教授。主要做迁移学习的一些理论方面的工作。[Google scholar]
Tatiana Tommasi：Researcher at the Italian Institute of Technology. _ _ _

6.Transfer Learning Thesis

Here are some popular thesis on transfer learning.

硕博士论文可以让我们很快地对迁移学习的相关领域做一些了解，同时，也能很快地了解概括相关研究者的工作。其中，比较有名的有

2016 Baochen Sun的Correlation Alignment for Domain Adaptation
2015 南加州大学的Boqing Gong的Kernel Methods for Unsupervised Domain Adaptation
2014 清华大学龙明盛的迁移学习问题与方法研究
2014 中科院计算所赵中堂的自适应行为识别中的迁移学习方法研究
2012 杨强的学生Hao Hu的Learning based Activity Recognition
2012 杨强的学生Wencheng Zheng的Learning with Limited Data in Sensor-based Human Behavior Prediction
2010 杨强的学生Sinno Jialin Pan的Feature-based Transfer Learning and Its Applications
2009 上海交通大学戴文渊的基于实例和特征的迁移学习算法研究

其他的文章，请见完整版。

7.Datasets and Benchmarks

Please see HERE for the popular transfer learning datasets and certain benchmark results.

这里整理了常用的公开数据集和一些已发表的文章在这些数据集上的实验结果。

8.Transfer Learning Challenges

一些关于迁移学习的国际比赛。

Visual Domain Adaptation Challenge (VisDA)

Applications

See HERE for transfer learning applications.

迁移学习应用请见这里。

Other Resources

Call for papers about transfer learning:

Transfer Learning for Multimedia Applications(A Special Issue on Multimedia Tools and Applications (MTAP))

Related projects:

Salad: A semi-supervised domain adaptation library

Contributing

If you are interested in contributing, please refer to HERE for instructions in contribution.

[文章版权声明]这个仓库是我开源到Github上的，可以遵守相关的开源协议进行使用。这个仓库中包含有很多研究者的论文、硕博士论文等，都来源于在网上的下载，仅作为学术研究使用。我对其中一些文章都写了自己的浅见，希望能很好地帮助理解。这些文章的版权属于相应的出版社。如果作者或出版社有异议，请联系我进行删除。一切都是为了更好地学术！