README.md

迁移学习 Transfer Learning

关于迁移学习的所有资料，包括：介绍、综述文章、最新文章、代表工作及其代码、常用数据集、硕博士论文等等。(可能是目前最全的迁移学习资料库？) 欢迎一起贡献！

Everything about Transfer Learning (Probably the most complete repository?). Your contribution is highly valued!

---

目录 Table of contents

• 最新文章 Latest

• 迁移学习简介 Introduction to transfer learning

• 研究领域与相关文章 Research articles by area

• 理论与综述文章 Theoretical and survey papers

• 相关代码 Available codes

• 迁移学习代表性研究学者 Scholars

• 相关的硕博士论文 Thesis

• 常用公开数据集及算法结果 Datasets and benchmark

• 其他 Miscellaneous

• Contributing

关于机器学习和行为识别的资料，请参考：行为识别｜机器学习

---

0.Latest

迁移学习文章汇总 Awesome transfer learning papers

• 最新发表论文

  • 20180510 IEEE Trans. Cybernetics 提出一个通用的迁移学习框架，对不同的domain进行不同的特征变换：Transfer Independently Together: A Generalized Framework for Domain Adaptation

  • 20180428 CVPR-18 相互协同学习：Deep Mutual Learning

  • 20180428 ICLR-18 自集成学习用于domain adaptation：Self-ensembling for visual domain adaptation

  • 20180428 IJCAI-18 将knowledge distilation用于transfer learning，然后进行视频分类：Better and Faster: Knowledge Transfer from Multiple Self-supervised Learning Tasks via Graph Distillation for Video Classification

  • 20180427 CVPR-18(workshop) 将深度迁移学习用于Person-reidentification： Adaptation and Re-Identification Network: An Unsupervised Deep Transfer Learning Approach to Person Re-Identification

• arXiv专区 (arXiv上的文章较新，但未经过peer-review，慎重看待)

  • 20180508 arXiv 利用GAN，从有限数据中生成另一个domain的数据：Transferring GANs: generating images from limited data

  • 20180504 arXiv 用迁移学习进行心脏病检测分类：ECG Heartbeat Classification: A Deep Transferable Representation

  • 20180501 arXiv Open set domain adaptation的对抗网络版本：Open Set Domain Adaptation by Backpropagation

  • 20180427 arXiv 提出了adversarial residual的概念，进行深度对抗迁移：Unsupervised Domain Adaptation with Adversarial Residual Transform Networks

  • 20180426 arXiv 深度学习中的参数如何进行迁移？（杨强团队）：Parameter Transfer Unit for Deep Neural Networks

  • 20180426 arXiv 迁移学习用于医学名字实体检测；Label-aware Double Transfer Learning for Cross-Specialty Medical Named Entity Recognition

更多...

---

1.迁移学习简介

• 简介文字资料

  • 简单的中文简介
  • 英文PPT
  • 中文PPT
  • 迁移学习中的领域自适应方法: PDF ｜ Video
  • 清华大学龙明盛老师的深度迁移学习报告：PPT(三星研究院)、PPT(Google China)

• 视频教程

  • 台湾大学李宏毅的视频讲解(中文视频)
  • 迁移学习中的领域自适应方法(中文)

• 《迁移学习简明手册》 开发维护地址

• 迁移学习领域的著名学者、代表工作及实验室介绍

• 什么是负迁移(negative transfer)？

• 动手教程、代码、数据

  • 基于深度学习和迁移学习的识花实践(Tensorflow)
  • 基于Pytorch的图像分类
  • 使用Pytorch进行finetune

---

2.迁移学习研究领域与相关文章

Related articles by research areas:

• 领域自适应(非深度) Domain Adaptation (Shallow)

  • Domain adaptation介绍：Domain adaptation
  • 这个目录主要是非深度方法，深度方法在下面。

• 在线迁移学习 Online transfer learning

• 终身迁移学习 Lifelong transfer learning

• 异构迁移学习 Heterogeneous Transfer Learning

• 深度迁移学习 Deep Transfer Learning

  • 深度对抗迁移迁移学习 Deep Adversarial transfer learning

• 传递迁移学习 Transitive Transfer Learning

• 强化迁移学习 Transfer Learning with Reinforcement Learning

• 应用 Applications

  • 迁移学习用于行为识别 Transfer learning for activity recognition

一个推荐、分享论文的网站比较好，我在上面会持续整理相关的文章并分享阅读笔记。详情请见paperweekly。

---

3.理论与综述文章

• 迁移学习领域最具代表性的综述是A survey on transfer learning，发表于2010年，对迁移学习进行了比较权威的定义。

• 迁移学习的理论分析：

  • 迁移学习方面一直以来都比较缺乏理论分析与证明的文章，以下三篇连贯式的理论文章成为了经典：

    • NIPS-06 Analysis of Representations for Domain Adaptation
    • ML-10 A Theory of Learning from Different Domains
    • NIPS-08 Learning Bounds for Domain Adaptation

  • 许多研究者在迁移学习的研究中会应用MMD(Maximum Mean Discrepancy)这个最大均值差异来衡量不同domain之间的距离。MMD的理论文章是：

    • MMD的提出：A Hilbert Space Embedding for Distributions 以及 A Kernel Two-Sample Test
    • 多核MMD(MK-MMD)：Optimal kernel choice for large-scale two-sample tests
    • MMD及多核MMD代码：Matlab | Python

  • 理论研究方面，重点关注Alex Smola、Ben-David、Bernhard Schölkopf、Arthur Gretton等人的研究即可。

• 较新的综述：

  • 20180419 arXiv Neural style transfer的一个��survey：Neural Style Transfer: A Review
  • 2018 arXiv 最新发表在arXiv上的深度domain adaptation的综述：Deep Visual Domain Adaptation: A Survey
  • 2017 多任务学习的综述，来自香港科技大学杨强团队：A survey on multi-task learning
  • 2017 异构迁移学习的综述：A survey on heterogeneous transfer learning
  • 2017 跨领域数据识别的综述：Cross-dataset recognition: a survey
  • 2016 A survey of transfer learning。其中交代了一些比较经典的如同构、异构等学习方法代表性文章。包括了很多方法介绍，值得一看。
  • 2015 中文综述：迁移学习研究进展

• 迁移学习与应用领域结合

  • 视觉domain adaptation综述：Visual Domain Adaptation: A Survey of Recent Advances
  • 迁移学习应用于行为识别综述：Transfer Learning for Activity Recognition: A Survey
  • 迁移学习与增强学习：Transfer Learning for Reinforcement Learning Domains: A Survey
  • 多个源域进行迁移的综述：A Survey of Multi-source Domain Adaptation。

---

4.代码

请见这里 | Please see HERE for some popular transfer learning codes.

---

5.迁移学习代表性研究学者

全部列表以及代表工作性见这里

• Qiang Yang：中文名杨强。香港科技大学计算机系主任，教授，大数据中心主任。迁移学习领域世界性专家。IEEE/AAAI/IAPR/AAAS fellow。[Google scholar]

• Sinno Jialin Pan：杨强的学生，香港科技大学博士，现任新加坡南洋理工大学助理教授。迁移学习领域代表性综述A survey on transfer learning的第一作者（Qiang Yang是二作）。[Google scholar]

• Wenyuan Dai：中文名戴文渊，上海交通大学硕士，现任第四范式人工智能创业公司CEO。迁移学习领域著名的牛人，在顶级会议上发表多篇高水平文章，每篇论文引用量巨大。[Google scholar]

• Lixin Duan：中文名段立新，新加坡南洋理工大学博士，现就职于电子科技大学，教授。[Google scholar]

• Fuzhen Zhuang：中文名庄福振，中科院计算所博士，现任中科院计算所副研究员。[Google scholar]

• Mingsheng Long：中文名龙明盛，清华大学博士，现任清华大学助理教授、博士生导师。[Google scholar]

• Qingyao Wu：中文名吴庆耀，现任华南理工大学副教授。主要做在线迁移学习、异构迁移学习方面的研究。[Google scholar]

• Tongliang Liu：中文名刘同亮，现任悉尼大学助理教授。主要做迁移学习的一些理论方面的工作。[Google scholar]

---

6.迁移学习相关的硕博士论文

硕博士论文可以让我们很快地对迁移学习的相关领域做一些了解，同时，也能很快地了解概括相关研究者的工作。其中，比较有名的有

• 2016 Baochen Sun的Correlation Alignment for Domain Adaptation

• 2014 南加州大学的Boqing Gong的Kernel Methods for Unsupervised Domain Adaptation

• 2014 清华大学龙明盛的迁移学习问题与方法研究

• 2014 中科院计算所赵中堂的自适应行为识别中的迁移学习方法研究

• 2012 杨强的学生Hao Hu的Learning based Activity Recognition

• 2012 杨强的学生Wencheng Zheng的Learning with Limited Data in Sensor-based Human Behavior Prediction

• 2010 杨强的学生Sinno Jialin Pan的Feature-based Transfer Learning and Its Applications

• 2009 上海交通大学戴文渊的基于实例和特征的迁移学习算法研究

其他的文章，请见完整版。

---

7.公开数据集及实验结果

迁移学习领域有一些公开的数据集，用来对比算法的表现。

• 这里整理了常用的公开数据集
• 这里整理汇总了一些已发表的文章在这些数据集上的实验结果。

Please see HERE for the popular transfer learning datasets and HERE for some benchmark results.

---

其他

记与迁移学习大牛杨强教授的第二次会面

---

Contributing

如果你对本项目感兴趣，非常欢迎你加入！

• 正常参与：请直接fork、pull request，或者与我联系我把你加入合作者中
• 如果要上传文件：请不要直接上传到项目中，否则会造成git版本库过大。正确的方法是上传它的超链接。请按照如下方式上传：
  • (墙内)目前没有找到比较好的方式，只能通过链接，或者自己网盘的链接来做。
  • (墙外)首先在UPLOAD直接上传（不需要注册账号）；上传成功后，在DOWNLOAD里找到你刚上传的文件，共享链接即可。

Welcome!

[文章版权声明]这个仓库是我开源到Github上的，可以遵守相关的开源协议进行使用。这个仓库中包含有很多研究者的论文、硕博士论文等，都来源于在网上的下载，仅作为学术研究使用。我对其中一些文章都写了自己的浅见，希望能很好地帮助理解。这些文章的版权属于相应的出版社。如果作者或出版社有异议，请联系我进行删除。一切都是为了更好地学术！