日期 | 标题 | 封面 | 时长 | 视频 |
---|---|---|---|---|
3/17/22 | AlphaCode 论文精读 | 44:00 | ||
3/10/22 | OpenAI Codex 论文精读 | 47:58 | ||
3/3/22 | GPT, GPT-2, GPT-3 精读 | 1:29:58 | B站, YouTube | |
2/24/22 | Two-Stream 逐段精读 | 52:57 | B站, YouTube | |
2/10/22 | CLIP 逐段精读 | 1:38:25 | B站, 知乎, YouTube | |
2/6/22 | 你(被)吐槽过论文不够 novel 吗? | 14:11 | B站, 知乎 | |
1/23/22 | AlphaFold 2 精读 | 1:15:28 | B站, 知乎, YouTube | |
1/18/22 | 如何判断(你自己的)研究工作的价值 | 9:59 | B站, 知乎 | |
1/15/22 | Swin Transformer 精读 | 1:00:21 | B站, 知乎, YouTube | |
1/7/22 | 指导数学直觉 | 52:51 | B站, 知乎, YouTube | |
1/5/22 | AlphaFold 2 预告 | 03:28 | B站 | |
12/20/21 | 对比学习论文综述 | 1:32:01 | B站, 知乎, YouTube | |
12/15/21 | MoCo 逐段精读 | 1:24:11 | B站, 知乎, YouTube | |
12/9/21 | 如何找研究想法 1 | 5:34 | B站 | |
12/8/21 | MAE 逐段精读 | 47:04 | B站, 知乎, YouTube | |
11/29/21 | ViT 逐段精读 | 1:11:30 | B站, 知乎, YouTube | |
11/18/21 | BERT 逐段精读 | 45:49 | B站, 知乎, YouTube | |
11/9/21 | GAN 逐段精读 | 46:16 | B站, 知乎, YouTube | |
11/3/21 | 零基础多图详解 图神经网络(GNN/GCN) | 1:06:19 | B站, 知乎, YouTube | |
10/27/21 | Transformer 逐段精读 (视频中提到的文献 1) |
1:27:05 | B站, 知乎, YouTube | |
10/22/21 | ResNet 论文逐段精读 | 53:46 | B站, 知乎, YouTube | |
10/21/21 | 撑起计算机视觉半边天的 ResNet | 11:50 | B站, 知乎, YouTube | |
10/15/21 | AlexNet 论文逐段精读 | 55:21 | B站, 知乎, YouTube | |
10/14/21 | 9年后重读深度学习奠基作之一:AlexNet | 19:59 | B站, 知乎, YouTube | |
10/06/21 | 如何读论文 | 06:39 | B站, 知乎, YouTube |
包括已经录制完成和之后将要介绍的论文。选取的原则是10年内深度学习里有影响力文章(必读文章),或者近期比较有意思的文章。当然这十年里重要的工作太多了,不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 欢迎大家在 讨论区 里提供建(点)议(歌)。
(这里引用采用的是 semanticscholar,是因为它提供 API 可以自动获取,不用手动更新。)
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
✅ | 2012 | AlexNet | 深度学习热潮的奠基作 | 73342 (link) |
2014 | VGG | 使用 3x3 卷积构造更深的网络 | 55856 (link) | |
2014 | GoogleNet | 使用并行架构构造更深的网络 | 26878 (link) | |
✅ | 2015 | ResNet | 构建深层网络都要有的残差连接。 | 80816 (link) |
2017 | MobileNet | 适合终端设备的小CNN | 8695 (link) | |
2019 | EfficientNet | 通过架构搜索得到的CNN | 3426 (link) | |
2021 | Non-deep networks | 让不深的网络也能在ImageNet刷到SOTA | 0 (link) |
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
✅ | 2020 | ViT | Transformer杀入CV界 | 1527 (link) |
✅ | 2021 | CLIP | 图片和文本之间的对比学习 | 399 (link) |
✅ | 2021 | Swin Transformer | 多层次的Vision Transformer | 384 (link) |
2021 | MLP-Mixer | 使用MLP替换self-attention | 137 (link) | |
✅ | 2021 | MAE | BERT的CV版 | 4 (link) |
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
✅ | 2014 | GAN | 生成模型的开创工作 | 26024 (link) |
2015 | DCGAN | 使用CNN的GAN | 9022 (link) | |
2016 | pix2pix | 9752 (link) | ||
2016 | SRGAN | 图片超分辨率 | 5524 (link) | |
2017 | WGAN | 训练更加容易 | 2620 (link) | |
2017 | CycleGAN | 3401 (link) | ||
2018 | StyleGAN | 2708 (link) | ||
2019 | StyleGAN2 | 1096 (link) | ||
2021 | StyleGAN3 | 23 (link) |
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
2014 | R-CNN | Two-stage | 15545 (link) | |
2015 | Fast R-CNN | 12578 (link) | ||
2015 | Faster R-CNN | 28396 (link) | ||
2016 | SSD | Single stage | 13449 (link) | |
2016 | YOLO | 14099 (link) | ||
2017 | Mask R-CNN | 3580 (link) | ||
2017 | YOLOv2 | 6915 (link) | ||
2018 | YOLOv3 | 7002 (link) | ||
2019 | CenterNet | Anchor free | 773 (link) | |
2020 | DETR | Transformer | 1053 (link) |
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
✅ | 2018 | InstDisc | 提出实例判别和memory bank做对比学习 | 885 (link) |
✅ | 2018 | CPC | 对比预测编码,图像语音文本强化学习全都能做 | 2187 (link) |
✅ | 2019 | InvaSpread | 一个编码器的端到端对比学习 | 223 (link) |
✅ | 2019 | CMC | 多视角下的对比学习 | 780 (link) |
✅ | 2019 | MoCov1 | 无监督训练效果也很好 | 2011 (link) |
✅ | 2020 | SimCLRv1 | 简单的对比学习 (数据增强 + MLP head + 大batch训练久) | 2958 (link) |
✅ | 2020 | MoCov2 | MoCov1 + improvements from SimCLRv1 | 725 (link) |
✅ | 2020 | SimCLRv2 | 大的自监督预训练模型很适合做半监督学习 | 526 (link) |
✅ | 2020 | BYOL | 不需要负样本的对比学习 | 932 (link) |
✅ | 2020 | SWaV | 聚类对比学习 | 593 (link) |
✅ | 2020 | SimSiam | 化繁为简的孪生表征学习 | 403 (link) |
✅ | 2021 | MoCov3 | 如何更稳定的自监督训练ViT | 96 (link) |
✅ | 2021 | DINO | transformer加自监督在视觉也很香 | 200 (link) |
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
✅ | 2017 | Transformer | 继MLP、CNN、RNN后的第四大类架构 | 26029 (link) |
✅ | 2018 | GPT | 使用 Transformer 解码器来做预训练 | 2752 (link) |
✅ | 2018 | BERT | Transformer一统NLP的开始 | 25340 (link) |
✅ | 2019 | GPT-2 | 更大的 GPT 模型,朝着zero-shot learning迈了一大步 | 4534 (link) |
✅ | 2020 | GPT-3 | 100倍更大的 GPT-2,few-shot learning效果显著 | 2548 (link) |
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
✅ | 2021 | 图神经网络介绍 | GNN的可视化介绍 | 4 (link) |
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
2014 | Adam | 深度学习里最常用的优化算法之一 | 77401 (link) | |
2016 | 为什么超大的模型泛化性不错 | 3112 (link) | ||
2017 | 为什么Momentum有效 | Distill的可视化介绍 | 116 (link) |
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
2016 | AlphaGo | 强化学习出圈 | 10257 (link) | |
2020 | AlphaFold | 赢得比赛的的蛋白质3D结构预测 | 1074(link) | |
✅ | 2021 | AlphaFold 2 | 原子级别精度的蛋白质3D结构预测 | 921 (link) |
✅ | 2021 | Codex | 使用注释生成代码 | 92 (link) |
✅ | 2021 | 指导数学直觉 | 分析不同数学物体之前的联系来帮助发现新定理 | 4 (link) |
✅ | 2022 | AlphaCode | 媲美一般程序员的编程解题水平 | 2 (link) |