hand-bert

[Day333]

你是否已经阅读并同意《Datawhale开源项目指南》？

• 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

• 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

或许你早就多次听说过BERT的鼎鼎大名，但你真的了解BERT吗，不如借这个机会，我们一起来看看BERT到底是如何实现的。
1、从零开始：我们将从基础的概念出发，逐步深入到BERT的每一个细节，确保你能够理解并实现BERT的每一个组件。
2、理论与实践并重：通过理论讲解和实际编码实践，你将学习如何从头开始构建BERT模型，以及如何将其应用到实际的NLP任务中。
3、深度理解Transformer：BERT的核心是Transformer架构，你将深入学习这一革命性的模型，并理解其在BERT中的关键作用。
4、实战项目：通过手写BERT的学习，你将了解到如何将BERT应用于实际任务。

立项理由

鉴于当前大语言模型备受瞩目，然而众多人士对其基础模型尚缺乏深入了解，为此，我们特别推出此门课程，旨在满足大家对于语言模型原理的好奇心，并同步提升个人对大模型的认知水平。

项目受众

主要面向于对大语言模型感兴趣的初学者，以及想要更深刻了解BERT实现方法的资深学者。

项目亮点

本项目的亮点在于从零开始实现一个BERT模型，并实现BERT模型的两个任务。

项目规划

一、目录

1. 引言
   ○ BERT简介与课程目的
2. 基础概念回顾
3. Transformer架构详解
   ○ Transformer模型起源与发展
   ○ 自注意力机制与多头注意力
   ○ 位置编码与层归一化
   ○ Transformer编码器与解码器
4. BERT模型解析
   ○ BERT模型架构与预训练任务
   ○ 输入表示与数据预处理
   ○ 双向编码器的优势
5. BERT实现步骤
   ○ 环境搭建与依赖安装
   ○ 数据集准备与预处理
   ○ Transformer层实现
   ○ BERT模型构建与训练
6. BERT应用实践
   二、各章节负责人
7. 引言 - [丁奎业]
8. 基础概念回顾 - [丁奎业]
9. Transformer架构详解 - [丁奎业]
10. BERT模型解析 - [丁奎业]
11. BERT实现步骤 - [丁奎业]
12. BERT应用实践 - [丁奎业]
    三、各章节预估完成日期
13. 引言 - 2024年11月14日
14. 基础概念回顾 - 2024年11月16日
15. Transformer架构详解 - 2024年11月18日
16. BERT模型解析 - 2024年11月20日
17. BERT实现步骤 - 2024年11月22日
18. BERT应用实践 - 2024年11月24日
    四、可预见的困难
    可预见的困难主要集中于技术实现的复杂性、资源需求的高昂、数据处理的繁琐、课程内容的时效性。

已完成内容

No response

项目负责人GitHub主页链接

https://github.com/Day333/

项目负责人联系方式

dy_leaf

备注：发起立项申请后DOPMC成员将会在7天内给出审核意见并评论在该Issue，若7天内无反对意见则默认立项通过，如有疑问或者需要帮助请联系微信：at-Sm1les

• 我已知悉上述备注

[andongBlue]

这种项目目前挺多的，就不用新开吧。可以在咱们的其他开源项目进行更新和优化。

[hu-minghao]

立项好像是需要项目有一定章节内容后才可以，期待补充更多内容

[Sm1les]

12月份必开组队学习课程，免审核