Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[WeeklyReports] 2024.11.29~2024.12.13周报收集 #463

Open
33 of 74 tasks
mattheliu opened this issue Dec 13, 2024 · 33 comments
Open
33 of 74 tasks

[WeeklyReports] 2024.11.29~2024.12.13周报收集 #463

mattheliu opened this issue Dec 13, 2024 · 33 comments
Labels
weekly reports

Comments

@mattheliu
Copy link
Collaborator

mattheliu commented Dec 13, 2024 •
edited
Loading

请各位学员在本 issue 下以 comment 的形式填写周报摘要，ddl 本周日晚，格式示例如下：

### 姓名

xxx

### 本双周工作

1. xxx
2. xxx
 
### 未来双周计划

1. xxx
2. xxx

### 详细周报链接：

https://github.com/PFCCLab/Starter/pulls/xxx

请各营员完成周报提交后，在评论中回复简要周报，完成情况：

完成情况统计：

  • 已提交周报学员: 33 人
  • 未提交周报学员: 41 人
@wwwuyan
Copy link
Contributor

wwwuyan commented Dec 13, 2024

姓名

吴衍

本双周工作

  1. 为 Tensor API 文档增加图例

    • 合入英文图例1个

  2. Paddle Tensor规范化二期任务

    • 提交2个PR，已成功合入1个，待合入1个

  3. PIR-TensorRT convert推全升级

    • 继续修改3个PR，待合入3个

未来双周计划

  1. 与导师积极沟通，完善改进已提交的PR，争取早日合入
  2. 继续完成Tensor规范化二期任务，争取提交更多PR

详细周报链接：

#464

@aquagull
Copy link
Contributor

姓名

何泓域

本双周工作

  1. 任务：新增适配_cuda_array_

  2. 任务：修复 paddle.min、paddle.max 在输入存在nan时的不正确行为

  3. 任务：为 paddle.linspace 支持0-size

未来双周计划

考虑继续参加算子这块的任务，争取了解到更多算子体系架构的内容。
继续完成更多。

详细周报链接
#465

@kineast
Copy link
Contributor

kineast commented Dec 13, 2024

姓名

文以恒

本双周工作

任务：Paddle Tensor规范化二期，提交2个PR，合入1个

任务：PIR-TensorRT convert推全升级，提交1个，合入1个

任务：API图例提交1个PR，已合入

未来双周计划

继续修改TensorRT converter推全的修改

继续修改Tensor规范化二期的相关任务

详细周报链接

#466

@Sylence8
Copy link
Contributor

Sylence8 commented Dec 14, 2024 •
edited
Loading

姓名
杨哲
本双周工作

  1. 为 Tensor API 文档增加图例
  • 合入英文图例1个

2.Paddle Tensor规范化二期任务

  • 提交四个PR，已合入3个。

未来双周计划

  • 与导师积极沟通，完善改进已提交的PR，争取早日合入
  • 继续完成Tensor规范化二期任务，争取提交更多PR

详细周报链接：
#471

@mori0umi
Copy link
Contributor

姓名

王译辉

本双周工作

  1. Paddle Tensor 规范化二期

  2. PIR-TensorRT convert

未来双周计划

  1. 模型复现任务：尝试 Paddle Mix 模型复现任务
  2. 继续完善 converter 推全升级任务、Tensor 规范化任务

详细周报链接：

#472

@KDZZZZZZ
Copy link
Contributor

姓名

周恺东

本双周工作

  1. 完成了热身任务23
  2. 提交后端注释pr
  3. 开始做latte推理对对其

未来双周计划

  1. 完成推理对齐
  2. 继续学习paddle框架，争取之后完成后端改造任务

详细周报链接：
#473

@WFLiu0327
Copy link
Contributor

姓名

刘伟峰(WFLiu0327)

开发中的快乐开源任务

专项团：PaddleMix快乐开源活动

本双周工作

  1. PaddleMix 中Stable Diffusion单测任务

    • 开始做SD3单侧的任务，并以完成其中一个pipeline的单测任务

遇到的问题（已解决）

1.不熟悉脚本测试的流程，浪费了很多时间

未来双周计划

  1. 继续完善SD3单侧的pipeline
  2. 寻找新的文档任务，多在文档任务输出

详细周报链接：
#474

@LittleHeroZZZX
Copy link
Contributor

LittleHeroZZZX commented Dec 15, 2024 •
edited
Loading

姓名

周鑫

开发中的快乐开源任务

  1. CINN 编译器后端 Pass 改造之 RemoveScheduleBlock

本双周工作

  1. RemoveScheduleBlock Pass 注释添加

未来双周计划

  1. 完成 RemoveScheduleBlock Pass。
  2. 认领并完成其它一个 Pass 改造任务。（上周进展太太太少了）

详细周报链接：

#469

@Neo-WY
Copy link
Contributor

Neo-WY commented Dec 15, 2024 •
edited
Loading

姓名

崔铭轩

本双周工作

  1. tensor规范化第二期任务（暂未完成）
  2. LongVA-7B本地推理

未来双周计划

  1. 完成领取的tensor任务
  2. 争取完成LongVA-7B任务

详细周报链接：

#475

@rich04lin
Copy link
Contributor

姓名

吕福林

本双周工作

  1. typos引入
  2. 星河社区

未来双周计划

  1. paddle本地编译
  2. typos引入

详细周报链接：

#476

@MrXnneHang
Copy link
Contributor

姓名

黄晟景

本双周工作

  1. equal、not_equal复数支持。

未来双周计划

  1. full复数支持。

多写博客=-=。

详细周报链接：

#477

@jiachengdai
Copy link
Contributor

姓名

代佳诚(@jiachengdai)

本双周工作

  1. 热身任务3 Stable-Diffusion 训练推理

    完成了推理训练打卡任务，通过邮件验收

未来双周计划

  1. 最近期末周太忙了，希望下周考完试能认领提交一项非热身打卡的专向团PR🤯.

详细周报链接

#480

@Albresky
Copy link
Contributor

Albresky commented Dec 15, 2024 •
edited
Loading

姓名

石开

本双周工作

  1. 提交 PR：[CINN][Backend Pass Update No.3] Update extern_call_process pass PaddlePaddle/Paddle#70191

  2. 提交 PR：[CINN][Add Backend Pass Comment No.3] Add comment for extern_call_process PaddlePaddle/Paddle#70233

未来双周计划

  1. 完善 PR：[CINN][Backend Pass Update No.3] Update extern_call_process pass]
  2. 领取并完成一个新的 CINN 编译器后端 Pass 改造任务

详细周报链接

#483

@zeroader
Copy link
Contributor

姓名

周子喆

本双周工作

  1. 为 Tensor API 文档增加图例中的unfold和unsqueeze的代码加入了英文图例
  2. 试图理解如何修改fused_token_prune_op算子文件，最近期末比较难顶

未来双周计划

  1. 继续学习，争取提交PR

详细周报链接：

#484

@baixiaochun123
Copy link
Contributor

姓名

冀凤献（baixiaochunhx）

开发中的快乐开源任务

Molmo 模型推理 模型复现 Molmo-7B-D-0924推理对齐

本双周工作

  1. Molmo-7B-D-0924推理对齐

推理对齐
1.Molmo 7B-D 部署
• 服务器硬件：
• GPU：推荐至少一块 NVIDIA GPU（如 A100、V100、RTX 3090）以支持加速推理。
• 内存：至少 32GB RAM。
• 存储：足够的存储空间（至少 50GB）用于模型文件和依赖。

1.模型和处理器加载
alt text
进行模型和处理器加载时候总是缺少文件，这里我使用ls ./autodl-fs/Molmo-7B-D-0924命令将文件列出来方便自己来进行查看，最后调试好了
alt text
alt text
Load.py代码
alt text
alt text
alt text
alt text
alt text
2.PyTorch转Paddle教程

  1. 模型概述
    Molmo-7B-D-092 模型由以下两个核心部分组成：
    • 视觉编码器：用于处理和编码图像输入，通常基于如 ResNet、ViT 等架构。
    • 语言模型：用于处理和生成文本，可能基于 Transformer 架构，如 GPT、BERT 等。
  2. 权重转换

将 PyTorch 权重转换为 PaddlePaddle 权重的关键步骤如下：

2.1 分析模型结构

  1. 查看模型结构代码：了解 Molmo-7B-D-092 在 PyTorch 中的定义，识别各个层及其参数命名。
  2. 检查 model.safetensors.index.json 文件（如果存在）：确定权重文件的映射关系和分片情况。
    通过 weight_map，我们可以知道每个参数存储在哪个文件中。

2.2 处理 PyTorch 和 Paddle 的差异

在权重转换过程中，需要注意以下几点差异：
• 线性层权重转置：PaddlePaddle 中的线性层权重需要与 PyTorch 相反的维度顺序，通常需要进行转置。
• 权重命名调整：PyTorch 和 PaddlePaddle 的命名规范可能不同，需要调整权重的命名以适配 PaddlePaddle。
这个目前还没完成，抽空整理一下
alt text
3. 代码转换注意事项

  1. 使用 PaConvert 工具进行初步转换

  2. 手动调整张量操作
    3.1 view → reshape
    3.2 permute → transpose

  3. 替换激活函数和层

  4. 手动添加位置编码（如 Qwen2 模型）

  5. 调整 Flash Attention 函数调用参数

  6. 代码组织优化
    建议按照paddlemix规范组织代码结构：
    按照 PaddleMIX 规范组织代码结构，有助于提高代码的可维护性和可读性。推荐的代码结构如下：
    paddlemix/
    ├── models/ # 模型代码
    ├── examples/ # 预测脚本
    └── processors/ # 图像预处理

  7. Paddle环境运行

目前代码和模型已经准备好，但前面的转换还在跑，周一的时候补齐剩下的pr

未来双周计划

继续在大模型推理的任务进行完成，多去尝试几个大模型推理

@nizne9
Copy link
Contributor

nizne9 commented Dec 15, 2024 •
edited
Loading

姓名

钟至佳

本双周工作

  1. 修复一个 typo because 【BUPT】[CodeStyle][Typos][B-2] Fix typos (beacuse, becasue, Becasue, becuase) PaddlePaddle/Paddle#69983
  2. 合入一个 Paddle Tensor 规范化二期任务 【BUPT】[Paddle Tensor 第二期 API 支持 0-size Tensor] paddle.meshgrid 支持 0-size tensor PaddlePaddle/Paddle#70127

未来双周计划

  1. 合入 paddle.atan2，使其支持广播机制
  2. 合入 paddle.unstack，使其支持 0-size tensor
  3. 完成其他 Paddle Tensor 规范化二期任务

详细周报链接：

https://github.com/PFCCLab/Starter/pulls/485

@WAYKEN-TSE
Copy link
Contributor

姓名

谢炜康

本双周工作

1.完成热身任务Stable-Diffusion训练推理，并已将运行结果发至邮箱
2.正在进行paddlemix中39.mPLUG-Owl3模型推理对齐，提交pr，在倪烽老师指导下正在解决最后关于数据预处理的问题
pr链接：PaddlePaddle/PaddleMIX#865

未来双周计划

1.继续完成39.mPLUG-Owl3模型推理对齐部分，尽快merge

详细周报链接：

#486

@PolaKuma
Copy link
Contributor

姓名

张俊杰（PolaKuma）

本双周工作

  1. Paddle Tensor规范化第二期
  2. PaddleScience Export任务
  3. CINN编译器后端Pass注释添加

未来双周计划

  1. 模型复现任务：尝试学习模型复现任务
  2. 尝试继续推进tensor规范化第二期任务，目前存在卡顿

详细周报链接：

https://github.com/PFCCLab/Starter/pull/488/files

@mikemikimike
Copy link
Contributor

姓名

黄敏科

开发中的快乐开源任务

paddleMix的Aria模型推理

本双周工作

  • Stable-Diffusion 训练推理打卡

未来双周计划

继续完成Aria的模型推理，等待其他任务被释放出来

详细周报链接：

#487

@fangfangssj
Copy link
Contributor

姓名

杨汝琦

本双周工作

  1. 合并了一个tensor规范化第二期的PR
    【HEU】[Paddle Tensor 第二期 API支持 0-size Tensor] paddle.cross 支持 0-size tensor
  2. 提交了一个PIR-TensorRT convert PR
    [HEU][Paddle TensorRT No.62、64] Add (pd_op.index_put、pd_op.pow) converter

未来双周计划

  1. 完成tensor规范化其他内容
  2. 完善convert的PR

详细周报链接：

#489

@kanze1
Copy link
Contributor

kanze1 commented Dec 15, 2024

姓名

张汶韬

本双周工作

  1. 项目调研

    • 阅读了PaddleMIX相关文档，了解项目结构
    • 学习了Chameleon模型的基本原理
    • 查看了其他贡献者的PR，学习推理对齐的具体要求

  2. 其他工作

    • 参与其他比赛答辩准备工作
    • 完成答辩相关工作

未来双周计划

  • 开始着手PaddleMIX推理对齐任务的具体实现
  • 熟练掌握paddlemix的使用方法
  • 深入学习模型推理工作流程

详细周报链接：

#490

@BaolanChen
Copy link
Contributor

姓名

陈宝岚(BaolanChen)

开发中的快乐开源任务

PaddleMIX：飞桨多模态大模型快乐开源活动Jina-CLIP-V2推理
PaddlePaddle/PaddleMIX#787

本双周工作

  1. Typos 工具引入计划 C[1-3]任务完成

  2. PaddleMIX中Jina-CLIP-V2模型的本地推理

未来双周计划

  1. 模型复现任务：继续进行Jina-CLIP-V2推理的任务，争取提交PR Merge

详细周报链接

#492

@GENES-XY
Copy link
Contributor

GENES-XY commented Dec 15, 2024 •
edited
Loading

谢煜

开发中的快乐开源任务

专项团：PaddleMix快乐开源活动

本双周工作

  1. 热身打卡任务 Typos 工具引入计划

未来双周计划

  1. 跑通 Stable-Diffusion 训练推理
  2. 合入1个非热身任务PR

详细周报链接：

#491

@xu8117
Copy link
Contributor

xu8117 commented Dec 16, 2024

姓名

xu8117

本双周工作

  1. 为 Tensor API 文档增加图例
    • 已合入index_fill及shard_index中文图例，对应英文文档待合入

未来双周计划

  1. 完成专项团任务中PaddleMix快乐开源活动的7B模型和1.3B模型推理对齐任务
    • 欠缺相关知识，先从先跑通torch看组网代码开始着手

详细周报链接：

#495

@ZHOU05030
Copy link
Contributor

ZHOU05030 commented Dec 16, 2024 •
edited
Loading

姓名

周睿杰

开发中的快乐开源任务

tensor规范化二期任务中的matrix_power,matrix_rank,matrix_norm
PIR-TensorRT converter推全升级中的pd_op.conv3d和pd_op.transpose和pd_op.rnn
paddlemix任务：vila-u-7b-256，完成模型权重转换和代码转换。

本双周工作

  1. Paddle Tensor规范化二期

  2. PIR-TensorRT convert

未来双周计划

  1. 完善未merge的pr。
  2. 完成tensor规范化二期中的已认领任务
  3. 完成paddlemix中认领的任务
  4. 学习CINN改造任务

详细周报链接

#481

@hanyang2508
Copy link
Contributor

姓名

杨涵

本双周工作

  1. 修复 Typos

未来双周计划

  1. 完成热身打卡中的 Stable Diffusion 推理任务

详细周报链接：

#496

@little1d
Copy link
Contributor

姓名

杨卓

Github ID: little1d

开发中的快乐开源任务

PaddleMIX：飞桨多模态大模型快乐开源活动：InternLM-XComposer2.5-7B 推理对齐

本双周工作

  • 任务编号【2】：添加 LlaVA、Qwen2-VL 模型单测
  • 收获：模型 Config 文件准备完毕，但是输入还是并不明晰，关于输入维度还存在一些疑惑，预计下周完成
  • Qwen2-VL 的实现

未来双周计划

  • 继续完成 PaddleMix 单测任务
  • InternLM-Xcomposer模型推理任务

详细周报链接

#497

@fxy1699
Copy link
Contributor

fxy1699 commented Dec 18, 2024

姓名

何洋 (fxy1699)

开发中的快乐开源任务

  • Paddle Tensor 第二期 API支持 0-size Tensor】paddle.cholesky 支持 0-size tensor
  • Paddle Tensor 第二期 API支持 0-size Tensor】paddle.clip 支持 0-size tensor

本双周工作

  1. Paddle Tensor规范化PR提交

    • 【TJU】【Paddle Tensor 第二期 API支持 0-size Tensor】paddle.broadcast_to 支持 0-size tensor
    • 【TJU】【Paddle Tensor 第二期 API支持 0-size Tensor】paddle.copysign 支持 0-size tensor

  2. Docathon PR修改

  • [Docathon][Add API Legend No.53]add the legend of masked_scatter
  • [Docathon][Add API Legend No.38]add the legend of unique

未来双周计划

  1. 完成Paddle Tensor规范化任务*4
  2. SD3特色应用
  3. 阅读模型复现相关资料

详细周报链接：

#479

@Victor-Bayim
Copy link
Contributor

姓名

木合塔拉提·布塔哈孜（Victor-Bayim）

开发中的快乐开源任务

任务二：拉取 Paddle 代码，完成本地编译
任务三：在 PaddleMIX 中跑通 Stable-Diffusion 训练推理
PaddleMIX：ExplainableVQA推理对齐

本双周工作

  1. 任务一：给飞桨 API 文档增加图例

  2. 问题疑惑与解答

    • 在做任务二的编译任务时遇到了一些问题
      -具体的错误信息"/usr/local/bin/ld: error: CMakeFiles/phi_core.dir/kernels/stride/view_grad_kernel.cc.o: read: Function not implemented"

未来双周计划

  1. 完成全部的热身任务
  2. 尝试推进ExplainableVQA推理对齐任务

详细周报链接：

(周报链接)[https://github.com/PFCCLab/Starter/blob/main/Reports/season%204/Victor-Bayim/%5BWeeklyReport%5D2024.11.29~2024.12.13%20.md]

@yangrongxinuser
Copy link

姓名

杨融鑫

本双周工作

  1. PaddleMix快乐开源活动

  2. PIR-TensorRT convert

    • 合入一个PR

    *【SCU】【Paddle TensorRT No.25】Add pd_op.maximum converter PaddlePaddle/Paddle#69835

  1. ** Tensor API 文档增加图例**

未来双周计划

  1. 模型复现任务：尝试 PaddleMix 模型复现任务
  2. 继续完善 converter 推全升级任务、Tensor 规范化任务

详细周报链接：

#463

@SCUcookie
Copy link
Contributor

姓名

李丁豪（SCUcookie）

开发中的快乐开源任务

为 Tensor API 文档增加图例
Paddle Tensor 规范化
Paddle 算子规范化任务
PIR-TensorRT converter推全升级

本双周工作

  1. Paddle Tensor规范化

  2. Paddle TensorRT推全任务

  3. Paddle Tensor规范化二期

  4. 问题疑惑与解答

    • 问题 a：ai studio无法安装torch所以在完成paddlemix的任务上遇到阻碍

未来双周计划

  1. 完成领到的任务

详细周报链接

#499

@a2064968462
Copy link
Contributor

姓名

谭溢仁（a2064968462）

开发中的快乐开源任务

Stable-Diffusion 训练推理

本双周工作

  1. ** PaddleMIX 热身打卡 跑通 Stable-Diffusion 训练推理**

    完成了热身打卡任务三

  2. 问题疑惑与解答

解决了训练过程中会遇到形成马赛克的问题

未来双周计划

  1. 挑选一些我能完成的任务，尽力去完成
  2. 学习相关知识。

###详细周报
#470

@guixxiic
Copy link
Contributor

姓名

唐子轩

本双周工作

热身任务：完成 Paddle 本地编译

未来双周计划

完成Stable-Diffusion 训练推理

详细周报链接：

#468

@mattheliu mattheliu changed the title [WeeklyReports] 2024.11.29~2024.12.13 [WeeklyReports] 2024.11.29~2024.12.13周报收集 Dec 19, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
weekly reports
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests