Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[WeeklyReports] 2024.02.25~2024.03.08 周报汇总 #132

Closed
28 tasks done
AndSonder opened this issue Mar 5, 2024 · 29 comments
Closed
28 tasks done

[WeeklyReports] 2024.02.25~2024.03.08 周报汇总 #132

AndSonder opened this issue Mar 5, 2024 · 29 comments

Comments

@AndSonder
Copy link
Collaborator

AndSonder commented Mar 5, 2024 •
edited
Loading

[WeeklyReports] 2024.02.25~2024.03.08 周报汇总

请各位学员在本 issue 下以 comment 的形式填写周报摘要，ddl 本周五晚，格式示例如下：

### 姓名

xxx

### 本周工作

1. xxx
2. xxx
 
### 下周工作

1. xxx
2. xxx

### 详细周报链接：

- https://github.com/PFCCLab/Camp/pulls/xxx

项目一：PIR 算子补全与兼容机制建设

项目二：PIR 控制流专项

项目三：PIR Python API 升级及机制建设

项目四：动转静 SOT 模块 Python 3.12 支持

项目五：算子支持复数计算专项

项目六：模型迁移工具建设

项目七：框架 API 易用性提升

项目八：组合机制算子专项和机制建设

项目九：高阶微分的性能分析和优化

项目十：静态图半自动并行训练性能优化

项目十一：全自动并行架构升级

项目十二：科学计算领域拓展专项（DeePMD-kit、光学案例）

项目十三：科学计算领域拓展专项（超分重构方向）

项目十四：科学计算领域拓展专项（领域流体方向）

项目十五：科学计算领域拓展专项（领域气象方向）

项目十六：CINN 支持动态 Shape 专项（前端方向）

项目十七：CINN 支持动态 Shape 专项（PIR 部分）

项目十八：CINN 静态 shape 下鲁棒性和性能优化

项目二十：CINN 支持动态 Shape 专项 （后端模型扩量）

项目二十一：Paddle CMake 治理和编译优化

项目二十二：PaddleMIX 套件能力建设（文图方向）

项目二十三：PaddleMIX 套件能力建设（图文方向）

项目二十四：大模型训练稳定性和高效低价小模型快速收敛

项目二十六：推理 Pass & 融合算子优化

  • @yinfan98(@yuanlehome)
@yulangz
Copy link
Contributor

yulangz commented Mar 6, 2024

姓名

王海涛

本周工作

  1. 大模型子图导出

    CINN 编译器用于将动态图转为静态图，对提升 Paddle 性能表现具有重要作用。为了确保 CINN 的鲁棒性，需要对目标大模型进行子图导出，摸底模型结构，生成 CINN 测试，主要进行以下几方面工作：

    1. 走通大模型动转静以及 SOT 子图导出流程
    2. 导出 QWen 子图，并对照子图与原模型结构
    3. 导出 Stable Diffusion 子图，并对照子图与原模型结构

    PR:

下周工作

  1. 继续大模型子图导出
  2. 熟悉 CINN 的设计与实现

详细周报链接：

- https://github.com/PFCCLab/Camp/pulls/xxx

@YibinLiu666
Copy link
Contributor

姓名

YibinLiu666

本周工作

  1. paddle高阶微分性能分析

    • 测试paddle现有高阶微分算子组合实现与大算子实现的性能。
    • 性能分析，定位到大算子性能较差的高阶微分算子，分析原因

  2. 高阶微分算子组合实现添加

下周工作

  1. 添加上述pr中实现算子的单测
  2. 优化部分微分大算子的性能
  3. 实现log_triple_grad和prod_double_grad的组合实现

详细周报链接

#134

@AndSonder
Copy link
Collaborator Author

AndSonder commented Mar 6, 2024 •
edited
Loading

姓名

卢畅

实习项目

静态图半自动并行训练性能优化

本周工作

本项目的主要工作是针对 Paddle 静态图模型的半自动并行训练性能优化，本周主要工作如下：

  1. 为 VPP 适配 send_recv_overlap

相关 PR：

  1. 优化 all_reduce_matmul_grad_overlapping

相关 PR:

  1. 修复 allreduce_matmul_grad_overlapping 和 master_grad 同时开启时候的 bug

相关 PR：

  1. 将 reduce 的 op 移动到 optimize 阶段以提高性能

相关 PR:

  1. 阅读 Zero-Bubble 的论文

下周工作

  1. 阅读 Zero-Bubble 相关代码，了解其实现原理
  2. 初步编写 Zero-Bubble 的实现方案并与导师讨论以完善方案

详细周报链接

@gouzil
Copy link
Contributor

gouzil commented Mar 6, 2024

姓名

田川

本周工作

  1. 适配 SOT 字节码 [SOT][3.12] add LOAD_FAST_CHECK OpCode PaddlePaddle/Paddle#62218
  2. 解决 FOR_ITER 中 resume 异常 [SOT][3.12] replace POP_JUMP_{BACKWARD,FORWARD}_IF_{TRUE,FALSE} to POP_JUMP_IF_{TRUE,FALSE} PaddlePaddle/Paddle#62155

下周工作

  1. 修复剩余 debug 模式下的段错误问题 SOT Python3.12 单测支持情况 PaddlePaddle/Paddle#61174 (comment)

详细周报链接：

@unseenme
Copy link
Contributor

unseenme commented Mar 6, 2024

姓名

Github ID: unseenme

本周工作

  1. CINN后端代码学习，了解CINN底层IR
  2. 学习符号表达式与整数集合
  3. 学习如何在Linux下使用Docker编译CINN
  4. 表达式化简AutoSimplify考察

下周工作

  1. 表达式化简AutoSimplify代码分析与缺陷挖掘。
  2. 表达式化简AutoSimplify测试与Bug总结。
  3. 对导师提供的测试结果进行分析归纳。（将于导师提供测试结果之后进行）

详细周报链接：

@silverling
Copy link
Contributor

姓名

凌少鹏

Github ID：silverling

本周工作

  1. 分析编译多种 CUDA 架构的 libphi.so 时链接器的报错原因
  2. 尝试清理源码文件以及头文件中的无用 #include
  3. 初步优化 CMake 编译架构，逐步添加 Clang/LLVM 支持
  4. 与导师讨论分析了接下来的优化方向
  5. 相关 PR：

下周工作

  1. 分模块编译 PHI，划分 CUDA 算子单独编译
  2. 完善 Clang/LLVM 支持
  3. 完善 CMake 中的代码规范，优化 deprecated 代码

详细周报链接：

@huangjiyi
Copy link
Contributor

姓名

黄济懿

实习项目

PIR 控制流专项

本周工作

  1. 修复 PIR 控制流模型测试 BUG

  2. 将 pir::DenseTensorType 从 OperatorDialect 下沉到 BuiltinDialect

下周工作

  1. PIR 控制流模型测试 BUG 修复
  2. 其他 PIR 控制流相关工作

详细周报链接：

@xingmingyyj
Copy link
Contributor

xingmingyyj commented Mar 7, 2024 •
edited
Loading

姓名

朱新明

本周工作

统计新旧IR下算子签名差异

  1. 统计旧IR下算子全集
  2. 统计新IR下算子全集
  3. 将op_compat.yaml信息应用于旧IR算子签名
  4. 比较新旧IR下算子签名差异

PIR静态图适配op_callstack属性

Review分布式算子注册相关PR

下周工作

  1. PIR动转静适配op_callstack属性
  2. Review分布式算子注册相关PR

详细周报链接：

@lishuai-97
Copy link
Contributor

姓名

李帅

Github ID: lishuai-97

本周工作

  1. 学习XXX梯度裁剪算法原理、实现方式
  2. 大模型训练稳定性探索、小规模模型复现

下周工作

  1. 完善在小规模开源模型上loss spike的复现
  2. 在toy expample上验证改进的优化算法
  3. 阅读符号优化器相关论文，提供理论支撑

详细周报链接：

@Tsaiyue
Copy link
Contributor

Tsaiyue commented Mar 7, 2024

姓名

蔡越

本周工作

  1. 完成AnimateAnyone前向推理对齐，解除从huggingface权重下载依赖并支持fp16;
  2. 编写ai studio角色动作生成项目，相较仓库新增客制化动作视频生成功能；
  3. 分析源库两阶段训练流程，确立基于paddlenlp.Trainer构建使用sharding优化策略的训练流程。

下周工作

  1. 基于paddlenlp.Trainer实现AnimateAnyone两阶段训练steploss对齐，按照no trainer->对齐loss->trainer的流程进行。

详细周报链接：

@zeroRains
Copy link
Contributor

姓名

卢林军

本周工作

  1. 前向拆解square算子
  2. 前向拆解binary_cross_entropy_with_logits算子
  3. 反向拆解put_along_axis算子
  4. 前向拆解elu算子

下周工作

  1. 学习在组合机制下，添加组合算子对动态shape支持的代码实现。
  2. 尝试对一些组合算子添加动态shape的支持。

详细周报链接：

@Yang-Changhui
Copy link
Contributor

Yang-Changhui commented Mar 7, 2024 •
edited
Loading

姓名

杨昌辉

本周工作

1.完成earthformer论文的阅读，并形成文档
2.支持ICAR-ENSO数据集，搭建了earthformer的网络，完成了基本训练

下周工作

1.完成推理对齐，解决遇到的bug
2.完成模型的完整训练

详细周报链接：

@yinfan98
Copy link
Collaborator

yinfan98 commented Mar 7, 2024 •
edited
Loading

姓名

尹帆

本周工作

  1. 调研OnnxRuntime，FasterTransformer，PyTorch，OneDNN，OpenVINO融合算子实现
  2. 产出文档并分析Paddle缺失的算子
  3. 开会沟通并确定待实现的算子列表
  4. 学习torch.inductor，torch.dynamo等优化手段

下周工作

  1. PyTorch，OnnxRuntime实现ViT并分析其中融合pass
  2. 实现gemm_transpose_fusion pass+kernel
  3. 实现fused_bias_act/fused_rms_norm/fused_layer_norm pass

详细周报链接：

@zhaojiameng
Copy link
Contributor

姓名

赵加孟

本周工作

  1. 原始代码校验

  2. 转换paddle代码

下周工作

  1. 手动转换剩余代码

  2. 原始代码训练部分验证，尝试训练出缺失的权重文件

详细周报链接：

@NKNaN
Copy link
Contributor

NKNaN commented Mar 8, 2024

姓名

李睿文

本周工作

  1. 针对 nn.functional.upsampling 和 nn.Upsample 的功能增强
  2. 尝试 nn.functional.ctc_loss 和 nn.CTCLoss 的功能增强
  3. 针对 paddle.median 的功能增强
  4. 针对 paddle.nonzero 的bug修复

下周工作

  1. 完善已提交的 pr
  2. 继续修改其他框架 API

详细周报链接：

@lshpku
Copy link
Contributor

lshpku commented Mar 8, 2024

姓名

梁书豪

本周工作

  1. 以reduce算子为例，借助CINN输出的log，理解CINN的工作流程
  2. 看CINN前端的关键Pass和后端的Tactic的代码

下周工作

  1. 检查Convert0DTo1DPass所影响的单测用例，提出修改思路
  2. 继续看后端代码中PostProcess的部分

详细周报链接：

@ZelinMa557
Copy link
Contributor

ZelinMa557 commented Mar 8, 2024 •
edited
Loading

姓名

马欣楷

本周工作

  1. 理解cinn前端pass执行流程
  2. 重构lower_cinn_fusion_op_pass中的group结构体

下周工作

  1. 尽早合入重构pr
  2. 尝试解决cinn部分单测问题

详细周报链接：

@RedContritio
Copy link
Contributor

姓名

Github ID: RedContritio

本周工作

  1. 对存在于 paconvert/api_mappings.json 但缺失的映射文档进行补充，添加对应映射文档。
  2. 面向更新的 Paddle API 功能，更新映射文档

下周工作

  1. 继续补充完善可映射但缺失的部分映射文档；
  2. 添加映射主目录生成时对 api_aliases 的处理；
  3. 面向更新升级的 Paddle API，更新映射文档、映射方法与测试用例。

详细周报链接：

@cocoshe
Copy link
Contributor

cocoshe commented Mar 8, 2024

姓名

叶柯

实习项目

PaddleMIX 套件能力建设（图文方向）

本周工作

本周主要工作如下：

  1. 完成CogAgent前向推理对齐以及单测添加：
  2. 完成qwen-vl的单测添加：

下周工作

  1. InternLM-XComposer前向和训练对齐
  2. fuyu-8b前向对齐

详细周报链接：

@zbt78
Copy link
Contributor

zbt78 commented Mar 8, 2024

姓名

周波涛

实习项目

算子支持复数计算专项

本周工作

  1. 学习静态图中attrs为scalar的实现原理。目前根据op.yaml自动生成代码时Scalar类型被转换成了float，但是为了支持complex，此处感觉应该为Scalar
  2. log、log2、log10、log1p的复数支持进行中
  3. pow复数支持中的 pow部分，elementwish_pow还在完善中

相关pr：PaddlePaddle/Paddle#62448

下周工作

  1. 完成pow复数支持
  2. 继续阅读源码，弄懂算子输出类型和梯度类型从何而来，具体由什么确定；为什么有的算子的op.yaml中推导过程为UnchangedInferMeta，但输出类型和输入类型却不一样；而有的算子用自定义的InferMeta，但输入类型和输出类型却一样。
  3. 修复log、log2、log10、log1p中输入类型为int时的backward

详细周报链接：

@xusuyong
Copy link
Contributor

xusuyong commented Mar 8, 2024

姓名

徐苏勇

本周工作

  1. 为DeepMD-kit的paddle后端增加 water_tensor polar 案例
  2. 将原paddle2分支的代码整理到paddle分支。相关PR：- Add water tensor polar2 HydrogenSulfate/deepmd-kit#6

下周工作

  1. 为paddleScience增加光学案例

详细周报链接：

@fty1777
Copy link
Contributor

fty1777 commented Mar 8, 2024 •
edited
Loading

姓名

Github ID: fty1777

本周工作

  1. 配置CINN开发环境，熟悉codebase

  2. 熟悉符号推导相关代码和数据结构

  3. 实现SplitOp的符号推导

下周工作

  1. 尽早完成SplitOp的PR合入
  2. 根据需求动态调整，进一步分配其他算子的推导实现

详细周报链接：

@WintersMontagne10335
Copy link
Contributor

姓名

马贺达

本周工作

  1. 阅读 CINN 相关笔记、源码，并产出流程图
  2. 复习 CUDA 基础知识
  3. 尝试修复CINN的框架 bug

下周工作

  1. 修复CINN的框架子图 bug 5-6个
  2. 继续熟悉 CINN 源码，重点阅读 static group schedule 相关内容，完善流程图

详细周报链接：

@zrr1999
Copy link
Contributor

zrr1999 commented Mar 10, 2024

姓名

詹荣瑞

本周工作

  1. 迁移 fused_multi_transformer/fused_bias_dropout_residual_layer_norm 到 PHI。

    相关 PR：

  2. PIR test_errors 相关单测适配

    相关 ISSUE：

    相关 PR：

下周工作

  1. 继续推进 PIR test_errors 相关单测适配。
  2. 完成 dtype 的统一工作，相关 PR：

详细周报链接：

@zyt1024
Copy link
Contributor

zyt1024 commented Mar 10, 2024

姓名

张玉涛

本周工作

  1. 添加复数算子支持

下周工作

  1. 研究fill_constant中复数测试存在的问题

详细周报链接：

@Corle-hyz
Copy link
Contributor

姓名

何咏哲

本周工作

  1. 调研vPipe工作
  2. 讨论异构环境下的全自动并行方案

下周工作

  1. 继续思考原本的全自动并行方案在异构环境下需要改进的地方。
  2. 提出一些经验策略进行启发式搜索，进一步缩小搜索空间。

详细周报链接：

@DUCH714
Copy link
Contributor

DUCH714 commented Mar 11, 2024

姓名

于天池

本周工作

  1. 阅读GINO论文。
  2. 熟悉GINO代码文件。
  3. 数据输入输出整理归纳。
  4. 阅读针对GION代码邻接矩阵过大问题尝试使用的巨图随机采样技术
  5. 阅读TSONN论文。

下周工作

  1. 复现GION

详细周报链接：

@Xinyu302
Copy link
Contributor

姓名

杨新宇

本周工作

  1. 配置CINN开发环境，熟悉codebase
  2. 熟悉符号推导相关代码和数据结构
  3. 实现TaskAlongAxis和PutAlongAxis的符号推导:

下周工作

  1. 进一步完成其他算子的推导实现

详细周报链接：

@sunzhongkai588
Copy link
Contributor

营员变动公示：

  • @diadestiny 由于个人时间安排原因，很遗憾退出本期护航计划集训营，祝林同学未来的开发之路顺利～

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests