【PaddlePaddle Hackathon 3】开发板部署任务合集

[Ligoml]

（此 ISSUE 为 PaddlePaddle Hackathon 第三期活动的任务 ISSUE，更多详见 【PaddlePaddle Hackathon 第三期】任务总览）

为AI开发板增加算子支持和功能开发，开发请参考 贡献指南，任务列表如下：

No.79：瑞芯微RV1126/1109：为 Paddle-Lite 增加 TIM-VX 算子

• 技术标签：深度学习框架 ，TIM-VX

• 任务难度：基础

• 详细描述：请开发者基于TIM-VX软件栈补充2-3个算子，需要支持量化。

  • 必选：instancenorm、gelu
  • 可选（必选1个）：log、swish、gather。

• 提交流程：请将代码提交至 Paddle-Lite 开源仓库

• 提交内容：

  • 实现代码 ：Paddle-Lite/lite/backends/nnadapter/nnadapter/src/driver/verisilicon_timvx 以及 Paddle-Lite/lite/kernels/nnadapter/converter/
    • 请注意代码需要正确的量化逻辑
  • 添加单测：单测仅实现 fp32 版本即可
    • instancenorm: Paddle-Lite/lite/tests/kernels/instance_norm_compute_test.cc；
    • gelu: Paddle-Lite/lite/tests/kernels/activation_compute_test.cc；
    • 可选算子同理，在Paddle-Lite/lite/tests/kernels/目录下找到对应算子的fp32单测源文件加以修改。

• 合入标准：完成功能实现、单测、功能测试

No.80：瑞芯微RK3588：通过 Paddle2ONNX 打通 5个 Paddle 模型的部署

• 技术标签：深度学习，Python

• 任务难度：基础

• 详细描述：将指定的5个模型部署到指定的平台上，并出具详细部署指南。

  • 必要步骤，奖金根据完成度发放：
    • 完成指定硬件的飞桨模型部署工作，流程包括
      a. Paddle模型转ONNX格式；
      b. ONNX模型通过硬件厂商SDK转换为可在硬件上部署的模型文件；
      c. Python/C++的硬件部署模型代码（包括数据的前后处理）；
      d. 跑通模型量化，提供清晰的量化指南文档，以及表格数据记录量化带来的精度损失；
      e. 非量化/量化下的耗时记录。
    • 其中第a步和第b步需要有明确的文档指引流程，参考RK部署指导文档。
    • 第3步根据目前Repo中model_zoo的模型列表进行部署代码开发，在此基础上完成分割或检测，即达到30%的程度，完成所有三种任务模型的适配，即达到60%的程度，完成量化和耗时测试等记录，即达到100%。

• 部署平台：RK3588

• 部署模型：

  • 3个OCR模型：ch_PP-OCRv2_det_infer、ch_PP-OCRv2_rec_infer、ch_ppocr_mobile_v2.0_cls_infer；
  • 2个seg模型：bisenet、PP_HumanSeg；
  • 1个det模型：picodet。

• 模型下载链接可参考：https://github.com/PaddlePaddle/Paddle2ONNX/tree/model_zoo/model_zoo

• 提交流程：

  • 模型部署相关代码和部署文档相关代码提交到 Paddle2ONNX Repo 的 model_zoo 分支；
  • 部署模型分开提交，一个PR不超过2个模型的对齐脚本和文档。

• 提交内容：

  • 部署相关代码；
  • 部署文档。

• 合入标准：

  • 模型在硬件平台上部署后的运行截图；
  • 部署脚本和部署文档清晰明了，小白用户也可参考文档和脚本进行部署。

• 参考内容

  • RK3588开发文档：https://github.com/rockchip-linux/rknn-toolkit2
  • RK部署指南：https://github.com/PaddlePaddle/Paddle2ONNX/tree/model_zoo/hardwares/rk

No.81：芯原NPU：为 Paddle-Lite 增加 TIM-VX 算子

• 技术标签：深度学习框架，TIM-VX

• 任务难度：基础

• 详细描述：请开发者基于TIM-VX软件栈补充3-4个算子，需要支持量化。

  • 必选：layernorm、stack、pad2d；
  • 可选（必选1个）- pow、sqrt、square。

• 提交流程：请将代码提交至 Paddle-Lite 开源仓库

• 提交内容：

  • 实现代码 ：Paddle-Lite/lite/backends/nnadapter/nnadapter/src/driver/verisilicon_timvx 以及 Paddle-Lite/lite/kernels/nnadapter/converter/

    • 请注意代码需要正确的量化逻辑

  • 添加单测：单测仅实现 fp32 版本即可

    • layernorm: Paddle-Lite/lite/tests/kernels/layer_norm_compute_test.cc；
    • stack：Paddle-Lite/lite/tests/kernels/stack_compute_test.cc；
    • pad2d：Paddle-Lite/lite/tests/kernels/pad2d_compute_test.cc；
    • pow：Paddle-Lite/lite/tests/kernels/pow_compute_test.cc；
    • sqrt：Paddle-Lite/lite/tests/kernels/activation_compute_test.cc；
    • square：Paddle-Lite/lite/tests/kernels/activation_compute_test.cc。

• 合入标准：完成功能实现、单测、功能测试

No.82：晶晨 SoC：基于 Paddle-Lite 和 PaddleSlim 实现可视化 demo

• 技术标签：深度学习框架，量化，OpenCV

• 任务难度：进阶

• 详细描述：请使用 PaddleSlim 与 Paddle-Lite 完成 demo 搭建。由于NPU加速依赖全量化模型，该题目的demo实现较为简单，难点在PaddleSlim生成全量化模型的阶段，并且保证全量化模型精度达标。
  直播课会以 tinypose 为例讲解量化；以人脸检测 为例讲解 demo 搭建过程。
  demo模型-场景可以是以下之一：

  • pp-yoloe：人/车计数 （优先）；
  • pp-yoloe+bettertracker/deepsort：人/车流量估算；
  • yolov5：人/车计数 （除非 ppyoloe 没有 ready）；
  • seg 模型：PP-HumanSeg-Lite，视频抠图 demo。

• 请务必注意开发板需使用 linux 系统部署该 demo。

• 提交流程：请将代码提交至 Paddle-Lite-Demo 开源仓库

• 提交内容：实现代码 & 全量化模型

  • demo代码提交至：Paddle-Lite-Demo/object_detection/ 下新建linux目录文件，且使用基于PaddleSlim产出的NPU全量化模型。

• 合入标准：完成功能实现

技术要求

• 熟练掌握 C++；
• 熟悉 TIM-VX；
• 了解算子原理。

参考内容

• Paddle-Lite
• TIM-VX

答疑交流

• 如果在开发中对于上述任务有任何问题，欢迎在本 ISSUE 下留言交流；
• 对于开发中的共性问题，在活动过程中，会定期组织答疑，请大家关注官网&QQ群的通知，及时参与。

[unseenme]

我对No.82很有兴趣，不过手上没有开发板。
请问有没有模拟器或者其他途径，可以验证全量化模型的精度？

[Ligoml]

本周五（7.15）和下周一（7.18）晚上7点会在飞桨 PaddlePaddle 的 B 站和视频号同步直播《飞桨模型在瑞芯微硬件上的部署开发实例》、《飞桨模型在芯原IP&晶晨芯片&Khadas开发板的部署开发介绍》，详细介绍开发板部署任务和如何获取开发板，感兴趣的同学记得锁定直播间哦~

[onecatcn]

我对No.82很有兴趣，不过手上没有开发板。 请问有没有模拟器或者其他途径，可以验证全量化模型的精度？

hello，飞桨的老朋友，你好啊！我先内部确认一下，希望能有一个方案跟你再续前缘

[onecatcn]

请@ScottImpGreen和@Yanting-K发邮件到[email protected]与我们取得联系，邮件格式：标题-【Hackathon No.80】报名，我们会联系您进行任务沟通。 @ScottImpGreen @Yanting-K

[onecatcn]

请 @133dzs 发邮件到[email protected]与我们取得联系，邮件格式：标题-【Hackathon No.80】报名，我们会联系您进行任务沟通。

[onecatcn]

请 @ScottImpGreen 发邮件到[email protected]与我们取得联系，邮件格式：标题-【Hackathon No.80】报名，我们会联系您进行任务沟通。

[onecatcn]

请 @saisai98 发邮件到[email protected]与我们取得联系，邮件格式：标题-【Hackathon No.80】报名，我们会联系您进行任务沟通。