FastDeploy模型、硬件支持计划

[leiqing1]

模型 （CV、NLP、Speech、Cross-modal）

• PP-Tracking(Doing)
• Robust Video Matting(Doing)

平台& 硬件 （云、边、端）

• Android ARM CPU
• • Picodet(Doing)
• • PaddleClas(Doing)
• RKNN2
• • YOLOv5(Doing)

如果你希望FastDeploy支持新的AI模型/新硬件，或与FastDeploy共建生态，欢迎提供如下信息我们：

1. 硬件型号：例如: 晶晨A311D
2. 操作系统：例如：Linux
3. 网络名称：例如：PP-PicoDet
4. 模型链接：例如：https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.4/configs/picodet 
5. 详细描述：例如：希望将PP-PicoDet-M模型用到自己车辆检测场景中实现服务化部署，但是对算法前后处理不理解，部署困难。
6. 联系方式：[email protected]

[datalee]

这个只是针对图像类的模型吗？
NLP类的能用不？

[jiangjiajun]

@datalee 可以，目前已经有UIE。 PaddleNLP的所有部署之后都会由FastDeploy来支持哈

[jiangjiajun]

#369 PP-ShiTu模型

[jiangjiajun]

• 【已支持】RobustVideoMatting是否支持 #361 RobustVideoMatting模型（已支持）

[jiangjiajun]

#358 3D目标检测模型

[jiangjiajun]

• 【Supported】Yolov5 classification #138 YOLOv5 Classification模型支持(已支持)

[dachengai]

mnn 或ncnn 计划支持么，非常期待

[jiangjiajun]

#373 PPTracking已经支持

[datalee]

@datalee 可以，目前已经有UIE。 PaddleNLP的所有部署之后都会由FastDeploy来支持哈

有对比过和onnx之间的性能差异吗？

[KRuok]

请问大佬有对tracking模型和像pphuman 这样的action识别流程的支持计划吗

[jiangjiajun]

#465 YOLOv5-seg

[wzy123456wzy]

有没有支持windows 32?

[jiangjiajun]

mnn 或ncnn 计划支持么，非常期待

如果有外部开发者有兴趣来做这个事的话，我可以帮忙一起Review和说明如何集成

[jiangjiajun]

Tracking已经集成支持

[jiangjiajun]

有没有支持windows 32?

现在都基本是Windows x64了呢，你在什么场景下还依赖windows 32呢

[acgcc12]

paddlex 训练的模型能通过这个部署嘛

[jiangjiajun]

paddlex 训练的模型能通过这个部署嘛

正在支持中

[monkeycc]

paddleX 期待

[dwdcth]

paddleX 期待 +1

[trefoil0219]

硬件型号：Nvidia T4
操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

[liutingxi]

硬件型号：RK3588
操作系统：Linux
网络名称：PP-TinyPose
模型链接：https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.5/configs/keypoint/tiny_pose

[jiangjiajun]

硬件型号：Nvidia T4 操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

@wang-xinyu

[wang-xinyu]

@populustremble FastDeploy Streamer已经有相应的支持，可参考https://github.com/PaddlePaddle/FastDeploy/tree/develop/streamer

硬件型号：Nvidia T4 操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

[trefoil0219]

@populustremble FastDeploy Streamer已经有相应的支持，可参考https://github.com/PaddlePaddle/FastDeploy/tree/develop/streamer

硬件型号：Nvidia T4 操作系统：Linux
需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

这部分功能有计划实现python的api吗

[wang-xinyu]

@populustremble 有计划，预计3月底之前会有python API

[qiulongquan]

硬件型号：Nvidia Jetson nano b01 4G
操作系统：Linux(ubuntu)

需求描述：希望FastDeploy支持在nvidia jetson nano上面进行脸部检测的trt部署，现在根据我测试的结果 yolov7face retinaface 模型还不能在nano上面实现trt加速预测功能

[trefoil0219]

硬件型号：Nvidia T4
操作系统：Linux

需求描述：strongsort、ocsort、bytetrack、botsort 模型支持

[Amy234543]

硬件型号：nvidia-smi A40 和A100
操作系统：Linux
模型：paddle的mbart模型
需要mbart模型部署翻译服务接口

[sunzhaoyang]

OCR 的 KIE 有支持计划吗？ https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.6/ppstructure/README_ch.md

[apexg]

硬件型号：昇腾310
操作系统：linux aarch64
网络名称：uie
模型链接：
详细描述：希望将uie模型用到行业的文本信息抽取中，但cpu推理太慢了，期待使用昇腾加速卡进行推理，现在无法部署。
联系方式：18620401618

[leiqing1]

现在支持的1684X，因为算能那边在升级工具链，再过一个Q，计划1684也会完备MLIR工具，届时FastDeploy里面的适配工作就可以直接在1684上支持啦。

[cumthxy]

KIE模型有支持计划么

[bigbeef]

GTX750Ti

[WilliamQf-AI]

有没有文档矫正的功能

[qiulongquan]

请问 我们需要PPHGNet samll版 分类模型 的rknn模型转换支持，尝试使用现在公开的 ResNet50_vd
（https://github.com/PaddlePaddle/FastDeploy/tree/develop/examples/vision/classification/paddleclas/rockchip/rknpu2）
但是转换成rknn模型后运行 infer.py 发生报错。
1.请问现在是不是还没有支持PPHGNet模型
2.什么时候可以支持
3.现阶段通过其他方式 是否可以实现PPHGNet模型的rknn模型转换并正常输出预测结果

[121786404]

@datalee 可以，目前已经有UIE。 PaddleNLP的所有部署之后都会由FastDeploy来支持哈

NLP模型支持的好少，未来会支持更多的大模型吗？不只是PaddleNLP的。

[SunYanCN]

支持GPT2 #2051

[ijiami-01]

BM1684期待有更好的支持，现在使用examples目录下的YOLOV5的cpp推理，会卡住不动，下面是执行日志。
@BM1684-180:/fastdeploy/examples/vision/detection/yolov5/sophgo/cpp/build$ ./infer_demo ../model 000000014439.jpg
[BMRT][bmcpu_setup:351] INFO:cpu_lib 'libbmcpu.so' is loaded.
bmcpu init: skip cpu_user_defined
open usercpu.so, init user_cpu_init
[BMRT][load_bmodel:1027] INFO:Loading bmodel from [../model/yolov5s_1684x_f32.bmodel]. Thanks for your patience...
[BMRT][load_bmodel:991] INFO:pre net num: 0, load net num: 1
[INFO] fastdeploy/runtime/runtime.cc(367)::CreateSophgoNPUBackend Runtime initialized with Backend::SOPHGO in Device::SOPHGOTPUD.

[monkeycc]

YOLOv8
Classification Segmentation KeyPoint
什么时候能支持

[nefusmzj]

硬件型号：Intel J1900、Celeon系列
操作系统：Linux
网络名称：PPOCRV3、paddleseg-DeeplabV3
详细描述：我们希望将OCR和分割能力，安装在工控机中，目前主流低功耗工控机所使用的atom、赛扬等低端intel处理器，均不支持AVX指令集。

实测发现paddleserving部署OCR，因为无AVX指令因此失败。

请问FastDeploy是否支持无AVX的intel CPU，若不支持，是否有支持计划。

[jiangjiajun]

硬件型号：Intel J1900、Celeon系列 操作系统：Linux 网络名称：PPOCRV3、paddleseg-DeeplabV3 详细描述：我们希望将OCR和分割能力，安装在工控机中，目前主流低功耗工控机所使用的atom、赛扬等低端intel处理器，均不支持AVX指令集。

实测发现paddleserving部署OCR，因为无AVX指令因此失败。

请问FastDeploy是否支持无AVX的intel CPU，若不支持，是否有支持计划。

目前需要avx指令的应该是Paddle Inference后端。可以自行编译FastDeploy，仅集成ONNXRuntime推理后端即可。

[lrp123456]

swin transformer模型是否有计划支持
硬件：CPU、GPU
操作系统:Linux Windows
网络名称：faster rcnn（swin）
模型链接：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.6/configs/faster_rcnn/_base_/faster_rcnn_swin_tiny_fpn.yml

[nine-city]

支持paddlespeech吗
硬件：CPU、GPU（T4和3080）
操作系统:Linux Windows
模型链接：https://github.com/PaddlePaddle/PaddleSpeech/blob/develop/docs/source/released_model.md

[monkeycc]

PP-YOLOE-R
硬件：CPU、GPU
操作系统:Linux Windows
模型链接: https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.7/configs/rotate/ppyoloe_r

旋转框，是否能支持

[weida008]

硬件型号：RTX4070
操作系统：Linux
网络名称：PP-PicoDet

[lqsweet]

硬件型号：RK3588
操作系统：linux
网络名称：PP-YOLOE-R
模型链接： https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.7/configs/rotate/ppyoloe_r
详细描述：自己移值的不能正确预测角度