基于pytorch的OCR库

这里会有这个项目的代码详解和我的一些ocr经验和心得，我会慢慢更新，有兴趣可以看看，希望可以帮到新接触ocr的童鞋CSDN博客

---

最近跟新：

• 2021.05.19 更新基于DBnet的多语种文本检测。
• 2021.05.01 更新CRNN 训练，解决了多gpu训练问题，更换成lmdb训练，需要将图片先转成lmdb（在script文件夹中有多进程将图片转成lmdb的代码），做了一些训练优化，模型结构更改（训练时使用名字中带lmdb的yaml文件），实际训练效果如下表。
• 2021.03.26 更新CRNN 训练效果，代码整理后上传
• 2021.03.06 更新CRNN backbone resnet 和 mobilev3 以及配置文件
• 2020.12.22 更新CRNN+CTCLoss+CenterLoss训练
• 2020.09.18 更新文本检测说明文档
• 2020.09.12 更新DB,pse,pan,sast,crnn训练测试代码和预训练模型

---

目前已完成:

• DBnet 论文链接
• PSEnet 论文链接
• PANnet 论文链接
• SASTnet 论文链接
• CRNN 论文链接

---

接下来计划：

• 模型转onnx及调用测试
• 模型压缩（剪枝）
• 模型压缩（量化）
• 模型蒸馏
• tensorrt部署
• 训练通用化ocr模型
• 结合chinese_lite进行部署
• 手机端部署

---

crnn模型效果(实验中)

使用 MJSynth(MJ) 和 SynthText(ST) 训练，以batchsize=512训练，在以下数据集上测试：

模型	迭代次数	CUTE80	IC03_867	IC13_1015	IC13_857	IC15_1811	IC15_2077	IIIT5k_3000	SVT	SVTP	mean
resnet34+lstm+ctc	120000	82.98	91.92	90.93	91.59	73.10	67.98	90.16	85.16	78.29	83.56
mobilev3_large+lstm+ctc	210000	73.61	92.50	90.34	91.59	74.82	68.89	87.56	83.46	77.20	82.21
mobilev3_small+lstm+ctc	210000	66.31	90.77	88.76	91.13	73.66	69.52	88.80	84.54	72.24	80.64

---

检测模型效果(实验中)

训练只在ICDAR2015文本检测公开数据集上，算法效果如下：

模型	骨干网络	precision	recall	Hmean	下载链接
DB	ResNet50_7*7	85.88%	79.10%	82.35%	下载链接(code:fxw6)
DB	ResNet50_3*3	86.51%	80.59%	83.44%	下载链接(code:fxw6)
DB	MobileNetV3	82.89%	75.83%	79.20%	下载链接(code:fxw6)
SAST	ResNet50_7*7	85.72%	78.38%	81.89%	下载链接(code:fxw6)
SAST	ResNet50_3*3	86.67%	76.74%	81.40%	下载链接(code:fxw6)
PSE	ResNet50_7*7	84.10%	80.01%	82.01%	下载链接(code:fxw6)
PSE	ResNet50_3*3	82.56%	78.91%	80.69%	下载链接(code:fxw6)
PAN	ResNet18_7*7	81.80%	77.08%	79.37%	下载链接(code:fxw6)
PAN	ResNet18_3*3	83.78%	75.15%	79.23%	下载链接(code:fxw6)

---

模型压缩剪枝效果

这里使用mobilev3作为backbone，在icdar2015上测试结果，未压缩模型初始大小为2.4M.

1. 对backbone进行压缩

模型	pruned method	ratio	model size(M)	precision	recall	Hmean
DB	no	0	2.4	84.04%	75.34%	79.46%
DB	backbone	0.5	1.9	83.74%	73.18%	78.10%
DB	backbone	0.6	1.58	84.46%	69.90%	76.50%

2. 对整个模型进行压缩

模型	pruned method	ratio	model size(M)	precision	recall	Hmean
DB	no	0	2.4	85.70%	74.77%	79.86%
DB	total	0.6	1.42	82.97%	75.10%	78.84%
DB	total	0.65	1.15	85.14%	72.84%	78.51%

---

模型蒸馏

模型	teacher	student	model size(M)	precision	recall	Hmean	improve(%)
DB	no	mobilev3	2.4	85.70%	74.77%	79.86%	-
DB	resnet50	mobilev3	2.4	86.37%	77.22%	81.54%	1.68
DB	no	mobilev3	1.42	82.97%	75.10%	78.84%	-
DB	resnet50	mobilev3	1.42	85.88%	76.16%	80.73%	1.89
DB	no	mobilev3	1.15	85.14%	72.84%	78.51%	-
DB	resnet50	mobilev3	1.15	85.60%	74.72%	79.79%	1.28

---

文档教程

• 文本检测
• 文本识别
• pytorch转onnx
• onnx转tensorrt
• 模型剪枝
• 模型蒸馏

---

文本检测效果

---

Dbnet多语种文本检测效果

生成数据集：

公开数据集：

---

有问题及交流加微信

微信号：-fxwispig-

---

参考

• https://github.com/PaddlePaddle/PaddleOCR
• https://github.com/whai362/PSENet
• https://github.com/whai362/pan_pp.pytorch
• https://github.com/WenmuZhou/PAN.pytorch
• https://github.com/xiaolai-sqlai/mobilenetv3
• https://github.com/BADBADBADBOY/DBnet-lite.pytorch
• https://github.com/BADBADBADBOY/Psenet_v2
• https://github.com/BADBADBADBOY/pse-lite.pytorch