预训练Vision Encoder?

[ScarlettTianYou]

使用作者预训练的Vision Encoder，后续的stage2和3，在自己数据集中训练出的模型效果不是很理想，因此，在这里有两个疑问：

• 这种情况，有预训练的必要吗？
• 预训练的话，作者提供的仓库Vary-tiny-600K,这个仓库的代码是否和GOT-OCR2.0无缝对接，训练完的权重可以直接放在GOT中使用吗？

---

谢谢！

[Ucas-HaoranWei]

应该不至于，你在stage2 stage3训了多少数据，以及你的数据是什么样的，能看下吗，我怀疑和训练settings有关

[ScarlettTianYou]

1M的数据。数据是分子结构式，一张图片一个分子，对应的文本是分子SMILES，设置使用默认的。