实验复现精度和论文中的精度有所偏差

[wangyan123454321]

您好呀，很荣幸能读到您的这篇文章。我在复现过程中，论文中提到的spiking MNIST精度98.84%，我复现结果是97.30%，NMNIST论文精度是98.88，我复现精度是96.65%，语音数据集TI46论文精度是90.50%，我复现精度只达到了82.91%。其中前两个实验结果我是完全按照您在代码种的最佳结果的log.txt中参数设置。请问一下我复现精度有点偏差，是因为您使用了论文中未提到的trick吗？还有TI46语音数据集的训练，方便提一下它的参数设置的txt文件吗，我也尝试了很多参数设置，但是始终达不到精度？谢谢您百忙之中的回复。

[jinyyy666]

您好wangyan， 谢谢您的feedback！ 我的这篇paper实在隔得有点远了，我有些细节已经记不太清楚，但是我尽力回复你。 关于Spiking MNIST和NMNIST的复现结果，如果我没有记错的话，你要是使用里面log的参数，加上Cuda 8， 应该是一样的结果。或者你需要读入checkpoint file，然后你去evaluate一下，应该是我paper里面的结果。 其实你的结果已经很接近了，我感觉基本上差不多。我不知道是不是因为cuda version的变化造成的。 关于TI46，我用到了bsa algorithm，一种把音频转成spike的算法（ https://ieeexplore.ieee.org/abstract/document/1224019）。如果你按照我的config： https://github.com/jinyyy666/mm-bp-snn/blob/master/Config/SpokenLetterConfig.txt ，应该是没有什么问题的。82.91%确实有点低，估计是那里出问题了。 有什么问题关系联系！ 谢谢，

…

On Mon, Jun 19, 2023 at 8:52 PM wangyan123454321 ***@***.***> wrote: 您好呀，很荣幸能读到您的这篇文章。我在复现过程中，论文中提到的spiking MNIST精度98.84%，我复现结果是97.30%，NMNIST论文精度是98.88，我复现精度是96.65%，语音数据集TI46论文精度是90.50%，我复现精度只达到了82.91%。其中前两个实验结果我是完全按照您在代码种的最佳结果的log.txt中参数设置。请问一下我复现精度有点偏差，是因为您使用了论文中未提到的trick吗？还有TI46语音数据集的训练，方便提一下它的参数设置的txt文件吗，我也尝试了很多参数设置，但是始终达不到精度？谢谢您百忙之中的回复。 — Reply to this email directly, view it on GitHub <#9>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ABYGN6O47E5YTWKYJ7JI4ITXMENAXANCNFSM6AAAAAAZMVPCJ4> . You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[wangyan123454321]

您好，我用cuda8.0训练spikingMNIST和NMNSIT数据集，结果还是差一两个点。因为我想在您论文基础上改进呢，但是一直连您的精度也复现不出来，这两个数据集是有什么别的trick吗

[wangyan123454321]

我注意到您在网络中的initRandom函数中设置了srand函数，但是后来您注释掉了；我在猜想精度的不同可能与不同编译器中生成未指定种子的随机数有关，请问一下您是因为什么注释掉的这一段代码呢？