关于mixture2clean的keras和pytorch不同实现

[ChangThinkTech]

您好，我在运行代码的时候遇到这样一个问题。将keras版本的mixture2clean_dnn中的DNN模型直接替换为pytorch版本的DNN，其他配置一样，然后pytorch-DNN的效果要差很多。
请问这大概是什么原因呢？
期待您的回复，感谢！

[qiuqiangkong]

您好，由于时间关系，pytorch版本未完全开发完，所以效果要差一些。若对照keras一样的设置并检查data generator，是能够完全复原keras结果的。 Best wishes, Qiuqiang

…

________________________________ From: only-yipie <[email protected]> Sent: 04 July 2019 04:08 To: yongxuUSTC/sednn Cc: Subscribed Subject: [yongxuUSTC/sednn] 关于mixture2clean的keras和pytorch不同实现 (#41) 您好，我在运行代码的时候遇到这样一个问题。将keras版本的mixture2clean_dnn中的DNN模型直接替换为pytorch版本的DNN，其他配置一样，然后pytorch-DNN的效果要差很多。 请问这大概是什么原因呢？ 期待您的回复，感谢！ ― You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub<https://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2FyongxuUSTC%2Fsednn%2Fissues%2F41%3Femail_source%3Dnotifications%26email_token%3DADFXTSPXQWJXFOVEX7HW3NTP5VSSHA5CNFSM4H5Q3IQKYY3PNVWWK3TUL52HS4DFUVEXG43VMWVGG33NNVSW45C7NFSM4G5IVDCQ&data=02%7C01%7Cq.kong%40surrey.ac.uk%7C99491dd53a7148aac9e608d7002cdec1%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636978065026933225&sdata=JoQNXrjx1VMhZ8ubZRp4epmmJlL6BHPYaN0QBWjgHnk%3D&reserved=0>, or mute the thread<https://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2Fnotifications%2Funsubscribe-auth%2FADFXTSJESQ5CHNNEYGGNPHTP5VSSHANCNFSM4H5Q3IQA&data=02%7C01%7Cq.kong%40surrey.ac.uk%7C99491dd53a7148aac9e608d7002cdec1%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636978065026943219&sdata=GvcfbOj%2FlCPglYEgeKSVmzuedCF4stmyjSFPU4P4AKE%3D&reserved=0>.

[ChangThinkTech]

@qiuqiangkong 您好，不好意思，我想您可能误会了我的意思，我不是说pytorch版本的mixture2clean_dnn效果要差一些，而是我在keras版本的mixture2clean_dnn中，DNN模型使用pytorch实现效果要差一些，也就是说模型的输入是一样的，都是使用keras版本的mixture2clean_dnn中的代码，只有模型实现的框架不一样，然后效果差很多。我现在还没找到原因。
期待您的解答，感谢！

[bailiangze]

一样的输入，我改成tensorflow 训练，一样的loss函数，发现差别很大

[qiuqiangkong]

如果数据预处理都是一样的，仅仅是模型不同，那么说明你的pytorch代码可能有些问题。如果完全一致结果是可以对的上的。可以检查以下部分： * 是否正确使用了model.train(), model.eval()? * DNN的模型初始化的weight, bias是否设置和keras一致？ * 如果有BN层，那么BN层的初始weight, bias是否设置和keras一致？ * optimizer参数是否一致？ Best wishes, Qiuqiang

…

________________________________ From: bailiangze <[email protected]> Sent: 04 July 2019 09:05 To: yongxuUSTC/sednn Cc: Kong, Qiuqiang (PG/R - Elec Electronic Eng); Mention Subject: Re: [yongxuUSTC/sednn] 关于mixture2clean的keras和pytorch不同实现 (#41) 一样的输入，我改成tensorflow 训练，一样的loss函数，发现差别很大 ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<https://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2FyongxuUSTC%2Fsednn%2Fissues%2F41%3Femail_source%3Dnotifications%26email_token%3DADFXTSOMMEAVTMIX7SEJLKDP5WVOPA5CNFSM4H5Q3IQKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODZGVHTY%23issuecomment-508384207&data=02%7C01%7Cq.kong%40surrey.ac.uk%7Cb16a127bf5574f97a39b08d7005674db%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636978243645377962&sdata=c435wOJ0U9BeC9jcDxSkFArQkt8MVDxbukTFz7uHSwQ%3D&reserved=0>, or mute the thread<https://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2Fnotifications%2Funsubscribe-auth%2FADFXTSPIT4UJMPE26U2FTPDP5WVOPANCNFSM4H5Q3IQA&data=02%7C01%7Cq.kong%40surrey.ac.uk%7Cb16a127bf5574f97a39b08d7005674db%7C6b902693107440aa9e21d89446a2ebb5%7C0%7C0%7C636978243645387956&sdata=3a8ua%2FLWZ6MvPOGJH1VPyrNlPPE%2BDlVCIctzCqECVIY%3D&reserved=0>.