Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Mapperで生成されるファイル数に注意 #16

Open
takeohoshi opened this issue May 11, 2021 · 0 comments
Open

Mapperで生成されるファイル数に注意 #16

takeohoshi opened this issue May 11, 2021 · 0 comments

Comments

@takeohoshi
Copy link
Collaborator

Mapperを使っている方への注意です.
Mapperでは,膨大な数のファイルが生成される場合があります.例えば,100万個のmesh点の計算をすると,数千万個のファイルが生成されます.一方,コンピュータには,扱えるファイル数に限界があります.あまり多すぎると,システム的に問題になるようです.ohtakaではファイル総数への制限(ファイルの合計容量ではなくて)は,現状ではかかっていないようですが,気をつけてください.具体的には,mapperで計算が終わったら,ファイルを(必要に応じてダウンロードした上で)消すか,directroryごと1ファイルにして元ファイルは消す,と言う手段が有効だと思います.「directroryごと1ファイルにする」と言う作業は,zip, tarコマンドでできます.
参考:UNIXコマンド、ディレクトリごとzip圧縮したい時
https://rukiadia.hatenablog.jp/entry/2014/02/17/020300

大局的には,ファイル生成があまり起こらないように,コードを改変する予定です.が,それまでは,気をつけていただけると幸いです.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant