Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Twitterインポート機能の強化 #55

Open
1 task done
shiosyakeyakini-info opened this issue Aug 31, 2024 · 1 comment
Open
1 task done

Twitterインポート機能の強化 #55

shiosyakeyakini-info opened this issue Aug 31, 2024 · 1 comment

Comments

@shiosyakeyakini-info
Copy link

Summary

これらの処理があってほしいです

  • リツイートのメディア(画像・動画)もドライブに配置されてインポートしたノート上に紐づけられる。やめてほしい
  • リツイートは本来のツイートを参照できるようにしないと行儀が悪い
    • リツイートが含まれること自体は、Twilogもそうなので…というのはある
  • 「@から始まるがメンションでないもの」、つまりそもそも存在しないアカウントに対するメンションや、そのツイートの時点で削除・凍結されているようなアカウントに対するメンションを示す@***がそのままインポートされてしまい、サーバー内のアカウントに対するメンションになってしまいます
  • Twitterデータのzipファイルには、data/tweets.jsにツイートが含まれていますが、100MBを超える場合data/tweets-part1.jsから連番に100MBずつ配置されます。このtweets-part1.js以降の処理の読み取りが欠落しています。

Purpose

Twitterのインポートをしたいが、今の仕様でインポートするとあぶない

Do you want to implement this feature yourself?

  • Yes, I will implement this by myself and send a pull request
@shiosyakeyakini-info
Copy link
Author

shiosyakeyakini-info commented Aug 31, 2024

たぶん無理そうなこと

  • Twitterからダウンロードしたzipそのままの状態では、そのアカウントがこれまでアップロードしたすべての画像や動画も含まれるため、ドライブにアップロードする前にdata/tweets_mediaのフォルダを削除しないとアップロードサイズ上限にひっかかってしまうのをなんとかしたい
  • あまりにも数が多いと、BullMQがOut of Memoryを吐いて落ちる しきい値は20万〜35万の間(でもこれは試してないけどMisskeyからのインポートでも一緒かも…)

意外と問題なさそうなこと

  • ツイートに紐づけられたメディアは直接Twitterの画像サーバーにダウンロードしに行くが、1万件程度であれば特にToo many accessなどが返されたりすることはなく、全メディアをドライブに配置することができた

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant