Twitterインポート機能の強化

[shiosyakeyakini-info]

Summary

これらの処理があってほしいです

• リツイートのメディア（画像・動画）もドライブに配置されてインポートしたノート上に紐づけられる。やめてほしい
• リツイートは本来のツイートを参照できるようにしないと行儀が悪い
  • リツイートが含まれること自体は、Twilogもそうなので…というのはある
• 「@から始まるがメンションでないもの」、つまりそもそも存在しないアカウントに対するメンションや、そのツイートの時点で削除・凍結されているようなアカウントに対するメンションを示す@***がそのままインポートされてしまい、サーバー内のアカウントに対するメンションになってしまいます
• Twitterデータのzipファイルには、data/tweets.jsにツイートが含まれていますが、100MBを超える場合data/tweets-part1.jsから連番に100MBずつ配置されます。このtweets-part1.js以降の処理の読み取りが欠落しています。

Purpose

Twitterのインポートをしたいが、今の仕様でインポートするとあぶない

Do you want to implement this feature yourself?

• Yes, I will implement this by myself and send a pull request

[shiosyakeyakini-info]

たぶん無理そうなこと

• Twitterからダウンロードしたzipそのままの状態では、そのアカウントがこれまでアップロードしたすべての画像や動画も含まれるため、ドライブにアップロードする前にdata/tweets_mediaのフォルダを削除しないとアップロードサイズ上限にひっかかってしまうのをなんとかしたい
• あまりにも数が多いと、BullMQがOut of Memoryを吐いて落ちる しきい値は20万〜35万の間（でもこれは試してないけどMisskeyからのインポートでも一緒かも…）

意外と問題なさそうなこと

• ツイートに紐づけられたメディアは直接Twitterの画像サーバーにダウンロードしに行くが、1万件程度であれば特にToo many accessなどが返されたりすることはなく、全メディアをドライブに配置することができた