fix issue/5252 - CSVインポート時にデリミタがエスケープされていることがある

[TPS-NghiaLe]

概要(Overview・Refs Issue)

#5252 の修正

方針(Policy)

Shift_JISの特殊文字により、ファイル内のデータが正しくない取得されて、エンコードが不正になります。

解決方法 : したがって、コントローラーで処理する前にエンコードデータをと取得することが必要です。

実装に関する補足(Appendix)

テスト（Test)

相談（Discussion）

マイナーバージョン互換性保持のための制限事項チェックリスト

• 既存機能の仕様変更はありません
• フックポイントの呼び出しタイミングの変更はありません
• フックポイントのパラメータの削除・データ型の変更はありません
• twigファイルに渡しているパラメータの削除・データ型の変更はありません
• Serviceクラスの公開関数の、引数の削除・データ型の変更はありません
• 入出力ファイル(CSVなど)のフォーマット変更はありません

レビュワー確認項目

• 動作確認
• コードレビュー
• E2E/Unit テスト確認(テストの追加・変更が必要かどうか)
• 互換性が保持されているか
• セキュリティ上の問題がないか
  • 権限を超えた操作が可能にならないか
  • 不要なファイルアップロードがないか
  • 外部へ公開されるファイルや機能の追加ではないか
  • テンプレートでのエスケープ漏れがないか

[nanasess]

ロケールの関係？で、正しく CSV ファイルをパースできなくなる模様。列が欠落したりするため要調査

[nanasess]

ロケールの関係？で、正しく CSV ファイルをパースできなくなる模様。列が欠落したりするため要調査

SplFileObject::READ_CSV が SJIS に対応していないため、正常にパースできない。
2系のように、 stream_filter を使用することで実現できるかもしれない
https://github.com/EC-CUBE/ec-cube2/blob/3129289ea4629337946609025cf3e3cb96436000/data/class/helper/SC_Helper_CSV.php#L380-L400

[nanasess]

stream filter を使用して変換することで対応しました。
また、 AbstractCsvImportController で処理していた改行コード変換も stream filter を使用するようにしました

[chihiro-adachi]

@nanasess
ありがとうございます。

こちらのCSV、商品CSV登録時にエラーとなりました。見ていただくことはできますでしょうか？
product_20220715141042.csv

[nanasess]

@chihiro-adachi

こちらのCSV、商品CSV登録時にエラーとなりました。見ていただくことはできますでしょうか？
product_20220715141042.csv

このCSVファイルには商品IDの項目が無いためエラーになっていたようです。商品IDを追加したところ正常にアップロードできましたのでご確認ください

[chihiro-adachi]

商品IDを追加したCSVでも同様のエラーとなりました。
ファイルを添付しておきます。

product-sjis.csv
product-utf-8.csv

[nanasess]

@chihiro-adachi stream filter に関係なく、 $form['import_file']->getData() でデータを取り出した時点で以下のようにデータが壊れてしまう模様です。。。

商品ID,公開ステータス(ID),販売種別(ID),商品名,販売価格,在庫数,在庫数無制限フラグ
,1,1,"10テスト機構",2800,100,
,1,1,11テスト機構"",2800,100,

[chihiro-adachi]

@nanasess

ファイルを分割するタイミングで壊れてしまうようなので、分割前にフィルタかける必要がありそうです。

一応以下でうまくいきました。
chihiro-adachi@0bf4a28

[nanasess]

@chihiro-adachi なるほど、ありがとうございます！

[nanasess]

@chihiro-adachi いただいたコミットを取り込んでリファクタリングしました。これで大丈夫だと思います。

[chihiro-adachi]

@nanasess
ありがとうございます！
sjis.csv, utf-8.csvともに正常に登録できました。