CSVが大きくなると、「開いて目で見る」という確認方法が先に限界へ来る。
大容量CSVは、全部を画面へ表示することと全部を検査することを分けて考える。
まずサイズと行数を把握する
数MBなのか、数百MBなのか、数GBなのかで道具が変わる。
表計算ソフトへ無理に開く前に、ファイルサイズと概算行数を見る。
全件表示は不要
ヘッダーや数行の形を確認するだけなら先頭サンプルで足りる。
一方、重複や必須欠損は全件を検査する必要がある。
- 形を見る → 少量サンプル
- ルールを検査する → 全件処理
と分ける。
ストリーミング処理
大きなCSVでは、ファイル全体をメモリへ載せず、レコードを順番に読む方式が向いている。
必須値チェックや列数チェックはストリーミングしやすい。
重複チェックは一意キーを保持するため、そのキー数に応じてメモリや外部ストレージが必要になる。
分割するときの注意
単純な行数分割は、セル内改行を含むCSVを途中で切る可能性がある。
CSVパーサーでレコード境界を理解した上で分割する。
ローカルブラウザツールの範囲
CSV Preflight v0.1はブラウザ内で完結する小さなツールなので、巨大ファイル向けのストリーミング基盤ではない。
数GB級や定期バッチなら、スクリプトや専用処理へ切り替えるべきだ。
ツール選びはCSVチェックツールの選び方にもまとめている。
大容量CSVでは、表示できるかではなく、必要な検査を再現可能に全件へ適用できるかを見る。