PRX Part 4: データ戦略 - 大規模T2Iモデルを支えるデータパイプラインの深層
PRXデータ戦略の基本原則と多様なデータソース
Photoroomが開発したテキスト・ツー・イメージ（T2I）モデル「PRX」の成功は、その背後にある緻密なデータ戦略に大きく依存しています。PRXのデータパイプラインは、「量より質」が重要とされるファインチューニングとは異なり、プレトレーニング段階では「網羅性と多様性」を最優先するという明確な指導原則に基づいています。これは、モデルが視覚的な概念、オブジェクト、シーン、構成、照明、そして画像が包含し得るあらゆる範囲を学習するために不可欠です。美的観点からの過度なフィルタリングは、分布を狭め、モデルが後から回復できない概念的・構成的多様性を失わせる可能性があるため、この段階では避けるべきだとされています。PRXのプレトレーニングデータは、公開データセットと社内データセットの混合から構築されており、幅広い表現を学習させることで、視覚世界に関するより堅牢な理解をモデルに与えています。また、データセットはアスペクト比ごとにバケット化され、効率的なデータローディングのためにMosaicML Streaming (MDS) データセットとして整理されています。これはWebDataset形式のtarファイルをARバケットMDSシャードに変換するスクリプトが提供されています。
VLMによる画像再キャプションと高度なデータ処理
PRXのデータパイプラインにおける重要な技術的ステップの一つは、VLM（Vision-Language Model）による画像再キャプションです。元の画像に付随するキャプションは、しばしばノイズが多く、情報量が不足している可能性があります。これを解決するため、PRXのデータ戦略では、VLMを活用してすべての画像に対して新たな、高品質で密度の高いキャプションを生成しています。これにより、キャプションの品質と一貫性が大幅に向上し、モデルがより正確で豊かなテキストと画像の関連性を学習できるようになります。
次に、データセットの品質をさらに向上させるために、複数の高度なフィルタリングプロセスが適用されます。
-
知覚ハッシュによる重複排除: 画像の重複は、トレーニング効率とモデルの多様性にとって有害です。PRXでは、ニアピクセル同一のコピーを削除するために、知覚ハッシュ（Perceptual Hash）とハミング距離（Hamming distance）を用いた重複排除が行われます。これにより、各画像の「フィンガープリント」が生成され、既に見たフィンガープリントを持つ画像は重複と見なされます。このプロセスでは、異なる解像度の画像群から重複を検出した場合、最も高解像度のコピーが保持されます。重複データは物理的に削除されるのではなく、シャードごとのスキップリストとして書き出され、ローダーが読み込み時にこれをスキップすることで、データセットの不変性を保ちつつ効率的な処理を実現しています。この重複排除により、コーパス全体で数パーセントの画像が除去されたと報告されています。
-
キャプションに基づくテキストフィルタリング: VLMによって再キャプションされたデータに対しても、さらにテキストベースのフィルタリングが適用されます。これは、定型文や情報量の少ないキャプション、または望ましくないキーワードを含むキャプションを除外することを目的としています。
-
NSFW（Not Safe For Work）コンテンツの削除: 安全で倫理的なモデルを確保するため、NSFWコンテンツのパスも適用され、少量の画像が除去されています。
これらのデータ処理ステップは、PRXモデルがクリーンで多様性に富み、高品質なデータから学習することを保証し、最終的な生成品質に大きく貢献しています。
ファインチューニングに向けたデータキュレーションと展望
PRXのデータ戦略は、プレトレーニングフェーズでの「網羅性」重視から、その後のファインチューニング（SFT: Supervised Fine-Tuning）およびプリファレンスアライメントフェーズでの「品質」重視へと移行します。この段階では、膨大なプレトレーニングコーパスの中から、質が高く、特定の目的に合致した小規模なサブセットを見つけ出し、キュレーションすることが重要となります。
Photoroomは、このファインチューニング段階のニーズに応えるため、より強力なキュレーションツールの開発を進めています。これには、VLMが予測する構造化された属性（タグ）を用いて画像を分類できる、よりリッチなエクスプローラーが含まれます。これにより、特定のファインチューニングタスクに高度に特化したデータサブセットを効率的に構築することが可能になります。このアプローチは、過去にPhotoroomが提唱した「データ精製（Data Refinery）」モデル、すなわちデータが静的ではなく、フィルタリング、拡張、改善のサイクルを何度も経て「ゴールド」データセットへと昇華されるという考え方と合致しています。将来の投稿では、ファインチューニングやプリファレンスアライメント、そしてそれらに使用されるデータツールについて詳しく掘り下げていく予定であると述べられています。
開発者・エンジニア視点での考察
-
高密度なVLMキャプションの戦略的活用: データセットの規模を問わず、既存の画像キャプションが不十分な場合、VLMを用いて画像を再キャプションすることは、モデルの学習に大きく貢献します。これは、多様な視覚概念と言語表現の整合性を高め、モデルがよりリッチな画像を生成するための基盤となります。特に、特定のドメインに特化したVLMを導入することで、ニッチなデータセットにおけるキャプション品質と関連性を劇的に向上させることが期待でき、ファインチューニングの精度向上に直結するでしょう。
-
パーセプトゥアルハッシュによる動的なデータセット管理: 大規模データセットにおける重複排除は、計算リソースとストレージを最適化する上で不可欠な要素です。PRXが採用する知覚ハッシュに基づく重複排除と、それをスキップリストとして保持するアプローチは、データセットの不変性を保ちつつ、トレーニング時に重複データを物理的に削除することなく効率的に無視できる点が優れています。これにより、データセットのバージョン管理が容易になり、実験の再現性も高まります。開発者はこのアプローチを参考に、独自のデータパイプラインに動的な重複排除メカニズムを組み込むことを検討できます。
-
プレトレーニングとファインチューニングのデータ戦略分離: 大規模モデルのトレーニングにおいて、プレトレーニングとファインチューニングでデータ戦略を明確に分けることの重要性が改めて強調されています。プレトレーニングでは「多様性と網羅性」を最優先し、ファインチューニングでは「質と目的適合性」を重視した厳選されたデータセットを用いるという二段階アプローチは、モデルが世界の広範な知識を効率的に習得し、その後に特定のタスクや美的感覚に特化して調整されるための効率的なパスを提供します。この原則は、さまざまなドメインにおける高性能AIモデル開発に応用できる普遍的な設計指針となります。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
