TRELLIS.2をLoRAで用途特化する:3D生成モデルの実践的ファインチューニング手引き
3D生成の段階構造を踏まえ、更新対象を絞る
Hugging Faceのガイドは、TRELLIS.2を対象に、手持ちの3DアセットへLoRAを適用する実行スクリプトとコンテナを紹介している。狙いは、汎用モデルの能力を保ちながら、特定カテゴリで重要な形状・幾何の精度を改善することだ。実例ではGoogle Scanned Objects(GSO)の1,030オブジェクトから履物188点を選び、生成された靴の外観は概ね妥当でも、ソール形状が不正確になりやすい問題を検証した。
TRELLIS.2は、入力画像からテクスチャ付きメッシュを生成する処理を、背景除去、画像特徴の抽出、粗い構造の予測、詳細形状の生成、マテリアル生成に分ける。背景除去にはBiRefNet、画像特徴抽出にはDINOv3-Lを用いる。生成の中核では、まずSparse-Structure Flow DiTがサイズ (16^3 \times 8) の小さな潜在表現を予測し、VAEデコーダーがこれを (64 \times 64 \times 64) の占有グリッドへ変換する。続くShape Flow DiTは占有グリッドと画像特徴を条件に形状潜在を生成し、別のVAEデコーダーを通じて解像度 (512 \times 512 \times 512) のO-Voxel幾何へ変換する。
O-Voxelは、物体表面のボクセルを保持するTRELLIS.2の3D表現で、局所形状やマテリアル属性を格納する。さらに、構造化スパース潜在ではグリッド内の約10%のボクセルのみを計算対象とするため、空領域への計算を避けられる。これに対し、Sparse-Structure Flow DiTは密な変換器であり、Shape FlowとTexture FlowのDiTはスパースな変換器として扱われる。
靴の形状改善では、Sparse-Structure Flow DiTとShape Flow DiTにだけLoRAを追加し、Texture Flow DiTは凍結する。この選択は単に学習コストを抑えるためではない。データセットの拡散色マップには焼き込み照明が含まれ、表面色と照明が分離されていないため、マテリアル生成の教師データとして不適切である。これをTexture Flowの学習に使うと、照明を表面属性として学習したり、既存能力を失う破滅的忘却を招いたりする可能性がある。一方、色・質感は基盤モデルがすでに良好に生成し、今回の課題は形状にある。したがって、課題に関係する段階だけを更新する設計が合理的となる。
小規模データに合わせたLoRA設計と学習パイプライン
188点という小規模なデータセットでは、全重みを更新するフルファインチューニングより、学習対象を限定するLoRAが適する。記事の構成では、両DiTに対して合計約930万個のアダプターパラメータを学習する。Sparse-Structure Flow DiTではattention層とMLP層にrank 8、Shape Flow DiTではattention層にrank 16のアダプターを挿入する。rankはアダプター行列の容量を定め、高いrankほど表現能力を増やせる一方、学習パラメータも増える。元の重みを固定することで、勾配とオプティマイザ状態に必要なメモリを抑え、事前学習済みの知識を保持しやすくする。
前処理では、Blenderをヘッドレスで動作させ、各オブジェクトから16視点の画像をレンダリングする。TRELLIS.2の凍結エンコーダーで学習用潜在表現を生成して保存するため、後続の学習実行でメッシュを再エンコードせずに済む。各学習サンプルでは16視点のうち1視点をランダムに条件画像として選択する。188点のうち9点を評価用に保留し、残る179点で学習する。前処理はa100-largeジョブで約1時間かかったと報告されている。
学習はSparse-Structure FlowとShape Flowを別々に実行し、それぞれの設定ファイルを切り替える。バッチサイズ4、勾配蓄積4回の構成では、実効バッチサイズは16となる。実装ではPEFTのinject_adapter_in_model()を使用し、TRELLIS.2独自のforwardインターフェースを維持する。LoRA重みは数値安定性のためfp32で保持し、順伝播にはbf16の自動混合精度を用いる。元モデルの重みは固定され、LoRAパラメータだけが更新対象となる。
目的関数には、事前学習と同じrectified flow matchingを使う。各サンプルについて時刻 (t) をサンプリングし、クリーンな潜在 (x_0) とノイズを混合して時刻 (t) の状態を作る。Sparse-Structure Flowではlogit-normal、Shape Flowでは一様分布から時刻を選び、モデルが予測する速度と目標速度との平均二乗誤差を最小化する。事前学習時と整合した目的関数を採用することで、追加学習の目的を新設せず、既存の生成過程に沿ってアダプターを適応させる。
コンテナ運用と再現可能な実験設計
記事では、前処理用と学習用のDockerイメージを分け、Hugging Face JobsまたはローカルGPU環境から同じコマンド体系で実行できるようにしている。Jobsではa100-large(80 GB)を指定し、前処理のタイムアウトは6時間、学習は12時間の例を示す。学習例ではmax_steps=3000、チェックポイント保存間隔i_save=500を指定できる。--push-toを設定すると、アダプターのチェックポイントをHubへアップロードできる。実行メトリクスはTrackioに記録され、ダッシュボードから監視する構成だ。
データセットや中間潜在をHubへ保存する設計には、前処理と学習を分離できる利点がある。前処理済みデータを複数の学習実行で再利用すれば、モデル設定の比較や再試行のたびにレンダリング・エンコードを繰り返す必要がない。また、前処理コンテナは完了済みオブジェクトをスキップし、学習コンテナは最新チェックポイントから再開できるため、長時間ジョブの中断に対する耐性も確保されている。
実行前には、HF_TOKENを用意し、ゲート付きモデルであるDINOv3へのアクセス権を確認する必要がある。独自データを使う場合は、事前にメッシュをHubへアップロードする。ローカル実行ではGPUをコンテナに公開し、キャッシュ用ボリュームや共有メモリ設定を用いる。つまり、このガイドの要点はアダプター学習のコードだけでなく、データ準備、再利用可能な潜在保存、チェックポイント継続、メトリクス監視までをひと続きの運用単位として提供することにある。
開発者・エンジニア視点での考察
-
「何を学習するか」と同じ重みで「何を凍結するか」を設計する。 形状の問題に対して形状を担う2段階だけを更新し、教師信号が不適切なTexture Flowを除外した判断は、モジュール単位の損失原因分析に基づく。実案件でも、出力品質の失敗を形状・材質・照明・条件画像への追従に分解し、対象コンポーネントと教師データの意味が一致しているかを先に確認したい。
-
小規模データでは、LoRAのrankを一律にせず、段階ごとの役割で配分する。 ここでは粗構造側にrank 8をattentionとMLPへ、詳細形状側にrank 16をattentionへ設定している。これは、異なる生成段階に同じ適応容量を割り当てるのではなく、更新対象層とrankを構成要素ごとに調整できることを示す。実験では、対象層・rank・学習ステップを個別に変え、保留データで形状改善と汎化を比較するのが有効である。
-
前処理結果を成果物として固定し、学習条件の比較可能性を高める。 潜在表現と16視点のレンダリングを一度生成して再利用する構成は、計算時間の節約だけでなく、学習実験間の入力差を抑える。データ分割、レンダリング条件、潜在の由来を記録し、保留した9オブジェクトを評価専用に保つことで、少数データでもアダプター変更による差を追跡しやすくなる。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


