Free²Guide: Gradient-Free Path Integral Control for Enhancing Text-to-Video Generation with Large Vision-Language Models

ビデオ潜在拡散モデル（VLDM）は、前方拡散過程によって生成されたランダムノイズを反復的に除去することで確率過程を学習する[dhariwal2021diffusion]。

ここで、${\bm{z}}_{0}=\mathcal{E}({\bm{x}})$はエンコーダー$\mathcal{E}$によるクリーンビデオの潜在エンコーディングであり、$\bar{\alpha}_{t}$はタイムステップ$t$におけるノイズスケジューリング係数である。VLDMは以下の目的関数を最小化することで${\bm{z}}_{t}$のノイズを推定する：

ここで、$\bm{\epsilon}\sim\mathcal{N}(0,\mathbf{I})$および${\bm{c}}$は条件付け入力を表す。

クリーンな潜在表現を取得するために、我々は逆時間確率微分方程式（SDE）サンプリングプロセスを使用する：

ここで、${\bm{f}}$および$\bar{{\bm{f}}}$はそれぞれ前方SDEと逆SDEのドリフト項であり、$g$は拡散係数、$\bar{\mathbf{w}}$は逆時間ウィーナー過程を表す。逆SDEの初期点は正規ガウス分布からサンプリングされる。適切なノイズスケジュールで逆SDEを離散化することにより、VLDMはDDIM [song2020denoising]軌道に基づいてクリーンな潜在表現を取得する。

ここで、$\sigma_{t}$はサンプリングの確率性を制御し、${\bm{\epsilon}}\sim{\mathcal{N}}(0,{\mathbf{I}})$および${\bm{z}}_{0|t}={\mathbb{E}}[{\bm{z}}_{0}|{\bm{z}}_{t}]$はTweedieの公式[efron2011tweedie]によって計算された${\bm{z}}_{t}$の事後平均またはノイズ除去版を表す。潜在表現をビデオドメインに戻すために、デコーダー$\mathcal{D}$が潜在表現をデコードするために使用される。

式(3)の逆SDEが与えられた場合、我々の目標は最適な制御 ${\bm{u}}({\bm{z}}_{t})$ を得ることである：

これはサンプリングプロセスを目標分布 $p({\bm{z}}_{t}|y)$ に向けて導く。ここで $y$ はラベル、クラス、またはテキストプロンプトなどの望ましい条件を表す[williams1979diffusions]。 分類器ガイダンス[nie2022diffusion]では、尤度 $p(y|{\bm{z}}_{t})$ を推定する補助的な分類器が利用可能な場合、制御項は以下のように定義できる：

ここで $w$ はガイダンスの強さを調整するスケーリング係数である。この制御項は、ベイズの定理を適用して $p({\bm{z}}_{t}|y)\propto p({\bm{z}}_{t}|y)p(y|{\bm{z}}_{t})^{w}$ を表現することから導かれる。

報酬モデルを分類器として扱うことで分類器ガイダンスを適応させることを考えるかもしれない。しかし、この手法には2つの課題がある：報酬モデルはノイズのある潜在表現 ${\bm{z}}_{t}$ で訓練されておらず、微分可能性が必要である。これらの制限を緩和するために、我々は以下の第3.3節で説明するように、0次勾配近似を用いたパス積分制御アプローチを利用する。

拡散モデルをエントロピー正則化されたマルコフ決定過程（MDP）と考えると、我々は逆確率微分方程式を強化学習（RL）フレームワークとして概念化できる[uehara2024understanding, black2023training, fan2024reinforcement]。ここで、状態${\bm{s}}_{t}$と行動${\bm{a}}_{t}$は入力${\bm{z}}_{t}$に対応する。この定式化において、最適方策$p^{*}$は以下の目的関数を最大化する：

ここで、$\alpha$は拡散モデルによって定義される元の方策$p_{\theta}$とのKLダイバージェンスの係数である。$p_{\theta}({\bm{z}}_{t-1}|{\bm{z}}_{t})={\mathcal{N}}({\bm{\mu}}_{t},\sigma_{t}^{2}{\bm{I}})$を拡散モデルのSDEにおける逆遷移分布とし、$p_{\theta}({\bm{z}}_{0:t}):=p_{\theta}({\bm{z}}_{t})\Pi_{\tau=1}^{t}p({\bm{z}}_{\tau-1}|{\bm{z}}_{\tau})$とする。我々は価値関数を以下のように定義できる：

ここで、${\bm{v}}({\bm{z}}_{0})={\bm{r}}({\bm{z}}_{0})$は報酬関数である[uehara2024understanding]。

エントロピー正則化されたMDPシステムに対する最適制御は、以下のハミルトン・ヤコビ・ベルマン（HJB）方程式を解くことで得られる[uehara2024fine, huang2024symbolic]：

しかし、この項は価値関数の勾配を必要とする。勾配の要件を回避するために、経路積分制御を使用することができる。これは確率的最適制御の原理に基づいて最適制御（またはガイダンス）を推定するアプローチである[theodorou2010generalized, kappen2005path, uehara2024fine]。 [huang2024symbolic]では、最適制御は以下のように近似される：

SCG[huang2024symbolic]がこの最適制御を拡散モデルと共に使用して画像ドメインの逆問題を解決する一方で、我々はLVLMsを使用してビデオをガイドし、テキストとの整合性を向上させることを目指す。

セクション3.3で議論したパス積分制御アプローチを活用することで、報酬関数の勾配に依存せずに逆過程を誘導することができる。式(10)の報酬モデル${\bm{r}}$が生成された動画とテキストプロンプトの整合性を評価する場合、プロンプトに対する動画出力の忠実度を向上させるのに役立つ。しかし、静止画と比較して動画の複雑さが高いため、動画とテキストの整合性に特化して訓練された大規模モデルは限られている。そのため、我々は大規模なテキスト-画像ペアのデータセットで訓練されたモデルに依存している。

しかしながら、これらの画像ベースの報酬モデルを動画のガイダンスに直接適用することには課題がある。画像ベースのモデルは動き、フロー、ダイナミクスなどの時間依存の特徴を処理するように設計されていないため、テキストと動画の整合性を評価するためにはこれらのモデルに特別な適応が必要である。アルゴリズム1に示すように、我々は画像ベースのモデルからフレームごとの報酬を合計することで動画の報酬を計算する。このアプローチにより、個々の動画フレーム内の空間情報との整合性が可能になるが、時間的なダイナミクスに関するガイダンスはまだ不足している。

我々のフレームワークは報酬モデルの微分可能性を必要としないため、動画の整合性を扱う強力なブラックボックスLVLMを十分に活用できる。LVLMは静的な画像-テキストデータで訓練されているが、多様な視覚的文脈に関する広範な事前訓練により、動きの要素を捉えることができるため、時間情報を効果的に扱うことができる。ここで、我々はLVLMの時間認識を活用してテキストと動画の整合性を評価するために、LVLMを報酬モデルとして採用する。LVLMを複数のフレームを同時に評価するように適応させるために、図2に示すように、キーフレームを1つの合成画像に結合し、同時に時間処理を可能にする。次に、システムプロンプトを通じて合成画像内のフレームの順序に関する明示的な指示を提供し、モデルがシーケンスを理解できるようにする。この効率的な適応により、LVLMはフレームを線形にリストアップするのではなく、フレーム番号を参照することでフレームの順序を認識できるようになる。その後、合成画像とテキストプロンプトの間の整合性スコアを要求する。LVLMは1から9のスケールでキーフレームとプロンプトの整合性を評価し、これが報酬関数として機能する。システム指示とクエリテンプレートの詳細は付録Aに記載されている。

勾配ベースのガイダンスとは異なり、我々の手法は計算量の多い逆伝播プロセスを回避することで、メモリ要件を大幅に削減する。これにより、サンプリングガイダンスに複数の報酬を同時に使用することが可能となり、大規模画像モデルとの相乗効果が期待できる。我々は、LVLMが時間情報を取り込むことを可能にするアンサンブル手法を探求し、大規模画像モデルと組み合わせることでビデオアラインメントのより効果的なガイダンスを支援する。なお、アンサンブル報酬を提案した同時期の研究であるDemon [yeh2024training]は、アンサンブルの相乗効果を示すことができず、時間情報を扱う必要もなかったことに留意されたい。

$n$個のビデオ$\{V_{i}\}_{i=1}^{n}$が与えられた場合、我々は複数の報酬モデルを組み合わせるための3つのアンサンブル手法を提案する：加重和、正規化和、およびコンセンサスである。

• •

  加重和： この手法は、固定の重み付け和を計算することで出力を組み合わせ、各報酬モデルの影響を制御することを可能にする。

  $$\text{Reward}_{\text{ens}}(V_{i},{\bm{r}}_{1},{\bm{r}}_{2})=\beta{\bm{r}}_{1}(V_{i})+(1-\beta){\bm{r}}_{2}(V_{i}),$$

  (11)

  ここで、$\beta\in[0,1]$は報酬モデル${\bm{r}}_{1}$と${\bm{r}}_{2}$の寄与をバランスさせる定数の重み係数である。

• •

  正規化和： この手法では、まず各報酬の出力を$[0,1]$の範囲に正規化し、その後これらの正規化された値を合計して最終的なアンサンブル報酬を得る。この正規化により、各報酬モデルのスコアが比較可能なスケールとなり、バランスの取れた寄与が可能となる。

  $$\text{Reward}_{\text{ens}}(V_{i},{\bm{r}}_{1},{\bm{r}}_{2})=\sum_{{\bm{r}}}\frac{{\bm{r}}(V_{i})-\min({\bm{r}}(V_{i}))}{\max({\bm{r}}(V_{i}))-\min({\bm{r}}(V_{i}))},$$

  (12)

  ここで、$\max({\bm{r}}),\min({\bm{r}})$は$n$報酬出力の最大値と最小値を表す。

• •

  コンセンサス： コンセンサス手法、すなわちボルダカウント[emerson2013original]では、 各報酬モデルがビデオを最良から最悪までランク付けし、そのランクに基づいてポイントを割り当てる。最上位のビデオが最大ポイントを受け取り、最下位のランクまで1ポイントずつ減少する。各ビデオ$V_{i}$の総報酬は、両方の報酬モデルからのポイントの合計である。

  $$\text{Reward}_{\text{ens}}(V_{i},{\bm{r}}_{1},{\bm{r}}_{2})=\text{points}_{{\bm{r}}_{2}}(V_{i})+\text{points}_{{\bm{r}}_{1}}(V_{i}),$$

  (13)

  ここで、$\text{points}_{{\bm{r}}}$は各ランクにポイントを割り当てる（例えば、最良のビデオに5、2番目に4、など）。

報酬関数の勾配を計算せずに逆サンプリングプロセスを誘導するために、我々は式(10)で概説されたフレームワークを利用する。しかし、式(10)における報酬関数の期待値は、PF-ODE [song2021scorebased]のような複雑な微分方程式を解くことによる広範なネットワーク関数評価(NFE)を要求する。[huang2024symbolic]に触発され、我々は代わりにDPS [chung2023diffusion]アプローチを適用し、式(8)を式(4)で定義される${\bm{z}}_{t}$の事後平均を用いて近似する。DPSに従い、我々は$p({\bm{z}}_{0:t})=\delta({\bm{z}}-{\mathbb{E}}\left[{\bm{z}}_{0}|{\bm{z}}_{t}\right])$をディラックのデルタ分布$\delta$を用いて設定できる。そうすると式(10)は以下のようになる：

この期待値をモンテカルロ法で近似するために、我々は式(4)で概説された逆SDEを通じて$n$個の異なる${\bm{z}}_{t-1}$をサンプリングする。そして最適制御を得るために$\alpha\rightarrow 0$を仮定する。この仮定の下で、式(3)は${\bm{z}}_{t-1}$の報酬を最大化する${\bm{z}}_{0|t-1}$を選択することと等価になる[huang2024symbolic]。[huang2024symbolic]が報酬関数を恣意的に重み付けし、その重みをゼロと仮定したのに対し、我々はこれを拡散プロセスをエントロピー正則化MDPとして定義することで、式(7)のエントロピー正則化項を緩和するものとして解釈する。実際には、このアプローチは最大の報酬を持つ${\bm{z}}_{t-1}$を選択することで、慎重なパラメータ探索を排除する。

アルゴリズム2で説明されているこの調整されたサンプリング戦略に従うことで、Free²Guideは報酬信号とのより良い整合性に向けて動画生成を効率的に誘導することができる。

本節では、我々の手法の有効性を示すために、定性的および定量的な結果の両方を提示する。図3の上4行は、ベースラインと報酬モデルの視覚的比較を示している。GPT-4oモデルを活用してテキストと動画の整合性を評価することで、時間的動態（例えば「下に傾ける」）および意味的表現（例えば「AとB」）に関する整合性が向上することが観察される。これらの結果は、LVLMが動画の複数のサブフレームを同時に処理することで時間情報を考慮でき、空間理解においても高い性能を発揮することを示している。

LVLMの時間的動態を考慮する能力に基づき、我々は大規模画像モデルからのガイダンスを統合するアンサンブル技術の実現可能性を検証する。このアプローチにより、LVLMは時間情報を処理し、ガイダンスの質を向上させることができる。表1では、VBenchからのテキスト整合性と一般的な動画品質評価の平均スコアを比較することで、最も効果的なアンサンブル手法を探索する。我々は、LVLMにより多くの重みを割り当てることが、モデルの貢献を均等にバランスを取る代替案よりも優れていることを発見した。これは、LVLMの役割が重要であることを示している。したがって、我々は重み付き和アンサンブルをデフォルト設定として採用する。図3の下4行もまた、アンサンブルの定性的結果を示しており、GPT-4oと他の画像報酬モデルを組み合わせることで、単独の報酬モデルでは適切に識別できない動態や複数のオブジェクトに関連する問題を正確に解決しつつ、全体的な構造を維持できることを示している。

より詳細な評価のために、表2でテキストと動画の整合性を評価する定量的結果を比較する。平均評価スコアの分析により、LVLMを組み込むことが一貫してそれを除外した構成を上回ることが明らかになった。特に、ベースライン全体で空間関係の処理において最も顕著な改善が観察された。CLIPはゼロショットでの空間推論能力が限られているため[subramanian2022reclip]、CLIPのみを使用した場合、空間関係におけるテキスト整合性のパフォーマンスが低下する。しかし、LVLMとのアンサンブルは、CLIPが空間的意味をより良く考慮するのに役立つ追加の手がかりを提供し、パフォーマンスの向上につながる。さらに、LVLMを組み込むことで、CLIPが報酬モデルとして使用される場合を除いて、時間的スタイルが向上する。LVLMは複数のフレームを一度に処理することで時間的なニュアンスを理解できるため、時間的な動きの整合性をサポートすることでパフォーマンスを向上させる。

さらに、表3で一般的な動画品質を比較する。我々は、一貫性や動きに関する明示的なガイダンスがなくても、テキストプロンプトとの整合性が動的度合いを除くほとんどの品質指標を向上させることを確認した。この指標は一貫性とトレードオフの関係にあることが多いが、LaVieモデルでGPT-4oとImageRewardをアンサンブルすることで改善できる。これは、ImageRewardがGPT-4o単独では対処できない動的度合いのパフォーマンス低下を補完し、最高のパフォーマンスをもたらすことを示唆している。