フローベースの生成モデル[34, 31, 23, 48]は、データポイント$x^{0}$とノイズ分布$x^{1}$の結合を、以下の常微分方程式（ODE）を用いて表現する：

ここで、速度$v$はニューラルネットワークによってパラメータ化される。この方程式を直接解くことは計算コストが高い。しかし、我々は順方向プロセス$x^{t}=a(t)x^{0}+b(t)x^{1}$を定義し、条件付きフローマッチング（CFM）目的関数[48]を用いて条件付きベクトル場を直接回帰することができる：

ここで、$\lambda(t)=\log\frac{\alpha(t)^{2}}{\beta(t)^{2}}$は信号対雑音比（SNR）であり、$\epsilon_{\theta}(x^{t},t)=-\frac{2}{\lambda^{\prime}(t)b(t)}(v_{\theta}(x^{t},t)-\frac{\alpha^{\prime}(t)}{\alpha(t)}x^{t})$は$v_{\theta}$によってパラメータ化される。この目的関数の最適値は、時間依存の重み付けを導入しても変わらないため、[22]に従って以下のように書き直すことができる：

ここで、CFMの場合$w(t)=-\frac{1}{2}\lambda^{\prime}(t)b(t)^{2}$であり、$x^{1}\sim\mathcal{N}(0,I)$はノイズ分布に従う。この定式化により、様々な生成モデリングアプローチを統一的に表現することができる。例えば、整流フローの順方向プロセスは$x^{t}=(1-t)x^{0}+tx^{1}$と定義され、これは$w^{\text{RF}}=\frac{t}{1-t}$に対応する。Esserら[11]は、この統一的な定式化の下で、(LDM)-Linear[44]やCosine[39]を含む一般的な手法の多くの構成をまとめた。彼らはまた、テキストから画像への生成のためのタイムステップ$t$のロジット正規分布を探索した。我々は、これらの変種をマルチモーダル生成、特に音声とテキストの文脈で探索する。なぜなら、テキストから画像への領域での結果が直接一般化できるかどうかが不明確だからである。

先行研究では、任意から任意への生成が探求されてきた。CoDi [46]は、複数のモダリティ固有のエンコーダー（例えばViT）とデコーダー（例えばStable Diffusion）をブリッジアラインメントを通じて組み合わせることで、最初にこれを達成した。しかし、その設計はクロスモダリティの相互作用が限られている。例えば、テキスト+音声から画像への生成（T+A$\rightarrow$I生成）を実現するために、単にテキスト埋め込みと音声埋め込みの加重平均を計算するだけである。Unified-IO [36]は任意から任意への生成を系列対系列問題としてモデル化し、自己回帰モデルを使用してテキストから画像やテキストから音声などの任意から任意への生成を実現している。本稿は、任意から任意のタスクにマルチモーダルフローマッチング目的関数を使用した最初の研究である。

他の研究では、テキストから画像への生成と画像からテキストへの生成の統合に焦点を当てている。Chameleon [47]は、LLMのような大規模な自己回帰モデルを使用してマルチモーダルデータを扱う。画像はVQGANトークン [50]として表現される。Transfusion [52]は類似の設計を採用しているが、画像モデリングには非自己回帰的な拡散損失を使用し、テキスト生成には自己回帰的な損失を維持している。これらの統合されたマルチモーダルモデルは成功を収めているものの、複数のモデルを組み合わせた以前の研究よりもモジュール性が低いため、かなりの訓練リソースを必要とする。OmniFlowは、各モダリティのパラメータを分離しつつ、各モダリティの特徴が各層で自由に相互作用できるようにすることで、良好なバランスを達成している。

我々は、ペアのマルチモーダルデータ空間上の結合分布 $(x_{1}^{0},x_{2}^{0},..x_{n}^{0})\sim\pi_{data}$ を考える。ここで $x_{i}\subseteq\mathbb{R}^{d_{i}}$ はモダリティ $i$ のサンプルであり、$d_{i}$ 次元のベクトルで表現される。$(x_{1}^{1},x_{2}^{1},..x_{n}^{1})\sim\pi^{1}$ を独立同分布のガウス分布とし、$x_{i}^{1}\sim\mathcal{N}(\textbf{0},\textbf{I})$ は $d_{i}$ 次元のガウスベクトルとする。経験的観測 $x^{0}\sim\pi_{data}$ および $x^{1}\sim\pi^{1}$ が与えられたとき、我々は以下の分離された、連続的な、時間微分補間を考える：

ここで、式(2)の独立条件は $x_{i}^{t_{i}}$ が $t_{i}$ が動くときのみ動くことを示している。この解釈空間上で、我々はパス $\tau:t\rightarrow(t_{1},t_{2}..t_{n});[0,1]\rightarrow[0,1]^{n}$ を用いて、これらのモダリティを含む任意から任意への生成タスクをモデル化できる。例えば、$(x_{1},x_{2},x_{3})\sim p_{data}$ が与えられたとき、$x_{1},x_{2},x_{3}$ はそれぞれ画像、テキスト、音声のモダリティである。我々はテキストから画像への(T$\rightarrow$I)タスクを、$\tau_{t2i}$ というパスとしてモデル化できる。ここで、$\tau_{t2i}(0)=(0,0,1)$ はクリーンなテキスト-画像ペアを表し、$\tau_{t2i}(1)=(1,0,1)$ はクリーンなテキストを表す。同様に、テキスト、画像、音声セットの結合サンプリングを $(0,0,0)$ から $(1,1,1)$ へのパスとしてモデル化でき、テキスト+画像から音声への($T+I\rightarrow A$)タスクを $(0,0,0)$ から $(0,0,1)$ へのパスとしてモデル化できる。

フローマッチング目的関数は、各モダリティに対して以下の形式の $n$ 個の最小二乗回帰問題を解くことになる：

ここで、$v_{i}=x_{i}^{0}-x_{i}^{1}$ であり、$v_{\theta,i}$ は $\theta$ によってパラメータ化されたニューラルネットワークである。我々は同じネットワーク $\theta$ を用いて、すべてのモダリティ $1,2..N$ の出力を予測する。外側の期待値は、我々が興味を持つ生成タスクをエンコードするパスの事前分布に対するものである。積分はパス $\tau(t)=(t_{1},...t_{n})$ 上で計算され、$ds=\frac{\partial t_{i}}{\partial t}dt$ である。具体的には、我々の実験では画像、テキスト、音声をそれぞれモダリティ1、2、3として考える。我々は整流フロー定式化に従い、$[0,1]^{3}$ における可能なすべての線形パス $\tau(t)=(t_{1},t_{2},t_{3})$ の分布を考える。これらは、テキストから画像やテキスト+画像から音声など、多様なタスクをエンコードできる。

訓練中、必ずしもすべてのデータポイントに対してすべてのモダリティが必要というわけではない。3つのモダリティのうち一部のみを含むデータポイント（例：テキスト-画像ペア）に対しては、残りのモダリティ（例：音声）の時間ステップを1に設定できる。これは完全なガウスノイズに対応する。完全な訓練アルゴリズムは以下の通りである：

推論時には、単にパスを選択し、ネットワーク予測を用いて式 5を解く。特筆すべきは、$(x_{1},x_{2})$ ペアを用いた標準的なテキストから画像への生成において、$x_{1}$ は画像、$x_{2}$ はテキスト、$x_{3}$ は欠落している音声モダリティである場合、$(1,0,1)$ から $(0,0,1)$ への線形パスを選択することは、Stable Diffusion 3 [11] で使用される標準的な単一モダリティ整流フロー（テキスト$\rightarrow$画像）定式化と等価である。

マルチモーダル生成プロセスを柔軟に制御するために、我々はクラシファイアフリーガイダンス（CFG）[16]をマルチモーダル整流フロー設定に拡張する。単一モダリティのCFGは以下のように定式化されることを思い出されたい：

ここで、$c$は条件であり、$x^{t}$は単一モーダル出力のタイムステップ$t$におけるノイズ付きの潜在変数である。我々はこの定式化を、入力モダリティ$j$から出力モダリティ$i$への影響を表す$\delta_{ij}=v_{\theta}(x_{i}^{t},x_{j}^{0})-v_{\theta}(x_{i}^{t})$を定義することで、マルチモーダル設定に拡張する。具体的には、式に含まれないモダリティの入力をガウシアンノイズに設定することで、$v_{\theta}(x_{i}^{t},x_{j}^{0})$と$v_{\theta}(x_{i}^{t})$を得る。例えば、3つのモダリティ$x_{1},x_{2},x_{3}$が与えられた場合、$v_{\theta}(x_{1}^{t},x_{2}^{0},x_{3}^{1})$を計算することで$v_{\theta}(x_{1}^{t},x_{2}^{0})$を得ることができ、$v_{\theta}(x_{1}^{t},x_{2}^{1},x_{3}^{1})$を計算することで$v_{\theta}(x_{1}^{t})$を得ることができる。なお、$x_{2}^{1},x_{3}^{1}$は単なるガウシアンノイズである。

$\delta_{ij}$の集合が与えられた場合、以下の式によってモダリティiの出力生成をガイドすることができる：

ここで、$\alpha_{ij}$はマルチモーダル設定における$\alpha$に相当する。このスキームにより、ユーザーは各入力モダリティと出力モダリティ間の相互作用を正確に制御することができる。モダリティが2つのみの場合、我々のマルチモーダルガイダンス式 9は標準的な単一モーダルのクラシファイアフリーガイダンス式 8と等価である。

我々は、Stable Diffusion 3で使用されているMMDiTアーキテクチャに対する、モジュラーで効果的な拡張であるOmniFlowを提案する。具体的には、テキスト、画像、音声からなるマルチモーダル入力が与えられた場合、まずモダリティ固有のVAEを使用してそれらを潜在変数 $x_{1},x_{2},x_{3}$ に変換する。次に、式 6で定義された順方向プロセスに従って、潜在変数にランダムなガウスノイズを加える。我々は、各モダリティのノイズスケールに相関する $t_{1},t_{2},t_{3}$ をエンコードするために3つの正弦波埋め込みを使用する。これら3つのタイムステップ埋め込みはMLPに渡され、すべてのモダリティ固有のタイムステップを表す単一の埋め込み $y$ が得られる。OmniFlowへの最終的な入力は、統一されたタイムステップ埋め込みyとノイズが加えられた潜在変数 $(x_{1},x_{2},x_{3})$ である。これら4つの入力ベクトルは $N$ 個の連続したOmni-Transformerブロックに渡される。各モダリティの最終的な隠れ状態は、線形出力層によって処理され、$v$ の予測が得られる。

各Omni-Transformerブロック内では、入力 $x_{1},x_{2},x_{3}$ はモダリティ固有の射影によって処理され、$q_{1},k_{1},v_{1},q_{2},k_{2},v_{2},q_{3},k_{3},v_{3}$ が得られる。次に、クエリ、キー、バリューを連結して $Q=\text{Concat}(q_{1},q_{2},q_{3}),K=\text{Concat}(k_{1},k_{2},k_{3}),V=\text{Concat}(v_{1},v_{2},v_{3})$ を得る。i番目のモダリティの結合注意出力 $\text{out}_{i}$ は以下のように与えられる：

ここで、$d$ は各注意ヘッドの次元である。出力はフィードフォワードネットワーク（FFN）に渡され、Omni-Transformerブロックの最終出力が得られる。DiT [41] の設計に従い、我々は統一されたタイム埋め込みを使用してqkv射影とFFNを変調する。結合注意操作の後とFFNの後にスキップ接続を追加する。

モデルアーキテクチャを 図 3 に示す。特筆すべきは、異なるモダリティが独立したパラメータを持つ異なる射影層とフィードフォワード層によって処理されることである。唯一のマルチモーダル操作は結合注意であり、それ自体には学習可能なパラメータがない。これにより、異なるモダリティの層を個別に事前学習し、微調整のために組み合わせることが可能となり、学習効率が大幅に向上する。

我々は訓練中にテキスト-画像ペア、テキスト-音声ペア、および音声-画像ペアを使用する。また、少量のテキスト-画像-音声トリプレットも使用する。テキスト-画像ペアには、COYO-700Mデータセット[5]からサンプリングした5M画像、LAION-Aesthetic-3Mサブセット[25]からサンプリングした2M画像、LAION-COCOサブセット[26]からの7M画像、CC12Mデータセット[6]の全体、およびflux-devとDALLE-3[14]によって生成された2Mの高品質画像データセットが含まれる。出力の美的品質を維持するため、LAION-Aesthetic-3Mからの画像と2Mの高品質画像に高い重みを置いている。テキスト-音声ペアには、AudioSet[12]、Audiocaps[21]、およびWavCaps[37]の全訓練セットが含まれる。音声-画像ペアには、VGGSound[7]とSoundNet[2]の訓練データが含まれる。SoundNetは2M画像を含み、VGGSoundよりも大きいが、SoundNetには不適切にリサイズされたアスペクト比の悪い画像が多く含まれているため、VGGSoundとSoundNetのサンプル重みを2:1に設定している。

テキスト-画像-音声トリプレットを生成するために、我々はBLIP[28]を使用して、VGGSoundとSoundNetの動画に対する合成キャプションを生成する。データセット構築の詳細については付録で説明する。

概略として、我々はOmniFlowをStable-Diffusion 3のテキストおよび画像モジュールで初期化する（モデル1）。まず、テキストと音声のペアを用いて別個のテキストから音声へのモデルを学習する（モデル2）。次に、モデル1とモデル2を統合し、テキスト、画像、音声モジュールを備えた結合モデルを得る（モデル3）。モデル1とモデル2は別個のテキストモジュールを持つため、統合プロセス中にそれらの重みを平均化する。最後に、セクション3.1で説明した方法を用いて、多様な任意から任意へのタスクでモデル3を微調整する。

我々のモジュラー設計により、各モジュールを個別に初期化および事前学習することができる。これにより、ゼロから学習される以前の統合マルチモーダルモデル（例えばUniDiffuser [4]）と比較して、膨大な計算コストを節約できる。我々はグローバルバッチサイズ64を使用し、モデル2とモデル3をそれぞれ100,000ステップと150,000ステップ学習する。さらなる学習および実装の詳細は付録に記載する。

我々は、ペアの生成（テキストから画像、テキストから音声）および、テキストから音声+画像（T$\rightarrow$I+A）、音声からテキスト+画像（A$\rightarrow$T+I）などの汎用的な任意から任意への生成について広範な実験を行った。テキストから画像生成については、MSCOCO-30Kベンチマーク[30]においてFID[15]およびCLIP[43]スコアを報告する。公式の実装に従い、CLIP埋め込み間のコサイン類似度を100倍している。また、GenEvalベンチマーク[13]の結果も報告する。音声生成については、AudioCapsにおいてFAD[20]およびCLAP[10]スコアを報告する。結果は16kHzのサンプリングレートで報告される。また、キャプション評価にもCLAPスコアを使用する。

我々はMSCOCO-30kの結果を表 1に、GenEvalの結果を表 2に報告する。MSCOCO-30kにおいて、我々はSDXLやSD3-Mediumなどの最先端モデルよりも低いFIDを達成した。我々のFID数値は、SDv1.5などの以前のモデルよりも高いが、SDXLやSD3などのより最近のモデルは、COCOの画像の分布と一致しない高品質のテキスト-画像ペアで学習されているため、FID数値が高くなる傾向があることに注意すべきである[42]。特筆すべきは、SD3のFIDが20.94であるのに対し、SDv1.5は11.12であるが、人間による評価ではSD3の方が優れたモデルとされていることである。SD3のリリース以前に広く最先端のオープンソースモデルとして認識されていたSDXLも、SDv1.5よりも高いFIDを示している。

CLIPスコアに関しては、OmniFlowは以前のモデルを大幅に上回る性能を示している。特に、汎用モデルであるUniDiffuserやCoDiと比較すると、それぞれ$+0.61$と$+0.85$の向上を達成し、テキストと画像の整合性が優れていることを示している。テキストから画像への能力をより適切に測定するGenEvalベンチマークでは、OmniFlowは0.62のスコアを達成し、最先端の専門モデルであるSD3-Mediumと比較しても競争力のあるスコアを示している。さらに、OmniFlowは同規模の以前のany-to-anyベースラインと比較して、CoDi（+.24）やUniDiffuser（+.19）を大幅に上回っている。より多くの画像で学習された大規模モデルと比較すると、OmniFlowはChameleon-7Bを上回り、Transfusion-7Bと競争力のある性能を達成している。

特筆すべきは、Chameleon、Transfusion、UniDiffuserが一からの学習を必要とするのに対し、OmniFlowは3000万の学習画像のみで高い性能を達成しており、我々のモジュラー設計の有効性を示している。CoDiの設計も事前学習済みのテキストから画像へのモデルを初期化に利用できるが、OmniFlowよりもかなり多くの画像で学習されているにもかかわらず、性能が劣っている。

我々はAudioCapsにおけるテキストから音声への生成結果を表 3に報告する。従来の最先端技術と比較して、OmniFlowはFADとCLAPスコアにおいて強力な性能を達成している。FADにおいてAudioLDM2を上回り（-0.11）、CLAPにおいて同等の性能を達成している（+0.001）。汎用モデルと比較すると、OmniFlowはFAD（-0.05）とCLAP（+.13）の両方の指標においてCoDiを大幅に上回っている。

我々は、マルチモーダル生成のための音声およびテキスト拡散トランスフォーマーの訓練に関する様々な手法を探索した。これは比較的未開拓の分野である。具体的には、セクション 2.1で言及した5つの定式化を探索した。これらの実験では、音声とテキストモジュールのみを持つモデル（セクション 4.2のモデル2）を使用し、50,000ステップ訓練した。テキストから音声への生成にはFADスコアを、音声からテキストへの生成にはCLAPスコアを報告する。5つの定式化の中で、rf/lognormが最も優れており、最低のFAD（1.79）と最高のCLAPスコア（.254）を示した。我々はまた、最近の文献で連続空間拡散モデルよりも優位性を示したSEDD [35]とMDLM [45]という2つの離散空間拡散モデルも探索した。具体的には、SEDDの吸収状態バージョンを使用した。これらの実験では、テキストVAEエンコーダーをトークン埋め込み層に置き換え、テキストVAEデコーダーをトークンロジットを予測する単純な線形出力層に置き換えた。また、テキスト埋め込みに対するフローマッチング損失を、SEDDとMDLMそれぞれの損失関数に置き換えた。これらは連続的な埋め込みではなく、トークンロジットに対して動作する。音声からテキストへの生成に関するCLAPスコアを報告する。連続的な代替手法に比べて顕著な優位性は見られなかった。

我々は、OmniFlowを最近の2つのany-to-any生成手法であるCoDi [46]とUniDiffuser [4]と直接比較する。定量的結果に加えて、図 6にテキストから画像への比較の定性的結果を示す。これらの例は、OmniFlowが以前のany-to-anyモデルと比較して生成品質を大幅に改善していることを示している。具体的には、最初の例（上部）において、我々のモデルは高い美的品質を維持しながらプロンプトに忠実に従い、猫の特徴とその鏡像反射の両方を正確に捉えている。対照的に、CoDiは猫の目を変更することができず、UniDiffuserは猫が鏡を見ている様子を描写できていない。同様の傾向が3番目の例でも見られる：OmniFlowは縄に結ばれた提灯を正しく配置しているが、UniDiffuserは提灯を川の上に配置している。最後に、灯台の例では、CoDiはカモメを取り入れることができず、UniDiffuserは「穏やか」という形容詞を無視し、代わりに荒々しい波と焦点の合っていない灯台のある画像を生成している。

我々の結果は、OmniFlowが画像とテキストの整合性および画像の忠実度の両面において、以前のany-to-anyモデルと比較してはるかに高い生成品質を達成していることを示している。