以下整理 conditional flow matching、各種 flow matching 類方法,以及與之相近的 mean/probability flowdiffusion/score-based 模型資源。內容除了「連結 + 小結」,也補上核心數學形式與更深入的比較重點,方便閱讀 references 後建立整體心智模型。

Flow Matching 與 Conditional Flow Matching

Flow Matching 變體與近似方法

Mean / Probability Flow 與 Diffusion / Score-based

小提示:如何建立「Flow Matching × Diffusion」心智地圖

  1. Flow Matching:用監督式回歸學「速度場」。
  2. Diffusion / Score-based:用噪聲擾動學「score/梯度」,透過 SDE/ODE 生成。
  3. Probability/Mean Flow ODE:把 stochastic 擴散轉成 deterministic ODE,便於與 flow matching 互相理解與轉換。

深度比較:假設、目標、可解釋性與數學差異

面向 Flow Matching Conditional Flow Matching Rectified Flow Diffusion / Score-based Probability Flow ODE
目標 回歸速度場 $v_\theta$ 回歸條件速度場 $v_\theta(\cdot,c)$ 回歸簡化速度場 回歸 score $\nabla \log p_t(x)$ 或噪聲 以 score 定義 ODE 速度場
路徑假設 自由選擇 coupling path 條件 coupling path 線性插值路徑 由固定噪聲 schedule 由 SDE 對應 ODE
損失形式 $|v_\theta - \dot{x}_t|^2$ $|v_\theta(\cdot,c) - \dot{x}_t|^2$ $|v_\theta - (x_1-x_0)|^2$ $|\epsilon_\theta - \epsilon|^2$ 或 score-matching score 對應 ODE drift
取樣方式 ODE 解 ODE 解(條件) ODE 解 SDE/ODE 解 ODE 解
直覺 直接學生成動態 直接學條件生成動態 用最簡單動態近似 噪聲擾動再去噪 把隨機過程投影到平均流

讀 references 時可對照的關鍵問題

  1. 路徑選擇:是否明確定義 coupling path?是否依賴 OT/bridge 或簡單插值?
  2. 損失設計:是否等價於某種 score-matching 或 likelihood 變分界?
  3. 取樣成本:ODE/SDE 的解算步數如何?可否 deterministic?
  4. 條件化機制:條件輸入是作為 network conditioning 還是改變路徑分佈?
  5. 理論保證:收斂、可逆性、或 path consistency 是否被證明?

驗證方式:如何確認數學是否「講得通」

數學洞見(Mathematical Insight)

  1. Flow matching 是「直接學動力學」,diffusion 是「間接學密度梯度」
    flow matching 以 $v_\theta(x,t)$ 直接回歸速度場;而 diffusion 以 score $\nabla_x \log p_t(x)$ 推導反向 dynamics。兩者都導向 ODE 取樣,但路徑假設與學習訊號不同。
  2. Probability flow ODE 是兩派的橋樑
    score-based 模型的 probability flow ODE 把 stochastic 擴散轉成 deterministic ODE,使其與 flow matching 的 ODE 形式直接對齊。
  3. 路徑假設決定可學性與偏差
    線性插值(Rectified Flow)通常帶來更穩定的目標,但可能偏離最優 transport;OT/bridge 的路徑更理論嚴謹,但實作與估計成本較高。
  4. loss 的選擇反映估計策略
    flow matching 的 $|v_\theta - \dot{x}t|^2$ 是對「速度場」的 supervised regression;score-based 的 $|\epsilon\theta - \epsilon|^2$ 是對「噪聲/score」的回歸,等價於某種 score matching。

可改進方向(Future Work / Ideas)

  1. 更好的路徑設計:探索介於線性插值與 OT/bridge 之間的「可學習路徑」,兼顧穩定性與理論一致性。
  2. 更低成本的 ODE/SDE 解法:研究自適應步長、distillation 或 closed-form 近似,降低取樣成本。
  3. 一致性/可逆性理論:加強對 flow matching 的可逆性、收斂與誤差累積的理論界限。
  4. 條件化與多模態擴展:更系統性地將 condition 融合到 coupling 或 path 設計中,避免僅是「把條件餵進網路」的表層方式。
  5. 評估指標標準化:建立跨方法一致的比較基準(例如速度場誤差、軌跡偏移、采樣時間),讓方法比較更公平透明。

若你想要我根據特定方向(例如:影像生成、語音、圖結構、或 OT/bridge 方向)再補充更專門的論文與實作 repo,可以告訴我想關注的應用與研究背景。