Flow Matching 與相關生成模型資源整理
以下整理 conditional flow matching、各種 flow matching 類方法,以及與之相近的 mean/probability flow、diffusion/score-based 模型資源。內容除了「連結 + 小結」,也補上核心數學形式與更深入的比較重點,方便閱讀 references 後建立整體心智模型。
Flow Matching 與 Conditional Flow Matching
Flow Matching for Generative Modeling (Lipman et al.)
連結:https://arxiv.org/abs/2210.02747
小結:提出以監督學習直接回歸連續流場(ODE 速...
LLM 的發展史
LLM 的發展史
大型語言模型(Large Language Model,LLM)自 2018 年 BERT 等預訓語言模型出現後已經廣泛展開。基於 Transformer 架構,絕大多數 LLM 都以預訓群議的方式進行確穩性和性能的展示。
重要節點
2018 年:BERT 提出,首次設計出台 bidirectional Transformer 架構並展示優越性能。
2020 年:GPT-3 發佈,網紅展示不需要特定預訓的 few-shot 能力。
2022 年:ChatGPT 使用 RLHF 技術,提升人民交互體驗。
2023 年:GPT-4 持續進步於理解細節和領域知識展示上的能力。
今後的 LLM 將會向更大解構與多模態模型發展,望能夠讓人民更容易使用。