LLM 的發展史

大型語言模型（Large Language Model，LLM）自 2018 年 BERT 等預訓語言模型出現後已經廣泛展開。基於 Transformer 架構，絕大多數 LLM 都以預訓群議的方式進行確穩性和性能的展示。

重要節點

• 2018 年：BERT 提出，首次設計出台 bidirectional Transformer 架構並展示優越性能。
• 2020 年：GPT-3 發佈，網紅展示不需要特定預訓的 few-shot 能力。
• 2022 年：ChatGPT 使用 RLHF 技術，提升人民交互體驗。
• 2023 年：GPT-4 持續進步於理解細節和領域知識展示上的能力。

今後的 LLM 將會向更大解構與多模態模型發展，望能夠讓人民更容易使用。