Google發表 Transformer，成為後來所有LLM（大型語言模型 - Large Language Model）的基礎架構 DeepMind提出RLHF（Reinforcement Learning with Human Feedback - 基於人類回饋的強化學習）

OpenAI發布基於Transformer Decoder的 GPT-1（1.1億參數）

Google發布編碼器的 BERT（最大3.5億參數），用於微調下游任務

OpenAI發布 GPT-2（15億參數）

Google發布基於Transformer Decoder的T5，相容於BERT和GPT的下游任務

OpenAI發布GPT-3（1750億參數）

Google發佈 FLAN（微調語言網路 -fine-tuned language net），轉向decoder-only，提出 Instruction Tuning（指令微調）

DeepMind發表 Gopher（2800億參數），加入LLM大戰

Google再次發布LaMDA（1370億參數，對話程式語言模型），並稱其具有“意識”

OpenAI發布 InstructGPT，用到Instruction Tuning和RLHF

Google發表 PaLM（5,400億參數，decoder-only，Pathways Language Model），提出神奇的思維鏈

DeepMind發布 Sparrow，加入RLHF和Retrival（Google搜尋）

2022年11月30日，OpenAI發布ChatGPT，ChatGPT（Chat Generative Pre-trained Transformer），ChatGPT是人工智慧科技驅動的自然語言處理工具，它能夠透過學習和理解人類的語言來進行對話，還能根據聊天的脈絡互動，真正像人類一樣來聊天交流，甚至能完成撰寫郵件、視訊腳本、文案、翻譯、程式碼，寫論文等任務。

ChatGPT發布後的短短5天，註冊用戶數就超過100萬。

ChatGPT的月活用戶已突破1億，成為史上成長最快的消費者應用。

Google 官方發佈根據LaMDA的 Bard