Google が Transformer をリリース、これが後続のすべての LLM (Large Language Model) の基本アーキテクチャになります DeepMind は RLHF (Reinforcement Learning with Human Feedback - 人間のフィードバックに基づく強化学習) を提案しました。

OpenAI、Transformer Decoder をベースにした GPT-1 (1 億 1,000 万パラメータ) をリリース

Google、下流タスクを微調整するための BERT エンコーダ (最大 3 億 5,000 万パラメータ) をリリース

OpenAI が GPT-2 をリリース (15 億パラメータ)

Google、BERT および GPT のダウンストリーム タスクと互換性のある Transformer Decoder ベースの T5 をリリース

OpenAI が GPT-3 をリリース (1,750 億パラメータ)

GoogleがFLAN(fine-tuned language net)をリリース、デコーダオンリーに移行、struction Tuning(命令の微調整)を提案

DeepMind が Gopher (2,800 億パラメータ) をリリースし、LLM 戦争に参加

Google、「認識している」と述べ、LaMDA（1,370億パラメータ、会話型プログラミング言語モデル）を再リリース

OpenAI が命令チューニングと RLHF を使用して InstructGPT をリリース

Google が PaLM (5,400 億パラメータ、デコーダのみ、Pathways 言語モデル) をリリースし、魔法のような思考の連鎖を提案

DeepMind が Sparrow をリリース、RLHF と Retrival に参加 (Google 検索)

2022 年 11 月 30 日に、OpenAI は ChatGPT (Chat Generative Pre-trained Transformer) をリリースしました。ChatGPT は、人工知能技術によって駆動される自然言語処理ツールであり、人間の言語を学習して理解することで会話を行うことができます。チャット コンテキストと対話し、真にチャットして人間のようにコミュニケーションをとり、電子メールの作成、ビデオ スクリプト、コピーライティング、翻訳、コーディング、論文執筆などのタスクを完了することもできます。

ChatGPT はリリースからわずか 5 日で登録ユーザー数が 100 万人を突破しました。

ChatGPT の月間アクティブ ユーザー数は 1 億人を超え、史上最も急速に成長している消費者向けアプリケーションとなっています。

GoogleがLaMDAに基づくBardのリリースを正式に発表