マインドマップギャラリー AI の大規模モデルと開発機会のマインド マップの最初の紹介
AI ラージ モデルの基本的な理解を確立し、基本テクノロジーの重要な核心と時代のチャンスを理解します。皆さんのお役に立てれば幸いです。
2023-12-02 22:21:21 に編集されましたAI の大規模モデルと開発の機会の最初の紹介
1. AI大型モデルとは何ですか?
AIラージモデルとは、「人工知能事前トレーニングラージモデル」の略称で、「事前トレーニング」と「大規模モデル」の2つの意味を含みます。この2つを組み合わせることで、新しい人工知能モデル、つまりモデルは大規模なデータセットでトレーニングされます。事前トレーニングが完了した後は、微調整の必要がなく、または少量のデータでの微調整のみが必要であり、さまざまなアプリケーションを直接サポートできます。
このうち、大規模モデルの事前トレーニングは、基礎知識をすべて理解し、「一般教養」を修了した大学生、さらには博士課程の学生のようなものです。ただし、タスクをより適切に完了するには、練習とフィードバック後の微調整が必要です。
また、大規模なAIモデルは汎用性や大規模複製など多くの利点があり、AGI(汎用人工知能)実現の重要な方向性となっています。
現在の大規模 AI モデルには、自然言語処理 (NLP)、コンピューター ビジョン (CV) などのほか、統合および統合されたマルチモーダル大規模モデルが含まれます。たとえば、ChatGPT は、自然言語処理の分野における画期的なイノベーションであり、「人間の言語」を理解して話します。以前の自然言語処理モデルを超え、機械翻訳、質問応答、テキスト生成など、さまざまな自然言語処理タスクを処理できます。
簡単に言うと、大規模モデルは、コンピューターが入力データをよりよく理解して処理するのに役立つ大量の情報と知識を保存する非常に大規模な知識ベースと考えることができます。大規模モデル内の各ニューロンとパラメーターは一緒になって、入力データを効率的に処理および変換できる強力なネットワークを形成します。
現在、Baidu、Alibaba、Tencent、Huawei などの国内企業が、それぞれのモデル シリーズに独自の焦点を当てた大規模な AI モデルを開発し、いくつかのモデルが発売され、いくつかのアプリケーションが実装されています。
Baidu は長年にわたって AI を導入しており、大規模なモデルに関して一定の先行者利益を持っています。現在、Wen Xin Yi Yan の API 呼び出しサービスのテストに応募した企業の数は 65,000 社を超えています。大規模な産業モデルに関しては、State Grid、上海浦東開発銀行、Geely、TCL、People's Daily Online、Shanghai Dictionary Publishing House などのケーススタディで使用されています。
Alibaba Tongyi の大規模モデルは、論理演算、コーディング機能、音声処理に優れており、旅行シナリオ、オフィス シナリオ、ショッピング シナリオ、生活シナリオで広く使用されている豊富なエコシステムと製品ラインを持っています。
Tencent の Hunyuan 大規模モデルは、広告やゲーム制作に使用されており、同グループは現在、会話型インテリジェント アシスタントを研究しており、実用化後は QQ と WeChat のエコロジーを最適化することが期待されています。
ファーウェイはBサイドと緊密に協力しており、将来のアプリケーションは主にToBになることが予想されます。さらに、ファーウェイはアルゴリズムと計算能力において豊富な資源を持っています。たとえば、「Pengcheng Cloud Brain II」は世界IO500ランキングを5回連続で受賞しており、強力なAIコンピューティング能力とデータスループット能力を備えており、Huawei Cloud ModelArtsプラットフォームは大量のデータを効率的に処理する能力を備えており、40TBのテキストデータ処理を完了します。 Pangu データモデルは、2021 年 4 月には正式にリリースされました。現在の Pangu の大規模モデル トレーニング テキスト データは最大 40 TB (GPT-3 は 45 TB) です。
2. AI大型モデルの技術ポイント
大規模なモデルは通常、数億から数十億のパラメータで構成されており、より高い予測精度と汎化機能を実現するには、大量のデータに基づいてトレーニングおよび最適化する必要があります。業界関係者は、大規模モデルは「ビッグデータ、大きなコンピューティング能力、強力なアルゴリズム」の組み合わせの産物であるとよく言います。産業発展の鍵もこの3点にあります。
ビッグデータ
データはアルゴリズムのトレーニングの栄養となります。初期段階では、モデルの理解能力を形成するために大量のデータをモデルに供給する必要があります。中期以降の段階で供給されるデータの品質がモデルの精度を決定します。 。
GPT モデルを例に挙げると、ChatGPT のパフォーマンスが向上する理由の 1 つは、教師なし学習に基づいて高品質の実データが提供されることです。
ただし、機械学習データには事前に手動でラベルを付ける必要があります。ラベル付けとは、一次データを処理して機械が認識できる情報に変換することです。大量のトレーニングを行い、できるだけ多くのシナリオをカバーした後でのみ、適切なモデルを取得できます。
現在、ほとんどのトレーニング データ ソースは公開データです。たとえば、アラン D. トンプソン博士 (メンサ インターナショナルの元会長、人工知能の専門家およびコンサルタント) の記事によると、リストされている大規模モデルのデータ セットには、Wikipedia、書籍、ジャーナル、Reddit リンク、Common Crawl およびその他のデータセットなど。
大量のデータがある一方で、大規模なモデルのトレーニングにはデータの豊富さと信頼性も重要です。トレーニングの中期以降では、データの品質が高いほどモデルの精度が向上します。例えば:
事実に基づくデータが増えると、モデルの精度が向上します。
中国語がより流暢であれば、モデルの中国語理解能力が向上します。
より正確な垂直データにより、さらに細分化されたフィールドでモデルの構築を完了できます。
さらに、高品質のフィードバック データによりモデルのパフォーマンスを向上させることができます。たとえば、ChatGPT は人間強化学習 RLHF を使用して、より専門的な質問、指示、人間によるフィードバックの分類などを通じて人間の言語ロジックに対するモデルの理解を強化します。
国内の大規模モデルについては、依然として努力が必要な 2 つの課題があります。1 つは、国内のインターネット コーパスの品質が比較的低く、高品質の中国語の注釈データ セットがほとんど手作業で注釈付けされており、特定の注釈の技術的詳細とトレーニングが不足していることです。のアノテーターは依然として国内のテクノロジー ビジネスの探索を必要としています。
大きなコンピューティング能力
データは家の基礎を提供します。どれだけ高く建てられるかはコンピューティング能力によって決まります。コンピューティング能力とは、コンピュータ システムのコンピューティング能力、つまり、データを処理し、コンピューティング タスクを実行する能力です。
AI の分野では、ディープ ニューラル ネットワークは、特に大規模なモデルや複雑なタスクの場合、多くの計算とトレーニングを必要とし、サポートするためにより多くのコンピューティング能力を必要とします。
GPT ラージ モデルを例にとると、GPT、GPT-2、GPT-3 (現在のオープン バージョンは GPT-3.5) のパラメータ数が 1 億 1,700 万から 1,750 億に増加するにつれて、事前トレーニング データの量も増加します。 5GB から 45TB に増加します。
したがって、計算能力が向上すると、モデルのトレーニング速度と効率が向上し、モデルの精度とパフォーマンスも向上します。
大手メーカーがトレーニングと推論のコンピューティング能力要件をサポートできるかどうかを測定するには、さらに 2 つの点を考慮する必要があります。それは、資金が十分かどうか、どれくらいの期間で十分であるか、そして会社の戦略がどれくらいの期間であるかです。
ChatGPTを再現するには、長期的な投資戦略と十分な資本予算が必要な要素です。
Baidu を例に挙げると、2017 年に「All IN AI」が提案されて以来、昨年の設備投資は 181 億元に達し、同期間の営業キャッシュ フローは 261 億 7000 万元に達しました。 2022年末現在、設備投資に使用された同社の現金および現金同等物の残高は531億6,000万元で、これは長期的には十分な資金である。
さらに、コンピューティングパワーインフラストラクチャは実際にはチップです。チップのパフォーマンスが優れているほど、大規模なモデルの処理能力も速くなります。これが、計画をサポートするために資金と戦略が必要となる理由です。
強力なアルゴリズム
アルゴリズムは、特定の計算または操作を実行するために使用できる一連の問題解決手順とルールです。さまざまな問題を解決するためのコンピューター プログラムの設計と実装によく使用されます。
アルゴリズムの品質は、プログラムの効率とパフォーマンスに直接影響します。たとえば、ChatGPT のアルゴリズムの画期的な点は、具体的な理論ではなく、アイデアにあります。これは、複製の難しさの 1 つとなっている「材料」ではなく、「レシピ」の革新です。
アルゴリズムの品質を判断するにはどうすればよいですか?主なポイントは、空間の複雑さ、時間の複雑さ、ロバスト性の 3 つです。
時間は、アルゴリズムがタスクを完了するまでにかかる時間です。
スペースとは、アルゴリズムがタスクを完了するために必要なメモリ スペースを指します。
堅牢性とは、異常なデータやノイズに対するアルゴリズムの許容度を指します。
通常、時間計算量と空間計算量が小さいほど、アルゴリズムの効率は高くなります。優れたアルゴリズムは、堅牢性が高く、さまざまな状況下でタスクを正しく実行でき、明確な情報を出力できる必要があります。
実際のアプリケーションでは、特定のニーズやシナリオに応じて最適なアルゴリズムを選択し、上記の要素を考慮してバランス ポイントを見つけることができます。
たとえば、GPT は Transformer モデルに基づいて開発されており、従来のリカレント ニューラル ネットワーク (RNN) や畳み込みニューラル ネットワーク (CNN) と比較して、Transformer は並列処理が優れており、長いテキストのトレーニング時間を短縮できます。 -コスト、規模、効率の間でオフ。
国内の大型モデルの観点から見ると、アルゴリズム、データ、計算能力の壁は乗り越えられないわけではなく、人材の流れ、時間の経過、研究の進歩により、大型モデルのパフォーマンスは徐々に収束していくものと考えられます。
産業アプリケーションの深化とシーンの複雑さの増加に伴い、データの爆発的な増加、アルゴリズムの急速な反復、コンピューティング能力の消費量の指数関数的な増加が起こり、これらすべてが人工的なアプリケーションの開発に新たな要件をもたらしています。知能。
3. AI大型モデル時代のチャンス
将来的には、従来の「一般知識、プロセス作業能力などの習得」が徐々に隠れた下位要件となり、より明示的で上位の要件は「価値を創造し、ツールを効率的に使用する能力」となるでしょう。問題解決。"
一般の人々にとって、大型 AI モデルがもたらす機会は、短期的な投資機会と長期的なキャリア機会の 2 つに大別できます。
短期的には、テンセント・ホールディングス、アリババ、バイドゥなど、大型モデルの分野で技術的余裕を持つ企業がより有利になるだろう。同時に、iFlytek、Danghong Technology、Jebsen Holdings、BlueFocus、Fengyuzhu、Zhewen Internet など、ビデオ、マーケティング、読書、およびその他の関連部門で主導権を握っている主要ターゲットに注目することができます。
長い目で見ると、Lu Qi 氏のスピーチの言葉を借りれば、「この時代 (大型モデルの時代) は、ゴールド ラッシュの時代によく似ています。当時、金を採掘するためにカリフォルニアに行ったとしたら、多くの人々がゴールド ラッシュの時代に似ています。」人は死ぬだろうが、スプーンやシャベルを売る人はいつでもお金を稼ぐことができる。」
人間のテクノロジーによって推進される起業家精神に基づくイノベーションは、主に 3 種類の機会 (基礎となるテクノロジー、ニーズを満たす、世界を変える) に分類できます。
1 つ目は、最も低いレベルのデジタル テクノロジーです。デジタル化は人間の延長です。GPT を含め、現在リリースされている大型モデル AI はすべてテクノロジーに基づいています。 Nvidia や Cambrian などのチップ企業も、基礎となるテクノロジーのためのハードウェア設備を提供しています。フロントエンド、バックエンド、機器、チップなど、自分に合った機会を探すことも、このポジションのスキルを向上させるために熱心に取り組むこともできます。
2つ目はテクノロジーを活用してニーズを解決することです。需要は 2 つの方向に分けることができます。C にとって、AI はすべての人のエンターテイメント、消費、ソーシャル ネットワーキング、コンテンツなどを解決するために使用でき、人々がより良い生活を送るのに役立つすべてのニーズを満たす必要があります。企業のコスト削減と成長効果の向上を支援します。この部分の機会は主に人々と接触し、ユーザーのニーズをより深く理解し、より良い製品やエクスペリエンスを提供することです。
3つ目は世界を変えることです。たとえば、エネルギー技術、変換エネルギー、ライフサイエンス、新しい宇宙などです。たとえば、マスク氏はロボット、ブレイン・コンピューター・インターフェースなど、さらにはメタバースやWeb 3にも取り組んでいる。
Lu Qi 氏は講演の中で、大規模モデルに関する自身の見解を述べました。大規模で複雑なモデル構造は、より広い応用分野とより多くの機会を意味しますが、それらは慎重に検討し、最初に考えてから、アクション指向を使用する必要があります。
一般の人々にとっての機会は、大規模なモデルの開発と非常に似ています。長期的な開発はテクノロジーによって推進される必要がありますが、実装中のニーズの解体、分析、整理、制御がすべてです。できることはやって、あとは未来に任せましょう!