原理：根據輸入和對應的標籤進行模型訓練，以預測標籤未知的新資料。

原理：利用標籤資料的資訊和未標籤的分佈式特徵進行模型訓練。

原理：從無標籤的資料中發現隱藏的模式和結構。

原理：自我監督學習是一種特殊的無監督學習方法，它利用資料本身的結構和屬性，來自動地產生標籤或特徵，從而進行模型的訓練。

原理：模型與環境交互，透過試誤學習最優策略，基於獎勵訊號訓練模型，最大化長期累積獎勵。

Transformer 是一種基於自註意力機制（self-attention Mechanism）的深度學習模型，最初是為了處理序列到序列（sequence-to-sequence）的任務，例如機器翻譯，它是由論文《Attention is All You Need》提出。由於其優秀的性能和靈活性，它現在被廣泛評估各種自然語言處理（NLP）任務。

（1）自註意力機制（Self-Attention Mechanism）自註意力機制是Transformer模型的核心。它允許模型在處理一個序列的時候，考慮序列中的所有單詞，並根據它們的重要性賦予不同的權重。這種機制使得模型能夠捕捉到一個序列中的長距離依賴關係。 （2）位置編碼（Positional Encoding）由於Transformer模型沒有明確的處理序列順序的機制，所以需要加入位置編碼來提供序列中單字的位置資訊。位置編碼是一個向量，與輸入單字的嵌入向量相加，然後輸入到模型中。 （3）編碼器和解碼器（Encoder and Decoder）Transformer模型由多層的編碼器和解碼器很好完成。編碼器用於處理輸入序列，解碼器用於產生輸出序列。編碼器和解碼器都由自註意力機制和前饋神經網路（Feed-Forward Neural）組成網路）組成。 （4）多頭注意力（Multi-Head Attention）在處理自我注意力時，Transformer模型並非只滿足於一個注意力分配，而是產生多個注意力分配，這就是所謂的多頭注意力。多頭注意力可以讓模型在多個不同的表示空間中學習輸入序列的表示。 （5）前饋神經網路（Feed-Forward Neural Network）在自註意力之後，Transformer模型會透過一個前回饋神經網路路來進一步處理序列。這個網路路由兩層全連接層和一個ReLU啟動函數組成。 （6）殘差連接和層歸一化（Residual Connection and Layer Normalization）Transformer模型中的每個子層（自註意力和前饋神經網路）都有一個殘差連接，而其輸出會通過層歸一化。這有助於模型處理深度網路中常見的峰值消失和突然爆炸的問題。

現況：海外龍頭廠商佔據壟斷地位，AI加速晶片市場呈現「一超多強」態勢，英偉達一家獨大。市場上，英偉達憑藉硬體優勢和軟體生態一家獨大，在訓練、推理端均佔據領先地位。 2022 年資料中心 AI 加速市場中，英偉達市佔率達 82%。 趨勢：目前市場以訓練晶片為主（目前各佔比50%左右），未來推理晶片可望反超（佔65%以上）。從AI晶片的運算功能來看，一開始，因大模型首先要在雲端經過訓練、調優與測試，計算的資料量與執行的任務量數以萬計，故雲端訓練需求是AI晶片市場的主流需求。而在後期，訓練好的模型轉移到端側，結合即時資料進行調優、推理運算、釋放AI功能，微調、推理需求逐漸取代訓練需求，帶動推理晶片市場崛起。預計到2025年，雲端推理與端側推理將成為市場規模成長的主要拉力，提升了逐漸下滑的AI晶片市場規模年增速。

現況：產業主要收入貢獻來源為電腦視覺類，市場競爭格局分散。 AI技術開放平台中電腦視覺類與語音技術類營收佔比達72.2%，是營收的主要貢獻來源。人臉辨識、人體辨識、OCR文字辨識、影像辨識等構成了電腦視覺類業務的主要技術能力，且電腦視覺類的技術價格相較於其他技術而言更高，應用領域也更為廣泛。現階段的市場集中度相對分散，未來，能持續投入成本、研發出強勁演算法的廠商可望佔領更多的市場份額，市場集中度亦會因此提升。 趨勢：現階段的市場集中度相對分散，未來，能持續投入成本、研發出強勁演算法的廠商可望佔領更多的市場份額，市場集中度亦會因此提升。

現況：由於資料服務門檻不高，2019年中國人工智慧基礎資料服務產業CR5佔26%市場份額，產業集中度較低，品牌資料服務商、中小資料供應商及需求方自建團隊是市場中的主要供應方。 趨勢：隨著預訓練大模型時代的到來，以及人工智慧技術在更多垂直應用場景落地深化，資料標註產業也將走向垂直化、客製化，門檻提高，市場集中度提升。從發展曲線來看，過去產業核心業務邏輯與以監督學習為主的小模型具市場有強相關性，在大模型逐步取代小模型後，傳統資料治理業務將逐步減小，市場將轉向自動化標註工具產業知識圖譜微調階段，資料服務企業業務逐步發展為資料治理應用整合。從發展趨勢來看，一方面大模型大多採用無監督學習的方式進行預訓練，模型可直接大量學習無標註的數據，此外AI輔助標註、自動化數據標註技術快速進步，行業對低質量數據標註的需求減少。另一方面，在自動駕駛、醫療醫藥、小語種、法律、金融等專業性的場景中，模型的落地效果很大程度上取決於是否有高品質標註資料進行微調。因此，資金、研發實力以及專業know-how或成為較高產業門檻，多種因素疊加影響下，產業集中度將提升。

開源通用大模型

閉源通用大模型

閉源通用大模型：採用基礎能力免費 加值服務收費的模式或為雲端服務引流模式變現。 開源通用大模型商業模式：1）訂閱會員：獲得特定的服務或特權；2）生成量：根據用戶在平台上使用或生成內容量計費；3）第三方應用插件：提供API或工具，引進開發者創建整合應用。模型廠商透過出售這些應用程式、插件或提供高級功能來獲得收入，平台從中抽成

商業模式：為有私有化部署需求的客戶提供企業專屬大模型，收費以服務內容和類型為基礎。

商業模式：1）面向開發者：作為深度學習自動化流程工具，提供Agents開發的邏輯框架，幫助開發者創建基於大語言模型的端到端應用程式或流程，目前主要是開源模式；2）面向客戶端：利用大模型的程式碼產生能力，打通語音/文字輸入層，與軟/硬體層執行層的鴻溝，實現AI自動化，目前主要作為模型附加功能收費。

商業模式：幫助客戶開發小模型，作為整合了演算法與算力的低程式碼或無程式碼平台，供用戶建置、部署和管理AI應用模型，按呼叫量或節點收費。

商業模式：大模型時代的新產物，AI應用模型效率化生產平台的升級版，提供多種基礎大模型，供用戶選擇並微調專屬大模型，按調用量收費或節點收費。