數據來源

數據清洗

數據標註

預訓練模型的應用

處理圖像和文本

事件流

以語言大模型為核心

掩碼語言建模（MCM）：輸入序列中的某些單詞或標記會被替換為特殊的掩碼標記，然後預訓練模型被要求根據可見的多模態上下文來預測這些被遮蔽的單詞或標記。

掩碼圖像建模（MIM）：輸入圖像中的部分區域會被隱藏或被替換為特殊的掩碼標記，然後預訓練模型被要求在僅看到其餘圖像內容與文本等其他模態信息的情況下，預測或還原被遮蔽的圖像區域。

圖像-文本匹配（ITM）：實現圖像與文本的全局對齊。通常是給定圖文對作為正樣本，隨即配對作為負樣本，然後通過二分分類方法實現圖像和文本的匹配，從而建立圖像和文字之間的語義關聯。

圖像-文本對比學習（ITC）：使用對比學習的方法將圖像和文本的相同樣本對的向量表示拉近，不同樣本對的向量表示推遠，從而增強圖像和文本之間的語義關聯性。

面向特定任務的模型微調適配：多模態大模型的權重被作為初始參數，並在任務特定數據上進行有監督的微調。通過這種微調，模型將學習針對具體任務的細粒度特徵和表示，從而適應特定任務的要求。

聯合提示學習的模型微調適配：設計契合上游預訓練任務的模板，挖掘出上游預訓練模型的潛力，讓上游的預訓練模型在盡量不需要標註數據的情況下比較好的完成下游的任務。提示學習允許在不同類型的任務上重複使用預訓練模型，只需簡單修改提示模版即可適應特定任務，從而節省了訓練時間和計算資源。

基於適配器網絡的模型微調適配：每個任務都有自己獨立的適配器層，使得模型可以在不同任務之間共享通用預訓練模型的表示，同時在每個任務上進行個性化的調整。適配器層通常由較少的參數組成，因此它們比在整個模型上進行微調更加高效。在訓練過程中，預訓練模型的參數是固定的，只有適配器層的參數被更新。