Source de données

Nettoyage des données

Annotation des données

Application de modèles pré-formés

Traiter les images et le texte

Flux d'événement

Avec le modèle de langue comme noyau

Modélisation du langage du masque (MCM): Certains mots ou marqueurs dans la séquence d'entrée sont remplacés par des marqueurs de masque spéciaux, puis le modèle prétrainé est nécessaire pour prédire ces mots ou marqueurs masqués en fonction du contexte multimodal visible.

Modélisation de l'image du masque (MIM): Certaines zones de l'image d'entrée sont masquées ou remplacées par des marques de masque spéciales, puis le modèle pré-formé est nécessaire pour prédire ou restaurer la zone d'image masquée si seulement le contenu d'image restant et d'autres informations modales telles que le texte sont visibles.

Match-texte d'image (ITM): Implémentez l'alignement global des images et du texte. Habituellement, une image d'image et de texte donnée est utilisée comme un échantillon positif, puis la jumeler comme un échantillon négatif, puis la correspondance de l'image et du texte est réalisée grâce à une méthode de classification binaire, établissant ainsi une relation sémantique entre l'image et le texte.

Apprentissage de comparaison de texte d'image (ITC): Utilisez l'apprentissage du contraste pour rapprocher les représentations vectorielles des mêmes paires d'images et de texte, et pousser différentes paires d'échantillons de représentations vectorielles plus loin, améliorant ainsi la corrélation sémantique entre les images et le texte.

Modèle spécifique à la tâche Adaptation de réglage fin: Les poids du grand modèle multimodal sont utilisés comme paramètres initiaux et le réglage fin supervisé sont effectués sur des données spécifiques à la tâche. Avec ce réglage fin, le modèle apprendra des fonctionnalités et des représentations à grain fin pour des tâches spécifiques, s'adaptant ainsi aux exigences de tâches spécifiques.

Adaptation à réglage fin du modèle pour l'apprentissage rapide conjoint: Concevoir un modèle qui correspond à la tâche de pré-formation en amont, appuyez sur le potentiel du modèle de pré-formation en amont et permettez au modèle de pré-formation en amont de terminer mieux les tâches en aval sans avoir besoin d'étiqueter les données. L'apprentissage rapide permet la réutilisation des modèles pré-formés sur différents types de tâches et peut s'adapter à des tâches spécifiques simplement en modifiant le modèle rapide, en économisant du temps de formation et en information.

Adaptation d'adaptation basée sur le modèle basé sur le réseau: chaque tâche a sa propre couche d'adaptateur indépendant, afin que le modèle puisse partager la représentation d'un modèle pré-formé commun entre les différentes tâches, tout en effectuant des ajustements personnalisés sur chaque tâche. Les couches d'adaptateur sont généralement composées de moins de paramètres, ils sont donc plus efficaces que les réglages fins dans le modèle. Pendant la formation, les paramètres du modèle pré-entraîné sont fixes et seuls les paramètres de la couche d'adaptateur sont mis à jour.