Fonte de dados

Limpeza de dados

Anotação de dados

Aplicação de modelos pré-treinados

Processar imagens e texto

Fluxo de eventos

Com o modelo de idioma como o núcleo

Modelagem da linguagem de máscara (MCM): Algumas palavras ou marcadores na sequência de entrada são substituídos por marcadores de máscara especiais e, em seguida, o modelo pré -treinado é necessário para prever essas palavras ou marcadores mascarados com base no contexto multimodal visível.

Modelagem da imagem de máscara (MIM): Algumas áreas na imagem de entrada são ocultas ou substituídas por marcas de máscara especiais e, em seguida, o modelo pré-treinado é necessário para prever ou restaurar a área da imagem mascarada se apenas o conteúdo restante da imagem e outras informações modais, como o texto, forem vistas.

Match de texto de imagem (ITM): implemente o alinhamento global de imagens e texto. Geralmente, uma determinada imagem e par de texto é usada como uma amostra positiva, em seguida, emparelhe -a como uma amostra negativa e, em seguida, a correspondência da imagem e do texto é alcançada através de um método de classificação binária, estabelecendo assim uma relação semântica entre a imagem e o texto.

Aprendizagem de comparação de texto de imagem (ITC): use o aprendizado de contraste para desenhar representações vetoriais mais próximas dos mesmos pares de imagens e texto de amostra e empurre diferentes pares de amostras de representações vetoriais mais adiante, aumentando assim a correlação semântica entre imagens e texto.

Modelo específico da tarefa Adaptação de ajuste fino: Os pesos do modelo grande multimodal são usados ​​como parâmetros iniciais e o ajuste fino supervisionado é realizado em dados específicos da tarefa. Com esse ajuste fino, o modelo aprenderá recursos e representações de refrigerante para tarefas específicas, adaptando-se aos requisitos de tarefas específicas.

Adaptação de ajuste fino do modelo para aprendizado de prompt de conjunto: projete um modelo que se encaixe na tarefa de pré-treinamento a montante, toque no potencial do modelo de pré-treinamento a montante e permita que o modelo de pré-treinamento upstream conclua as tarefas a jusante melhor sem a necessidade de rotular dados. O aprendizado imediato permite a reutilização de modelos pré-treinados em diferentes tipos de tarefas e pode se adaptar a tarefas específicas simplesmente modificando o modelo de prompt, economizando tempo de treinamento e recursos de computação.

Adaptação Adaptadora Adaptação de ajuste fina baseado em rede: Cada tarefa possui sua própria camada de adaptador independente, para que o modelo possa compartilhar a representação de um modelo pré-treinado comum entre diferentes tarefas, enquanto faz ajustes personalizados em cada tarefa. As camadas adaptadoras geralmente são compostas por menos parâmetros, por isso são mais eficientes do que o ajuste fino em todo o modelo. Durante o treinamento, os parâmetros do modelo pré -traçado são fixos e apenas os parâmetros da camada adaptadora são atualizados.