Fonte di dati

Pulizia dei dati

Annotazione dei dati

Applicazione di modelli pre-addestrati

Elabora immagini e testo

Flusso di eventi

Con il modello linguistico come core

Modellazione del linguaggio maschera (MCM): alcune parole o marcatori nella sequenza di input vengono sostituiti con marcatori di maschera speciali, quindi è necessario il modello pre -pre -pre -pre -marcatori in base al contesto multimodale visibile.

Modellazione di immagini di maschera (MIM): alcune aree nell'immagine di input sono nascoste o sostituite con marchi di maschera speciali, quindi è necessario il modello pre-addestrato per prevedere o ripristinare l'area dell'immagine mascherata se vengono visualizzati solo il contenuto di immagine rimanente e altre informazioni modali come il testo.

Image-Text Match (ITM): implementare l'allineamento globale di immagini e testo. Di solito, una determinata coppia di immagini e testo viene utilizzata come campione positivo, quindi accoppiarlo come campione negativo, quindi la corrispondenza dell'immagine e del testo viene ottenuta attraverso un metodo di classificazione binaria, stabilendo così una relazione semantica tra l'immagine e il testo.

Image-Text Confronto Learning (ITC): utilizzare il metodo di apprendimento del contrasto per avviare rappresentazioni vettoriali più vicine delle stesse coppie di campioni di immagini e testo e spingere più diverse coppie di campioni di rappresentazioni vettoriali, migliorando così la correlazione semantica tra immagini e testo.

Adattamento di messa a punto del modello specifico dell'attività: i pesi del modello grande multimodale vengono utilizzati come parametri iniziali e la messa a punto supervisionata viene eseguita su dati specifici per l'attività. Con questa messa a punto, il modello imparerà caratteristiche e rappresentazioni a grana fine per compiti specifici, adattandosi così ai requisiti di compiti specifici.

Adattamento del modello di messa a punto del modello per l'apprendimento rapido congiunto: progettare un modello che si adatta all'attività di pre-allenamento a monte, tocca il potenziale del modello di pre-allenamento a monte e consenti al modello di pre-allenamento a monte di completare meglio le attività a valle senza la necessità di etichettare i dati. L'apprendimento rapido consente il riutilizzo di modelli pre-alleniti su diversi tipi di attività e può adattarsi a compiti specifici semplicemente modificando il modello prompt, risparmiando tempo di formazione e risorse di calcolo.

Adattatore Adattatore Basato su rete Adattamento di messa a punto: ogni attività ha il proprio livello di adattatore indipendente, in modo che il modello possa condividere la rappresentazione di un modello pre-allenato comune tra compiti diversi, effettuando modifiche personalizzate su ciascuna attività. I livelli di adattatore sono generalmente composti da meno parametri, quindi sono più efficienti rispetto alla messa a punto in tutto il modello. Durante l'addestramento, i parametri del modello pretratto sono fissi e vengono aggiornati solo i parametri del livello dell'adattatore.