Datenquelle

Datenreinigung

Datenannotation

Anwendung vorgebildeter Modelle

Prozessbilder und Text verarbeiten

Ereignisfluss

Mit dem Sprachmodell als Kern

Mask -Sprachmodellierung (MCM): Einige Wörter oder Markierungen in der Eingabebestellsequenz werden durch spezielle Maskenmarker ersetzt, und dann ist das vorab genannte Modell erforderlich, um diese maskierten Wörter oder Markierungen auf der Grundlage des sichtbaren multimodalen Kontextes vorherzusagen.

Maskenbildmodellierung (MIM): Einige Bereiche im Eingabebild sind versteckt oder durch spezielle Maskenmarkierungen ersetzt, und dann ist das vorgebrachte Modell erforderlich, um den maskierten Bildbereich vorherzusagen oder wiederherzustellen, wenn nur der verbleibende Bildinhalt und andere Modalinformationen wie Text angezeigt werden.

Bild-Text-Übereinstimmung (ITM): Implementieren Sie die globale Ausrichtung von Bildern und Text. Normalerweise wird ein bestimmtes Bild und ein bestimmtes Textpaar als positive Stichprobe verwendet und dann als negatives Beispiel gekoppelt, und dann wird die Übereinstimmung des Bildes und des Textes durch eine binäre Klassifizierungsmethode erreicht, wodurch eine semantische Beziehung zwischen dem Bild und dem Text hergestellt wird.

Bild-Text-Vergleichslernen (ITC): Verwenden Sie die Kontrastlernenmethode, um genauere Vektordarstellungen derselben Beispielpaare von Bildern und Text zu zeichnen und verschiedene Beispielpaare von Vektordarstellungen weiter zu schieben, wodurch die semantische Korrelation zwischen Bildern und Text verbessert wird.

Aufgabenspezifische Modellfeinabeinstellanpassung: Die Gewichte des multimodalen großen Modells werden als anfängliche Parameter verwendet und die beaufsichtigte Feinabstimmung wird an aufgabenspezifischen Daten durchgeführt. Mit dieser Feinabstimmung lernt das Modell feinkörnige Merkmale und Darstellungen für bestimmte Aufgaben, wodurch sich die Anforderungen bestimmter Aufgaben anpasst.

Feinabstimmungsanpassung des Modells für das gemeinsame Lernen für das gemeinsame Eingangsbereich: Entwerfen Sie eine Vorlage, die zur vorgelagerten Vorausbildung passt, auf das Potenzial des vorgelagerten Vorbildungsmodells tippen und das vorgelagerte Vor-Training-Modell ermöglichen, um nachgeschaltete Aufgaben besser zu erledigen, ohne dass Daten kennzeichneten. Das schnelle Lernen ermöglicht die Wiederverwendung von vorgeborenen Modellen für verschiedene Arten von Aufgaben und kann sich an bestimmte Aufgaben anpassen, indem sie einfach die schnelle Vorlage ändern, die Trainingszeit sparen und Ressourcen berechnen.

Adapter-netzwerkbasiertes Modell Fine-Tuning-Anpassung: Jede Aufgabe verfügt über eine eigene unabhängige Adapterschicht, so dass das Modell die Darstellung eines gemeinsamen vorgebildeten Modells unter verschiedenen Aufgaben teilen kann und gleichzeitig personalisierte Anpassungen für jede Aufgabe vornimmt. Adapterschichten bestehen normalerweise aus weniger Parametern, daher sind sie effizienter als die Feinabstimmung im gesamten Modell. Während des Trainings werden die Parameter des vorgenannten Modells festgelegt, und nur die Parameter der Adapterschicht werden aktualisiert.