데이터 소스

데이터 청소

데이터 주석

미리 훈련 된 모델의 적용

이미지와 텍스트를 처리합니다

이벤트 흐름

언어 모델을 핵심으로 사용합니다

마스크 언어 모델링 (MCM) : 입력 시퀀스의 일부 단어 또는 마커는 특수 마스크 마커로 대체됩니다. 그런 다음 가시성 다중 모드 컨텍스트를 기반으로 이러한 마스크 된 단어 또는 마커를 예측하기 위해서는 사방 모델이 필요합니다.

마스크 이미지 모델링 (MIM) : 입력 이미지의 일부 영역은 숨겨져 있거나 특수 마스크 마크로 교체되며, 미리 훈련 된 모델은 나머지 이미지 컨텐츠 및 텍스트와 같은 다른 모달 정보 만 볼 수 있습니다. 가려진 이미지 영역을 예측하거나 복원하십시오.

ITM (Image-Text Match) : 이미지 및 텍스트의 글로벌 정렬을 구현합니다. 일반적으로 주어진 그림과 텍스트 쌍은 양의 샘플로 사용 된 다음 음의 샘플로 페어링 한 다음 이미지와 텍스트의 일치가 이진 분류 방법을 통해 달성되어 이미지와 이미지와 사이의 의미 론적 관계를 설정합니다. 텍스트.

ITC (Image-Text Comparison Learning) : 대비 학습을 사용하여 동일한 샘플 이미지와 텍스트의 벡터 표현을 더 밀접하게 벡터 표현하고 더 멀리 다른 샘플 쌍을 푸시하여 이미지와 텍스트 사이의 의미 론적 상관 관계를 향상시킵니다.

작업 별 모델 미세 조정 적응 : 멀티 모달 대형 모델의 가중치는 초기 매개 변수로 사용되며 감독 된 미세 조정은 작업 별 데이터에서 수행됩니다. 이 미세 조정을 통해이 모델은 특정 작업에 대한 세밀한 기능과 표현을 학습하여 특정 작업의 요구 사항에 적응합니다.

공동 프롬프트 학습을위한 모델의 미세 조정 : 상류 사전 훈련 작업에 맞는 템플릿을 설계하고 업스트림 사전 훈련 모델의 잠재력을 누르고 업스트림 사전 훈련 모델이 다운 스트림 작업을 더 잘 완료하도록 허용합니다. 데이터를 레이블을 지정합니다. 프롬프트 학습을 통해 다양한 유형의 작업에서 미리 훈련 된 모델을 재사용 할 수 있으며, 프롬프트 템플릿을 수정하고 교육 시간을 절약하고 리소스를 계산하여 특정 작업에 적응할 수 있습니다.

어댑터 네트워크 기반 모델 미세 조정 적응 : 각 작업에는 고유 한 독립 어댑터 계층이 있으므로 모델이 다른 작업간에 공통 미리 훈련 된 모델의 표현을 공유하면서 각 작업에 대해 개인화 된 조정을 수행 할 수 있습니다. 어댑터 층은 일반적으로 더 적은 매개 변수로 구성되므로 모델 전체에서 미세 조정보다 더 효율적입니다. 훈련하는 동안, 사전에 걸린 모델의 매개 변수는 고정되어 있으며 어댑터 레이어의 매개 변수 만 업데이트됩니다.