Cogvideo

Principe de mise en œuvre: Cogvideo est un modèle de génération de vidéo de texte à grande échelle basé sur la méthode d'autorégression. Pour et contre: Avantages: Ce modèle prend en charge l'invite chinoise. Inconvénients: il y a des restrictions sur la longueur de la séquence d'entrée.

Défi de la convivialité des produits

Vitesse de production vidéo, commodité, intégration du contenu et interactivité

Défi stable et contrôlable

Contrôle de durée, contrôle du contenu, utilisation et formation de données limitées, résultats de génération et ajustement des processus

Copyright matériel, confidentialité et sécurité, éthique

Défis d'application de conformité

Migration de style vidéo

● Expression artistique des travaux de cinéma et de télévision ● Conversion du style publicitaire

● Optimisation des performances du film et de la télévision / publicitaire ● Réparation de vieux films et de données d'image précieuses ● Amélioration de la surveillance de la sécurité et de la qualité d'image médicale

Amélioration vidéo

● Scènes virtuelles, personnages et génération d'effets spéciaux ● Génération de bande-annonce de film ● Génération d'annonces vidéo ● Structure dynamique du corps humain et génération de modèles de maladies

Génération de vidéos

● Édition post-production et traitement des effets spéciaux du film et de la télévision ● Édition de matériel vidéo court et ajout d'effets spéciaux

Édition vidéo

● Surveillance de la sécurité et avertissement précoce, gestion intelligente du trafic ● Génération d'étiquettes de contenu marketing, analyse des sentiments ● Analyse du film et de la télévision

Reconnaissance de contenu vidéo

● Effet de transition entre les cadres ● Continuité de l'action ● La douceur de l'image ● Commutation fluide des scènes

Continuité

● haute résolution ● Le réalisme de la scène et des personnages ● Détails d'image clairs et riches ● La logique du contenu vidéo

● La longueur vidéo est variable et contrôlable ● Pertinence pour une description donnée ● Les attributs vidéo et les éléments vidéo sont contrôlables et modifiables

Contrôleur

Réalisme

Principes de la mise en œuvre du modèle grand public et des avantages et des inconvénients

● Modèles grand public:

Imagen-video

Génération

Principe de mise en œuvre: Imagen-video est un modèle vidéo basé sur des conditions de texte développées sur la base du modèle Imagen. Pour et contre: Avantages: Les vidéos générées ont une fidélité, une contrôlabilité et des connaissances mondiales élevées, soutiennent la génération de diverses vidéos et animations de texte dans divers styles artistiques et ont la capacité de comprendre les objets 3D. Inconvénients: la méthode de formation parallèle utilisée par le modèle en cascade nécessite des ressources informatiques élevées.

Principe de mise en œuvre: Le modèle GEN apprend les fonctionnalités d'image texte via le modèle de diffusion potentiel et peut générer de nouvelles vidéos basées sur une invite de texte ou une image de référence donnée, ou entraîner des images pour effectuer une conversion de style vidéo basée sur la vidéo originale. Pour et contre: Avantages: Ce modèle a de bonnes performances dans le rendu vidéo et la conversion de style, et la vidéo générée a une forte capacité de rétention artistique et de la structure d'image, afin qu'il puisse mieux s'adapter aux exigences de personnalisation du modèle. Inconvénients: le modèle GEN a encore des limites dans la stabilité des résultats générés.

● Modèles représentatifs nationaux et étrangers:

Est-ce open source?

Organisation

Introduction

Modèle

Pas open source

Google

Le modèle de génération de vidéo texte basé sur le modèle de diffusion présente les avantages de la vitesse de génération, de la bonne qualité vidéo et de la capacité de comprendre une variété de styles artistiques et d'objets 3D.

Vidéo d'imagen

Make-a-video

Méta

Pas open source

Aucune donnée de texte de texte n'est requise, utilisez la formation des données d'image texte pour réaliser la génération de vidéos, ce qui améliore le temps et la résolution spatiale des vidéos générées

Nuwa-xl

Institut de recherche Microsoft

Déjà ouvert sur github

Le modèle de génération de vidéos ultra-longs basé sur la diffusion sur l'architecture de diffusion a une bonne qualité vidéo et une bonne continuité, et peut considérablement réduire le temps d'inférence

Cogvideo

Tsinghua et Zhiyuan

Déjà ouverte Source sur HuggingFace

Modèle pré-formation de pré-formation de texte de texte à grande échelle, la stratégie de formation hiérarchique à taux multiples peut mieux aligner le texte et les vidéos, et les données de formation à grande échelle améliorent considérablement la qualité des vidéos générées.

S'opportuner Étape du modèle de diffusion

Gan / vae Basé sur le flux Étape de génération

Coutures d'image Étape de génération

vidéo générer

● Découplage à travers le premier plan et le fond, la segmentation du mouvement et du contenu Solutions, traduction d'images et autres méthodes pour améliorer l'effet de génération ● La qualité vidéo est toujours faible

● Modèle autorégressif: génération de prédiction de cadre, bonne cohérence, mais faible efficacité et les erreurs sont faciles à accumuler ● Modèle de diffusion: migrez l'architecture d'image littéraire vers la génération de vidéos, avec une haute fidélité, mais une consommation de ressources élevées

● Couture d'image statique pour former un flux vidéo ● Simple et facile à utiliser, mais une faible qualité vidéo et une mauvaise cohérence

Production de scènes de jeux de films et de télévision, de publicité, de personnes numériques

Effets de post-production visuels

Édition de films et de télévision, changement de visage vidéo

Applications typiques

Transformateur-TTS

Principe de mise en œuvre: Transformateur-TTS est un modèle de génération de parole de bout en bout qui combine la structure du transformateur et l'applique au système TTS. Plus précisément, le transformateur-TTS améliore l'efficacité de la formation en introduisant un mécanisme d'attention multi-tête pour construire une structure de coder-décodeur, utilise des séquences de phonèmes comme entrée pour générer un spectre MEL et produit des formes d'onde via un vocoder WAVENET. Pour et contre: Avantages: Le modèle de parole avec la structure du transformateur peut accélérer la vitesse de formation, résolvant les problèmes de faible vitesse d'entraînement et de difficulté à établir un modèle de dépendance à long terme dans Tacotron2. Inconvénients: Il y a des problèmes de déduction lente et de l'écart du modèle causée par l'accumulation d'erreurs autorégressives.

● Modèles représentatifs nationaux et étrangers:

Tacotron2

Principe de mise en œuvre: Tacotron2 est un modèle de synthèse de la parole de bout en bout composé d'un réseau de prédiction de spectre sonore et d'un vocodeur basé sur la combinaison de wavenet et de tacotron. Parmi eux, le réseau de prédiction de séquence à la séquence extrait le modèle d'entrée des caractéristiques du texte, superpose les valeurs prévues sur le spectre MEL, et le vocodeur génère une forme d'onde de domaine temporel basé sur la séquence prévue. Pour et contre: Avantages: Le problème de la fuite du gradient est optimisé grâce à l'amélioration du mécanisme d'attention, la qualité sonore de la génération de la parole est bonne et elle est bonne robuste aux données de texte d'entrée. Inconvénients: La vitesse de synthèse des modèles autorégressive utilisant la structure RNN est lente, il est difficile de prononcer des mots complexes, la parole générée manque de couleur émotionnelle et le temps de formation et le coût des grands ensembles de données sont élevés et le modèle manque de contrôlabilité.

● Modèles grand public:

Défis de demande personnalisés

3

Défi de la fusion multimodale

2

1

Défi de l'écart de données

Synthèse vocale personnalisée, capacité d'interaction professionnelle, capacité d'ingénierie vocale personnalisée

Convergence des technologies de perception, cognitive et synthétique pour l'application de la contrôlabilité des produits et des capacités de généralisation

Formation de synthèse de la parole à faible ressource, amélioration du texte, construction de données synthétiques et précipitation de la conformité des données des utilisateurs

Conversion vocale Application de transfert de style: Film, télévision, animation, jeux et autres domaines: le réglage de voix de différents personnages Scénarios impliquant la confidentialité et la sécurité personnelles: traitement de la confidentialité des sons Application de données synthétiques: constituent des données synthétiques et augmentez l'échelle des données de formation

Amélioration de la voix, réparation vocale Effectuer la réduction du bruit, le filtrage, le gain et d'autres traitements sur les signaux vocaux Scénarios d'application: enregistrement téléphonique, vidéoconférence, services d'interaction vocale dans les environnements publics pour améliorer les capacités de reconnaissance vocale et la qualité de la génération Application des données audio historiques: restauration des données audio historiques, synthèse spéculative de la prononciation du langage ancienne Valeur de la recherche historique: il a une valeur d'application importante pour la recherche historique

Génération de musique Une musique cohérente avec un style sémantique et cohérent peut être générée en fonction du clip audio invité ou de la description du texte. Music and Film and Television Fields: arrangement de chansons, raffinement de style musical, musique de fond et génération de son ambiante, etc.

Interaction vocale Application de scénario de dialogue humain-ordinateur: largement utilisé dans divers types de dialogues de composition humaine Services d'entreprise, finances et autres industries: les robots de service client intelligent conduisent des questions et réponses vocales avec des clients pour économiser les coûts de main-d'œuvre Appareils domestiques, automobiles et autres industries: Smart Home, Scilarios Smart Car, Assistants vocaux Complete Commandes d'utilisateurs Industries de nouvelles et médias: travail d'interprétation simultanée dans les conférences internationales, les expositions et autres activités

Synthèse phonétique Applications dans le domaine du pan-divertissement: scènes de production sonore à long terme telles que la diffusion de nouvelles, la lecture audio et d'autres scénarios de production sonore à long terme et les applications de fabrication industrielle: navigation vocale, commandement du trafic Contrôle de l'automatisation industrielle Applications de synthèse transversale: traduction de la prononciation, apprentissage des langues Application dans le domaine médical: appareils portables médicaux tels que la gorge artificielle

Reconnaissance vocale Extraction de fonctionnalités et conversion de l'audio d'entrée en texte ou commandes correspondant pour réaliser la conversion de texte des instructions orales vocales ou divers contenus audio Application de scénario C-End: Méthode d'entrée vocale et notes orales sur les smartphones Scénarios d'application de l'industrie: récupération d'archives, entrée électronique des enregistrements médicaux, production de sous-titres de film et de télévision

Audio générer

● Contrôle de la vitesse vocale, du rythme et du rythme ● Capacité de compréhension du texte et de la prononciation dans différents antécédents linguistiques ● Saisissez les caractéristiques des phonèmes émotionnels

contrôle capacité

voix qualité

● haute précision ● Capacité anti-interférence

générer vitesse

● Utilisateurs individuels: la vitesse de génération peut-elle répondre aux exigences en temps réel ● Utilisateurs d'entreprise: l'impact de la vitesse de génération sur les processus métier

● Méthode de synthèse audio dominante actuelle ● Réduire la difficulté de former des connaissances en linguistique ● Le son est naturel, abordant l'effet de la voix de la vraie personne

● Les données sonores d'origine requises sont de petite échelle et lisses ● Beaucoup de bruit ● Mécanique vocale plus lourde

● La qualité sonore est meilleure basée sur l'enregistrement de la personne réelle ● S'appuyer sur le volume de données de la base de données vocale ● La transition de connexion Word est relativement rigide

Étape de synthèse de bout en bout

Étape de synthèse des paramètres

Étape de synthèse d'épissage

Générer de la mélodie, de la musique

Basé sur du contenu visuel (Image ou vidéo) Faire une description de la voix

Texte vocal Synthétiser les prononciations basées sur le texte

3

Conformité réglementaire et protection de la vie privée Protection des droits d'auteur sur la gouvernance

2

Capacité de productibilité compréhension Utilisation d'outils de réglage fin

Capacité de données Fonctionnement en boucle fermée des actifs de données

1

Image Super Résolution Cas médicaux et création de structure anatomique Observation astronomique, télédétection par satellite Martingale Color tonnes Mesure

Réparation d'images Restauration de documents historiques numériques, Réparation d'images vieilles photos et ancienne réparation de films

Génération d'images, conversion de style d'image Création d'art, montage d'image, personnages de dessins animés artistiques d'image, affiches de production de scène de jeu, logo produit et conception d'emballage

Classification d'image, segmentation d'image Reconnaissance de la cible, conception industrielle de récupération d'image Analyse des changements dans l'annotation de l'imagerie médicale et la structure pathologique anatomique

3

4

2

1

Contrôlabilité de l'image Contrôle des détails de l'image Ajustements ultérieurs

Diversité d'images Expression détaillée et expression de style Cohérence sémantique de plusieurs images ou styles différents

Stabilité de l'image Décrire les données pour la distorsion, la distorsion et les exceptions Capacité anti-interférence

Qualité d'image La richesse de la qualité de l'image et des informations détaillées La réalité de l'image

Introduction

Sur la base du cadre potentiel du modèle de diffusion, il peut réduire les besoins en puissance de calcul et les seuils de déploiement spécifiquement utilisés dans les tâches graphiques littéraires.

Sur la base du cadre du modèle de clip et de diffusion, la génération d'images peut maintenir une bonne cohérence sémantique

Un modèle de génération multimodale basé sur le cadre du modèle de diffusion, propose un modèle d'expert hybride et sélectionnez automatiquement le réseau de génération optimal

Sur la base du modèle de génération d'images après un ajustement fin du modèle de diffusion, il est déployé sur Discord et est bon dans l'expression de l'image de style artistique

Est-ce open source?

Open source github

Pas open source

Pas open source

Pas open source

mécanisme

Stabilité

Ouvert

Baidu

Média

Modèle

Diffusion stable

Dall-e2

MidJourney V5

Wenxin Ernie-Vilg2.0

● Modèles représentatifs nationaux et étrangers:

Clip: pré-formation d'image linguistique contrastée

Principe de mise en œuvre: Le modèle pré-formé trans-mod-modal texte basé sur l'apprentissage du contraste consiste à extraire le texte et les images respectivement via un encodeur, à cartographier le texte et les images dans le même espace de représentation, et à former le modèle à travers la similitude et le calcul de différence de la paire d'image texte, de sorte que les images conformes à la description peuvent être générées en fonction du texte donné. Pour et contre: Avantages: Aucune donnée ne doit être marquée à l'avance, bien performer dans la tâche de classification du texte de l'image à échantillon zéro, une compréhension plus précise de la description du texte et du style d'image, modifiez les détails non essentiels de l'image sans modifier la précision et mieux performer en termes de diversité dans les images générées. Inconvénients: Il y a des limites dans la performance des scénarios complexes et abstraits, et l'effet de formation dépend des images de texte à grande échelle pour consommer des ensembles de données relativement à grande échelle et des ressources de formation.

Principe de mise en œuvre: En définissant une chaîne Markov d'une étape de diffusion, l'image est générée en ajoutant en continu un bruit aléatoire aux données jusqu'à ce qu'une données de bruit gaussien pur soit obtenue, puis le processus de diffusion inverse est appris, et l'image est générée par inférence de réduction du bruit inverse. Le modèle de diffusion perturbe systématiquement la distribution des données, puis restaure la distribution des données, faisant de l'ensemble du processus une propriété d'optimisation progressive, garantissant la stabilité et la contrôlabilité du modèle. Pour et contre: Avantages: restaurer plus précisément les données réelles, une capacité plus forte à conserver les détails de l'image et une meilleure image réaliste. En particulier dans les applications telles que la réparation de l'achèvement de l'image et la génération de cartes moléculaires, il peut obtenir de bons résultats. Inconvénients: étapes de calcul complexes, vitesse d'échantillonnage lente et faible capacité de généralisation aux types de données.

Modèle de diffusion

● Modèles grand public:

Étape de génération de modèle de diffusion

● Modèle de génération d'images grand public actuel ● Le processus de diffusion améliore considérablement la stabilité, la précision et la diversité Combiné avec Clip, il peut être appliqué aux tâches de génération d'images croisées ● Améliorez considérablement la vitesse et la qualité des images générées.

Étape de la génération d'autorégression

● Le mécanisme d'auto-agence basé sur la structure du transformateur améliore la stabilité et la rationalité ● Problèmes de vitesse d'inférence et d'applications de limite de coûts de formation

● Modèle de génération d'images de génération précédente ● Améliorer la capacité de génération et d'identification grâce à une formation en confrontation ● Mauvaise stabilité, manque de diversité et effondrement des modèles

Étape de génération de Gan

Véritable génération d'image couleur

Diagramme RVB

Utilisez la combinaison de RVB trois couleurs primaires pour représenter la valeur de couleur de chaque pixel et la stocker directement dans la matrice d'image

Génération d'images avec une composition couleur relativement simple telle que les cartes moléculaires

Construit par une matrice bidimensionnelle et une carte de matrice d'index de couleur qui stocke l'image

Graphique index

Génération d'images

Image à l'image Générer de nouvelles images à partir d'images existantes

Composition d'image Synthèse d'image

Texte à l'image Générer des images conformes sémantiques en fonction de la description du texte

AIGC - Génération audio

AIGC - Génération vidéo

AIGC - Génération d'images

définition

définition

définition

La génération d'audio fait référence au processus de synthèse des formes d'onde sonore correspondantes basées sur les données d'entrée.

La génération de vidéos fait référence à la formation de l'intelligence artificielle, qui lui permet de générer automatiquement du contenu vidéo haute fidélité conforme à la description basée sur des données uniques ou multimodales, telles que le texte, les images, les vidéos, etc.

La génération d'images fait référence au processus d'utilisation de la technologie de l'intelligence artificielle pour générer des images uniques ou inter-modales en fonction des données données. Selon les objectifs de la tâche et les modes d'entrée, la génération d'images inclut principalement la synthèse d'images, la génération de nouvelles images basées sur des images existantes (image à l'image) et générer des images sémantiques basées sur des descriptions de texte (texte-image).

Les principaux types et domaines d'application de la génération audio

Les principaux types et domaines d'application de la génération de vidéos

Types principaux et champs d'application de la composition d'image

Applications typiques

nature

Type de données

nature

Type de données

Type d'image

nature

Applications typiques

Broadcasage d'informations, service d'interaction Human-Computer

Extraire les fonctionnalités d'information du texte et synthétiser les informations vocales

Informations sur le texte

Modifier, synthétiser et modifier plusieurs vidéos pour générer de nouvelles vidéos, y compris l'édition d'attributs vidéo, l'édition de clip, l'édition de pièces vidéo, etc.

Modifier la génération

Graphique binaire

La matrice bidimensionnelle de l'image ne se compose que de 0 (noir) et 1 (blanc), qui peut être considérée comme une binarisation du graphique en niveaux de gris.

Extraction de texte, extraction des fonctionnalités de l'image

Édition vocale, traduction vocale, production musicale

Modifier en fonction d'un segment vocal donné, ou convertissez une langue en informations vocales d'une autre langue

Informations audio

Ajoutez une variété d'effets aux vidéos existantes, telles que les filtres, la lumière et l'ombre, les feux d'artifice, etc. pour améliorer la créativité et l'effet artistique de la vidéo

Génération d'effets spéciaux

Niveaux de gris

La plage de valeur des éléments de matrice bidimensionnelle est généralement de 0 (noir pur) à 255 (blanc pur), et le nombre central représente la couleur de transition entre le noir et le blanc.

Image médicale et génération d'images de télédétection

Appareils portables médicaux

Percevoir des mouvements musculaires tels que la gorge et le visage et synthétiser la voix

Vibration musculaire

Génération de contenu

Générer du contenu vidéo correspondant basé sur le texte, les images et autres informations donné

Identifier et comprendre le contenu visuel tel que les images et les vidéos, et générer des informations vocales correspondant à la forme des lèvres

Numériques

Contenu visuel

Étapes clés du développement technologique de la composition d'image

Étapes clés du développement technologique de la génération audio

Étapes clés du développement technologique de la génération de vidéos

Principes de la mise en œuvre du modèle grand public et des avantages et des inconvénients

Défi de mise en œuvre de la commercialisation de la génération d'images

Facteurs clés affectant les capacités d'application des modèles

Scénarios d'application industriels typiques pour la génération d'images

Applications de génération d'audio traditionnelles

Modèle

Introduction

Organisation

Est-ce open source?

Tacotron2

Tout d'abord, il propose un modèle de synthèse de la parole de bout en bout comme l'infrastructure de plusieurs solutions de système vocal

Google

Déjà ouvert sur github

Modèle de reconnaissance vocale automatique pour améliorer les capacités de reconnaissance vocale à travers des ensembles de données à grande échelle et diversifiés, et soutient la transcription de la parole, la traduction de la parole, etc.

Déjà ouvert sur github

Ouvert

Chuchoter

Modèle de synthèse de la parole de séquence à séquence entièrement convolutionnelle, l'effet de synthèse de la parole multi-personnes peut être amélioré en étendant le jeu de données de formation du modèle de synthèse de la parole

Pas open source

Baidu

Deepvoice3

Modèle de pré-formation de voix chinoise de qualité industrielle, soutenant la reconnaissance de la voix multimodale, la reconnaissance émotionnelle, la reconnaissance de l'empreinte vocale et d'autres tâches

Pas open source

iflytek

Smart-tts

Facteurs clés affectant les capacités d'application des modèles

Facteurs clés affectant les capacités d'application des modèles

Le défi de la commercialisation de la génération audio

Scénarios d'application industriels typiques pour la génération audio

Scénarios d'application industriels typiques pour la génération de vidéos

Défi pour la commercialisation de la génération vidéo

Conception de puces

Nourriture et agriculture

énergie

Science des matériaux

Soins personnels

La technologie de l'intelligence artificielle se développe rapidement et les nouvelles technologies peuvent remplacer les technologies existantes, affectant ainsi la valeur commerciale des technologies existantes.

Concours de développement technologique

● Le développement de médicaments nécessite une approbation stricte ● Problèmes de droit d'auteur pour la conception de circuits intégrés ● Des modèles de découverte moléculaire peuvent être utilisés pour développer des médicaments interdits et des produits dangereux

loi Avec sécurité

Développement et Coût de vérification

Drogue

applicabilité

Générer une qualité

clé facteur

Les modèles de découverte moléculaire et de conception de circuits intégrés doivent être adaptés à des fins de conception spécifiques. Le modèle de conception de circuits intégrés doit également recycler le modèle, modifier l'architecture, ajuster manuellement les paramètres, les principes de découverte du plan, etc. En combinaison avec les fins de conception industrielle pour s'appliquer aux exigences industrielles.

Pour les modèles de découverte moléculaire et de conception de circuits intégrés, la qualité de la génération est le facteur central qui détermine ses capacités d'application.

câblage

Type d'emploi

Objectifs du travail

Modèle représentatif

Algorithmes et modèles de base

Dreamplace

Optimisation des paramètres du réseau neuronal

Optimisation de la disposition de l'apprentissage automatique

Réseau de neurones graphiques

PL-GNN

Réseau de neurones graphiques

Apprentissage du renforcement

Réseau convolutionnel entièrement connecté

Réseau neuronal convolutionnel

Réseau neuronal convolutionnel

Machine de détection multicouche

... ...

Réseau neuronal convolutionnel

Autoencodeur variationnel

Recherche d'arbre Monte Carlo

RL pour CF2

Deepplace

Décision de mise en page de l'intelligence artificielle

CNN pour RDP3

FCN pour RDP4

Envisagez des décisions de mise en page pour le câblage

ML pour RDPE

Dlroute

Optimisation de câblage de l'intelligence artificielle

... ...

Deeppr

Vae pour CR6

MCTS pour CR5

Décision de câblage de l'intelligence artificielle

mise en page

Conception complète de disposition et de câblage

Disposition du câblage

Scénarios d'application pour la découverte moléculaire et la conception de circuits

Méthode d'optimisation combinée

Méthode de génération profonde

Markov Chain Monte Carlo

MIMOSA

Bidimensionnel

MARS

Bidimensionnel

Confgf

Tridimensionnel

Modèle de diffusion

Tridimensionnel

Evfn

Unidimensionnel

ORGANE

Bidimensionnel

Unidimensionnel

Bidimensionnel

Tridimensionnel

Tridimensionnel

MoidqnMoidon

Apprentissage du renforcement

GB-GA

LAPIDÉ

Algorithme génétique

Bokei

BOA

Optimisation bayésienne

Défacteur

Unidimensionnel

Générer des réseaux contradictoires

Bidimensionnel

ORGANE

Graphnvp

Bidimensionnel

Flux standardisé

Bidimensionnel

Moflow

SG-VAE

Unidimensionnel

Autoencodeur variationnel

Bidimensionnel

Cgvae

SF-RNN

Unidimensionnel

Bidimensionnel

Moléculaire

Modèle autorégressif

Générer une représentation

Modèle représentatif

Algorithmes et modèles utilisés

Générer une méthode

principe

Type d'emploi

Compte tenu d'un ensemble de composants de circuit intégrés, y compris des unités standard, des modules de macro, des portes logiques, etc., ainsi que des informations caractéristiques telles que la largeur et la hauteur de ces composants, Il est également nécessaire de donner des informations sur la relation de connexion entre les positions PIN de ces composants et les composants, et d'allouer les positions physiques des composants en fonction des informations ci-dessus afin que les composants ne se chevauchent pas.

mise en page

câblage

Une fois la disposition terminée, la position de la broche du composant a été déterminée et la relation de connexion entre les composants a également été déterminée. Selon la relation de connexion entre les composants et les exigences telles que la longueur de câblage totale minimale et la relation de synchronisation entre les composants, le circuit de connexion entre les composants sera conçu sans violer les règles de câblage.

Contenu texte généralement écrit qui est factuel, fonctionnel ou divertissant

Représentation tridimensionnelle

AIGC - découverte moléculaire et conception de circuits

définition

La découverte moléculaire et la conception de circuits se réfèrent à l'utilisation de l'apprentissage automatique, du réseau neuronal profond et d'autres technologies pour apprendre la structure, les règles et les propriétés des molécules et des circuits intégrés, et générer des molécules et des circuits intégrés avec des structures similaires, conformes à des règles spécifiques et ont des propriétés cibles.

Types principaux et champs d'application de la découverte moléculaire et de la conception de circuits

Méthode d'expression

principe

Représentation unidimensionnelle

Exprimer les molécules comme des cordes pour exprimer les atomes et les structures des molécules en caractères

Représentation bidimensionnelle

Exprimer les molécules comme données de graphique, où les atomes et les liaisons sont représentés respectivement comme des points et des bords des données graphiques

Modèle grand public de découverte moléculaire

Modèle de conception de circuits grand public

Facteurs clés affectant les capacités d'application des modèles

Risques de commercialisation de la découverte moléculaire et de la conception de circuits

● Le développement nécessite beaucoup de coûts de données et de talents ● Le processus de vérification nécessite beaucoup d'incertitude et a un long cycle

03 Risques de la technologie et de la substitution des applications

02 Risques de sécurité de l'information

01 message d'erreur Informations nuisibles

Industrie du commerce électronique

Nouvelles et médias

Industrie de l'éducation

● Générer la description du produit ● Analyser les revues de produits ● Générer des recommandations de produits ● Générer un rapport d'analyse

● Générer des reportages ● Effectuer la création de contenu ● Générer l'hébergement de diffusion orale ● Générer un document d'annonce

● Générer un plan d'enseignement ● Générer un plan d'enseignement ● Aider à corriger les devoirs ● Fournir un tutorat d'étude

R&D du produit

● Aider au développement des produits informatiques ● Générer des cas de test ● Générer un manuel de produit ● Générer des étapes de fonctionnement

Industrie du service à la clientèle

● Générer une solution ● Solution de service client intelligent ● Comprendre les intentions des clients ● Service client exclusif pour les grands clients

Commercialisation

● Générer un devis ● Générer un plan de vente ● Analyser les données du marché ● Analyser les données de vente

Industrie médicale

● Aider les médecins à rédiger des plans médicaux ● Aider les médecins à rédiger des dossiers médicaux ● Aider les patients à faire correspondre les ressources médicales ● Fournir des conseils de diagnostic et de traitement aux patients

● Analyser un grand nombre de rapports financiers ● Générer un résumé des informations clés ● Fournir des conseils de stratégie d'investissement ● Générer un rapport d'analyse des données

Industrie financière

Capacités de personnalisation et d'innovation

Répondre aux besoins différenciés des clients Répondre aux changements de marché avec l'innovation

Fonctionnement du produit et support client

Augmenter l'adhérence des utilisateurs et augmenter les coûts de migration Réalisez la conversion et la rétention des utilisateurs

Capacité de marketing

Dilution efficace des coûts Assurer la marge bénéficiaire

Domaine de connaissances du modèle étendu Découvrez les points de douleur et les besoins d'application d'application

Générer une qualité

Questions Tongyi Qian

Les paroles de Wen Xin

discuter

Nuage d'alibaba

Baidu Smart Cloud

Shang Tang

Chine

Chine

Chine

L'analyse comparative de l'application de génération de langage universelle chinoise de Chatgpt, l'accès à des applications telles que le moteur de recherche Baidu, la bibliothèque Baidu, l'assistant intelligent Xiaodu, etc., en atteignant la coopération avec de nombreuses entreprises et institutions pour explorer les scénarios d'application de génération de langue

Oui

Non

Non

Analyse comparative de l'application de génération de langue commune chinoise de Chatgpt, soutenant les modèles d'entreprises personnalisées

L'analyse comparative contre l'application de génération de langage universelle chinoise de Chatgpt et l'application de génération de langue verticale pour les scénarios médicaux et de programmation seront lancés

Claude

Analyse comparative de l'application de génération de langue commune de Chatgpt, optimiser l'assistance et la sécurité linguistiques de la génération et fournir des services d'application de sécurité de génération de langue au niveau de l'entreprise

Anthropique

outre-mer

Oui

Ouvrir en ligne

Oui

Oui

Marché

outre-mer

outre-mer

Organisation

Ouvert

Google

2022 à la date: période d'accélération des applications ● La génération de la qualité du langage est conforme au niveau humain ● Les entreprises de l'industrie explorent activement les scénarios d'application et les méthodes d'application de génération de langues dans diverses industries et domaines

Ⅵ

Ⅴ

F

E

Ⅳ

2020-2021: Période d'exploration des applications ● La capacité de génération de langue répond aux exigences de base de l'application ● Les entreprises de l'industrie explorent initialement des scénarios d'application pour les tâches de génération de langues modales

2018-2019: période d'exploration du modèle ● Le modèle de génération de langue a un paradigme clair ● Posez les fondements techniques des applications de génération de langues à faible modale

D

Ⅲ

C

Ⅱ

B

Ⅰ

2017: période de développement technologique ● Proposer l'architecture du transformateur, Yingding Technology Foundation ● Seules les tâches de génération de langues à motifs hautement peuvent être effectuées

Avant 2017 ● Capacité de génération de langue faible ● L'application ne peut effectuer que des tâches de génération de langues hautement à motifs

Période de développement rapide

Période de démarrage du marché

Période d'exploration

UN

Applications de génération de langues traditionnelles

Introduction

Nom de candidature

Application de génération de langage universelle de référence, obtenant les meilleurs résultats dans plusieurs tâches de génération de langues telles que la génération de texte, le résumé du texte, la modification du texte, l'interaction en langage naturel, la génération de code, etc., et la coopération avec de nombreuses entreprises et institutions de premier plan pour explorer les scénarios d'application de génération de langue

Chatte

Analyse comparative de l'application de génération de langage universelle de Chatgpt, accéder à Google Search Engine pour optimiser l'expérience de recherche et accéder à l'écosystème des produits Google Office

BARDE

Fournir une interaction

Générer du contenu

Contenu texte généralement écrit qui est factuel, fonctionnel ou divertissant

Articles de blog, nouvelles, e-mails, romans, codes

Générer un contrat à format fixe, etc.

Il peut aider à la création de contenu littéraire et résumer divers contenus.

AIGC - Génération de la langue

définition

La génération de langue fait référence au modèle de probabilité sémantique appris par les réseaux de neurones qui peuvent générer des langues en fonction des exigences de la tâche, et les langages générés incluent le langage naturel, le langage de programmation et le langage logique, etc.

Les principaux types et domaines d'application de la génération de langue

Type de données

nature

Applications typiques

Générer un langage commun

Avoir beaucoup de connaissances communes du domaine et peuvent effectuer différents types de tâches de génération de langues en fonction des exigences

Grille Voxel, nuage de points et maillage

Génération de langue verticale

En plus d'avoir certaines connaissances communes du domaine, il existe également des connaissances professionnelles du domaine.

Rédaction et analyse du rapport financier, etc.

Étapes clés du développement technologique dans la génération de langues

Capacités clés pour la commercialisation des applications de génération de langues

Scénarios d'application industriels typiques pour la génération de langue

Risque de commercialisation de la génération de langues

En raison de la nature fondamentale de la sémantique, toutes sortes d'applications peuvent être découplées et déconstruites du niveau sémantique.

Dans le processus de génération d'applications à l'aide de langues, car de nombreux produits et services sont basés sur des services de cloud public ou nécessitent du téléchargement d'informations sur le serveur du fournisseur, le risque de fuite d'informations peut se produire.

La génération d'informations et d'informations nocives peut avoir un impact énorme sur la réputation de la marque et l'image du produit, et devient donc un risque énorme pour la commercialisation des applications de génération de langues.

Défis d'innovation technologique

Défi de mise en œuvre des applications de scénario

Défi du droit d'auteur

À l'heure actuelle, de nombreux scénarios d'application qui ont la possibilité d'être commercialisés par une génération tridimensionnelle de l'intelligence artificielle, tels que la production de films, la conception du concept de produit, la production d'actifs tridimensionnelle de jeu, etc., sont toujours acceptées par les utilisateurs dans des applications réelles. La raison pour laquelle la génération tridimensionnelle est toujours utilisée dans ce type de scénario d'application est qu'il est nécessaire de garantir l'unité du contenu d'image sous différents angles, donc la génération tridimensionnelle a toujours sa valeur d'application unique dans ces scénarios.

À l'heure actuelle, de nombreuses applications de génération tridimensionnelle de l'intelligence artificielle nécessitent toujours une grande quantité de données texte et de données d'image bidimensionnelles comme base pour les modèles de formation. Si ces données proviennent des actifs protégés par le droit d'auteur, l'utilisation de ces données pour la commercialisation est sujette à des problèmes de droit d'auteur.

03

02

01

Les scénarios d'application de la production tridimensionnelle peuvent être à peu près divisés en scénarios pour les professionnels et les scénarios pour les consommateurs ordinaires. Les scénarios pour les professionnels nécessitent la capacité de l'intelligence artificielle à répondre aux exigences de demande de ligne industrielle, telles que une génération de haute qualité et une contrôlabilité élevée. Cependant, les scénarios d'application pour les consommateurs ordinaires ont des exigences relativement faibles pour la qualité et la contrôlabilité de la génération de la génération tridimensionnelle de l'intelligence artificielle, mais les applications pour les consommateurs ordinaires ont généralement des exigences élevées pour l'efficacité de la génération.

Défis pour la commercialisation de la génération 3D

Réalité virtuelle

Formation en éducation

Utilisez la technologie de génération 3D pour créer des mondes et des personnages virtuels réalistes pour améliorer le réalisme et l'immersion de la réalité virtuelle.

Les enseignants et les élèves utilisent une technologie de génération tridimensionnelle pour mieux comprendre et apprendre des connaissances scientifiques et techniques complexes, et améliorer l'efficacité de l'enseignement et l'efficacité d'apprentissage.

Production de films et d'animation

Design de l'art

Utilisez une technologie de génération 3D pour créer des scènes et des personnages 3D réalistes, et réalisez des effets visuels complexes pour améliorer la qualité et la visualisation des films et des animations.

Utilisez une technologie de génération tridimensionnelle pour créer des œuvres d'art numériques, des sculptures numériques et d'autres œuvres créatives pour améliorer l'efficacité et l'expressivité de la création.

Design architectural

Soins de santé

Utilisez une technologie de génération 3D pour créer des modèles architecturaux et des rendus visuels plus rapidement, améliorant l'efficacité de la conception et la précision.

Utilisez une technologie de génération tridimensionnelle pour créer des modèles d'organes humains réalistes et des dispositifs médicaux à utiliser dans des domaines tels que l'éducation médicale, la simulation chirurgicale et le diagnostic de la maladie.

Fabrication industrielle

Utilisez une technologie de génération 3D pour créer des pièces et des moules plus rapidement, améliorant l'efficacité de la production et la précision et la réduction des coûts de fabrication.

Utilisez la technologie de génération 3D pour créer rapidement des scènes 3D réalistes et des personnages virtuels pour améliorer le réalisme et l'immersion du jeu.

Développement de jeux

Scénarios d'application industriels typiques pour la production tridimensionnelle

Contrôleur

Renforcer la compréhension de l'enseignement Le travail de modélisation est séparé du travail de rendu et l'expression de la grille est requise

Efficacité de la génération

De grands calculs et une vitesse de génération lente La génération de formation nécessite des exigences matérielles élevées

Modélisation de la finesse et de la précision Résolution de rendu, précision Précision d'expression matérielle

Générer une qualité

Facteurs clés affectant les capacités d'application des modèles

Modèle magique3d

Principe de mise en œuvre: Tout d'abord, un modèle 3D de grille de hachage à basse résolution et simple est utilisé pour générer un rendu simple à basse résolution du modèle 3D de grille de hachage, puis un rendu de meilleure qualité du modèle 3D est utilisé pour utiliser une méthode similaire à l'infographie traditionnelle. Pour et contre: Avantages: Le modèle tridimensionnel généré par les modèles Magic3D a une résolution plus élevée, un meilleur effet de rendu et une efficacité de génération considérablement améliorée. Inconvénients: le modèle Magic3D a une forte demande de ressources informatiques, un long temps de formation du modèle, un grand impact sur la description du texte et une forte dépendance à l'égard des connaissances spécifiques du domaine.

Modèle de dreamfusion

Principe de mise en œuvre: Il est principalement basé sur la technologie du modèle de diffusion dans l'apprentissage en profondeur et combine les concepts des champs de rayonnement neuronal (NERF) et du modèle de diffusion d'image texte. Pour et contre: Avantages: Il peut générer des modèles 3D de haute qualité et réalistes à partir de descriptions de texte et prend en charge la génération et l'optimisation multi-angles, améliorant la cohérence et la réalité des scènes 3D. Inconvénients: il dépend élevé des ressources matérielles et la capacité de généralisation du modèle doit être améliorée.

Modèle de clip-nerf

Principe de mise en œuvre: Le modèle Clip (Language-Image Pré-formation) contrasté est introduit dans l'édition de NERF (champs de radiance neuronale) pour implémenter la modification du NERF guidée par le texte ou l'image. Pour et contre: Avantages: Le modèle clip-nerf accorde plus d'attention à l'ajustement du modèle tridimensionnel généré et des effets de rendu tridimensionnel en langage naturel ou diagrammes bidimensionnels. Inconvénients: En termes d'effet de génération et de valeur commerciale, le modèle clip-nerf a les mêmes problèmes que le modèle de terrain de rêve.

Principe de mise en œuvre: En utilisant la capacité de Clip à générer du texte à des images bidimensionnelles, combinée avec la capacité de NERF à apprendre des structures tridimensionnelles et un rendu de texture à partir d'images bidimensionnelles, nous pouvons réaliser la génération du langage naturel à trois dimensions. Pour et contre: Avantages: Le modèle des champs de rêve prouve que le modèle de clip peut être appliqué en combinaison avec le modèle NERF et perce les limites d'imagination des modèles génératifs tridimensionnels précédents. Inconvénients: La structure du contenu tridimensionnel généré par le modèle des champs de rêve est encore relativement simple, et l'effet de rendu tridimensionnel est pauvre, de sorte que des scènes tridimensionnelles à grande échelle ne peuvent pas être générées. De plus, le modèle de génération d'efficacité des champs de rêve est très faible et a une mauvaise connexion avec les travaux de génération tridimensionnelle traditionnels, il n'a donc pas de valeur commerciale.

Modèle de fields de rêve

● Modèles grand public:

Principes de la mise en œuvre du modèle grand public et des avantages et des inconvénients

Période d'exploration d'application de mise à niveau de dimension bidimensionnelle 2022 à la date

● La génération bidimensionnelle se développe rapidement ● La route de mise à niveau de dimension bidimensionnelle est claire ● Gan a toujours des applications

La période de développement de la technologie de mise à niveau dimensitive bidimensionnelle 2020-2022

● Proposer un champ de rayonnement neuronal ● La recherche de mises à niveau dimensionnelle accélère ● Gan devient le courant dominant de trois dimensions

Période de germination dimensionnelle bidimensionnelle 2018-2020

● Proposer une expression tridimensionnelle du champ nerveux ● La recherche de mise à niveau dimensionnelle se développe lentement ● Il existe de nombreuses recherches tridimensionnelles natives

Le stade clé du développement technologique dans la génération tridimensionnelle

Applications typiques

Grille Voxel, nuage de points et maillage

Reconstruction et rendu de scène tridimensionnelle

nature

Exprimer la forme, la structure et la position des objets tridimensionnels sous une forme intuitive

Une scène tridimensionnelle exprimée dans les paramètres du réseau neuronal, à savoir un champ neuronal

Données d'expression implicites

Données d'expression dominantes

Type de données

Les principaux types et zones d'application de la génération 3D

La génération tridimensionnelle (intelligence artificielle) fait référence à l'utilisation de réseaux de neurones profonds pour apprendre et générer des modèles tridimensionnels d'objets ou de scènes, et sur la base du modèle tridimensionnel, donnant des couleurs et de la lumière aux objets ou aux scènes rend le résultat de génération plus réaliste. Dans les applications, la génération d'un modèle tridimensionnel d'un objet ou d'une scène est appelée modélisation tridimensionnelle, et la couleur et la lumière et l'ombre d'un modèle tridimensionnel sont appelées rendu tridimensionnel.

définition

AIGC - Génération 3D