Cogvideo

Principio de implementación: Cogvideo es un modelo de generación de videos de texto a gran escala basado en el método de autorregresión. Pros y contras: Ventajas: este modelo admite el aviso chino. Desventajas: existen restricciones a la longitud de la secuencia de entrada.

Desafío de usabilidad del producto

Velocidad de producción de video, conveniencia, integración de contenido e interactividad

Desafío estable y controlable

Control de duración, control de contenido, utilización y capacitación de datos limitados, resultados de generación y ajuste de procesos

Carpinías materiales, privacidad y seguridad, ética

Desafíos de la aplicación de cumplimiento

Migración de estilo de video

● Expresión artística de obras de cine y televisión ● Conversión de estilo publicitario

● Optimización de rendimiento de cine y televisión/publicidad ● Reparación de películas antiguas y datos de imágenes preciosas ● Monitoreo de seguridad mejorado y calidad de imagen médica

Mejora de video

● Escenas virtuales, personajes y generación de efectos especiales ● Generación de trailer de películas ● Generación de video en video ● Estructura del cuerpo humano dinámico y generación de modelos de enfermedades

Generación de videos

● Edición de postproducción y procesamiento de efectos especiales de películas y televisión ● Edición de material de video corto y adición de efectos especiales

Edición de video

● Monitoreo de seguridad y advertencia temprana, gestión inteligente del tráfico ● Marketing Generación de etiquetas de contenido, análisis de sentimientos ● Análisis de cine y televisión

Reconocimiento de contenido de video

● Efecto de transición entre marcos ● Continuidad de acción ● La suavidad de la imagen ● Cambio suave de escenas

Continuidad

● Alta resolución ● El realismo de la escena y los personajes ● Detalles de imágenes claros y ricos ● La lógica del contenido de video

● La longitud del video es variable y controlable ● Relevancia para una descripción dada ● Los atributos de video y los elementos de video son controlables y editables

Controlabilidad

Realismo

Principios de implementación y ventajas y desventajas del modelo principal

● Modelos convencionales:

Video de Imagen

Género

Principio de implementación: Imagen-Video es un modelo de video basado en condiciones de texto desarrolladas basadas en el modelo de Imagen. Pros y contras: Ventajas: Los videos generados tienen alta fidelidad, controlabilidad y conocimiento mundial, apoyan la generación de varios videos y animaciones de texto en varios estilos artísticos y tienen la capacidad de comprender los objetos 3D. Desventajas: el método de entrenamiento paralelo utilizado por el modelo en cascada requiere altos recursos informáticos.

Principio de implementación: El modelo Gen aprende características de imagen de texto a través del modelo de difusión potencial, y puede generar nuevos videos basados ​​en un mensaje de texto o imagen de referencia de texto dada, o impulsar imágenes para realizar una conversión de estilo de video basada en el video original. Pros y contras: Ventajas: este modelo tiene un buen rendimiento en la representación de video y la conversión de estilo, y el video generado tiene una fuerte capacidad de retención de estructura artística y de imágenes, por lo que puede adaptarse mejor a los requisitos de personalización del modelo. Desventajas: el modelo GEN todavía tiene limitaciones en la estabilidad de los resultados generados.

● Modelos representativos nacionales y extranjeros:

¿Es código abierto?

Organización

Introducción

Modelo

No de código abierto

Google

El modelo de generación de videos de texto basado en el modelo de difusión tiene las ventajas de la velocidad de generación, la buena calidad de video y la capacidad de comprender una variedad de estilos artísticos y objetos 3D.

Video de Imagen

Video

Meta

No de código abierto

No se requieren datos de texto de texto, use capacitación en datos de imagen de texto para lograr la generación de videos, lo que mejora el tiempo y la resolución espacial de los videos generados

Nuwa-xl

Instituto de Investigación de Microsoft

Ya abierto de origen en github

El modelo de generación de video ultra largo basado en la difusión sobre la arquitectura de difusión tiene una buena calidad y continuidad de video, y puede reducir enormemente el tiempo de inferencia

Cogvideo

Tsinghua y Zhiyuan

Ya abierto de origen en Huggingface

El modelo de pre-entrenamiento de texto de texto a gran escala, la estrategia de entrenamiento jerárquico de tarifas multifieles puede alinear mejor los textos y los videos, y los datos de capacitación a gran escala mejoran significativamente la calidad de los videos generados.

Auto-retorno Etapa modelo de difusión

Gan/vae Basado en flujo Etapa de generación

Costura de imágenes Etapa de generación

video generar

● El desacoplamiento a través del primer plano y el fondo, la segmentación del movimiento y el contenido Soluciones, traducción de imágenes y otros métodos para mejorar el efecto de generación ● La calidad del video sigue siendo baja

● Modelo autorregresivo: generación de predicción de trama, buena coherencia, pero de baja eficiencia y errores son fáciles de acumular ● Modelo de difusión: migra la arquitectura de imágenes literarias a la generación de videos, con alta fidelidad, pero alto consumo de recursos

● Costeros de imágenes estáticas para formar una transmisión de video ● Simple y fácil de usar, pero baja calidad de video y mala coherencia

Producción de escena de juegos de cine y televisión, publicidad, gente digital

Efectos visuales de postproducción

Edición de cine y televisión, cambio de video

Aplicaciones típicas

Transformer-TTS

Principio de implementación: Transformer-TTS es un modelo de generación de voz de extremo a extremo que combina la estructura del transformador y la aplica al sistema TTS. Específicamente, Transformer-TTS mejora la eficiencia de entrenamiento al introducir un mecanismo de atención de múltiples cabezas para construir una estructura de codificador de codificadores, utiliza secuencias de fonemas como entrada para generar un espectro MEL y genera formas de onda a través de un vocero de wavenet. Pros y contras: Ventajas: El modelo de habla con la estructura del transformador puede acelerar la velocidad de entrenamiento, resolver los problemas de la baja velocidad de entrenamiento y la dificultad para establecer un modelo de larga dependencia en Tacotron2 se basa en la comprensión de la semántica y las relaciones, y también hace que el efecto de la síntesis de sonido sea más natural. Desventajas: existen problemas con inferencia lenta y desviación del modelo causada por la acumulación de errores autorregresivos.

● Modelos representativos nacionales y extranjeros:

Tacotrón2

Principio de implementación: Tacotron2 es un modelo de síntesis de voz de extremo a extremo compuesto por una red de predicción de espectro de sonido y un vocoder basado en la combinación de Wavenet y Tacotron. Entre ellos, la red de predicción de secuencia a secuencia extrae el modelo de entrada de las características de texto, superpone los valores predichos en el espectro MEL, y el vocoder genera una forma de onda de dominio de tiempo basada en la secuencia predicha. Pros y contras: Ventajas: el problema de desaparición de gradiente se optimiza a través de la mejora del mecanismo de atención, la calidad de sonido de la generación del habla es buena y es bueno para los datos de texto de entrada. Desventajas: la velocidad de síntesis de los modelos autorregresivos que utilizan la estructura RNN es lenta, es difícil pronunciar palabras complejas, el habla generada carece de color emocional y el tiempo de entrenamiento y el costo de grandes conjuntos de datos son altos y el modelo carece de capacidad de control.

● Modelos convencionales:

Desafíos de demanda personalizados

3

Desafío de fusión multimodal

2

1

Desafío de brecha de datos

Síntesis de voz personalizada, capacidad de interacción profesional, capacidad de ingeniería de voz personalizada

Convergencia de percepción, tecnologías cognitivas y sintéticas para la aplicación de la capacidad de control del producto y las capacidades de generalización

Entrenamiento de síntesis de voz de baja recursos, mejora del texto, construcción de datos sintéticos y precipitación de cumplimiento de datos del usuario

Conversión de voz Aplicación de transferencia de estilo: Película, televisión, animación, juegos y otros campos: configuración de voces de diferentes personajes Escenarios que involucran privacidad personal y seguridad: procesamiento de privacidad de los sonidos Aplicación de datos sintéticos: constituye datos sintéticos y aumenta la escala de los datos de capacitación

Mejora de la voz, reparación de voz Realizar reducción de ruido, filtrado, ganancia y otros procesos en señales de voz Escenarios de aplicación: grabación telefónica, videoconferencia, servicios de interacción de voz en entornos públicos para mejorar las capacidades de reconocimiento de voz y la calidad de la generación Aplicación de datos de audio históricos: restauración de datos de audio históricos, síntesis especulativa de la pronunciación del lenguaje antiguo Valor de la investigación histórica: tiene un valor de aplicación importante para la investigación histórica

Generación musical La música coherente con estilo semántico y consistente se puede generar en función del clip de audio solicitado o la descripción del texto. Música y campos de cine y televisión: arreglo de canciones, refinamiento de estilo musical, música de fondo y generación de sonido ambiental, etc.

Interacción de voz Aplicación del escenario de diálogo humano: ampliamente utilizado en varios tipos de diálogos humanos-computadora Servicios empresariales, finanzas y otras industrias: los robots de servicio al cliente inteligentes realizan preguntas y respuestas de voz y respuestas para ahorrar costos de mano de obra Electrodomésticos, automóviles y otras industrias: hogar inteligente, escenarios de automóviles inteligentes, asistentes de voz completos comandos de usuario Industrias de noticias y medios: trabajo de interpretación simultánea en conferencias internacionales, exhibiciones y otras actividades

Síntesis fonética Aplicaciones en el campo del entretenimiento pan: escenas de producción de sonido a largo plazo, como transmisión de noticias, lectura de audio y otros escenarios de producción de sonido a largo plazo y aplicaciones de fabricación industrial: navegación de voz, comando de tráfico Control de automatización industrial Aplicaciones de síntesis de forma cruzada: traducción de pronunciación, aprendizaje de idiomas Aplicación en el campo de la medicina: dispositivos médicos portátiles como la garganta artificial

Reconocimiento de voz Extracción de características y conversión de audio de entrada en texto o comandos correspondientes para realizar la conversión de texto de declaraciones orales vocales o varios contenidos de audio Aplicación de escenarios de C-END: método de entrada de voz y notas orales en teléfonos inteligentes Escenarios de aplicación de la industria: recuperación de archivos, entrada de registro médico electrónico, producción de subtítulos de cine y televisión

Audio generar

● Control de la velocidad de voz, ritmo y ritmo ● Capacidad de comprensión de texto y pronunciación en diferentes orígenes del lenguaje ● Compre las características de los fonemas emocionales

control capacidad

voz calidad

● Alta precisión ● Capacidad anti-interferencia

generar velocidad

● Usuarios individuales: ¿Puede la velocidad de generación responder a los requisitos en tiempo real? ● Usuarios empresariales: el impacto de la velocidad de generación en los procesos comerciales

● Método de síntesis de audio corriente actual ● Reducir la dificultad del conocimiento de la lingüística de la capacitación ● El sonido es natural, abordando el efecto de la voz de la persona real

● Los datos de sonido originales requeridos son de escala pequeña y suave ● Mucho ruido ● Mecánica de voz más pesada

● La calidad del sonido es mejor según la grabación de la persona real ● Confiar en el volumen de datos de la base de datos de voz ● La transición de la conexión de la palabra es relativamente rígida

Etapa de síntesis de extremo a extremo

Etapa de síntesis de parámetros

Etapa de síntesis de empalme

Generar melodía, música

Basado en el contenido visual (Imagen o video) Hacer una descripción de voz

Texto a voz Sintetizar pronunciaciones basadas en el texto

3

Cumplimiento regulatorio y protección de la privacidad Protección de derechos de autor de gobierno de IA

2

Capacidad de productización entenimiento rápido Uso de herramientas de ajuste fino

Capacidad de datos Operación de circuito cerrado de activos de datos

1

Imagen Super Resolución Casos médicos y creación de estructura anatómica Observación astronómica, Medición de color martingale de teledetaje satelital Medición

Reparación de imágenes Restauración de documentos históricos digitales, Reparación de imágenes viejas y reparación de películas antiguas

Generación de imágenes, conversión de estilo de imagen Creación de arte, edición de imágenes, imagen de mejora artística Cartoon personajes, carteles de producción de escena del juego, logotipo de productos y diseño de embalaje

Clasificación de imagen, segmentación de imágenes Reconocimiento de objetivos, diseño industrial de recuperación de imágenes Análisis de los cambios en la anotación de imágenes médicas y la estructura patológica anatómica

3

4

2

1

Controlabilidad de la imagen Control de detalles de la imagen Ajustes posteriores

Diversidad de imágenes Expresión detallada y expresión de estilo Consistencia semántica de múltiples imágenes o diferentes estilos

Estabilidad de la imagen Describa los datos de distorsión, distorsión y excepciones Capacidad anti-interferencia

Calidad de imagen La riqueza de la calidad de la imagen y la información detallada La realidad de la imagen

Introducción

Según el marco del modelo de difusión potencial, puede reducir los requisitos de potencia informática y los umbrales de implementación utilizados específicamente en las tareas de gráficos literarios.

Basado en el marco del modelo de clip y difusión, la generación de imágenes puede mantener una buena consistencia semántica

Un modelo de generación multimodal basado en el marco del modelo de difusión, proponer un modelo de experto híbrido y seleccionar automáticamente la red de generación óptima

Basado en el modelo de generación de imágenes después del ajuste fino del modelo de difusión, se implementa en discordia y es bueno en la expresión de imágenes de estilo artístico

¿Es código abierto?

Código abierto de Github

No de código abierto

No de código abierto

No de código abierto

mecanismo

Estabilidad

Openal

Baidu

Intermediario

Modelo

Difusión estable

Dall-E2

Midjourney v5

Wenxin Ernie-Vilg2.0

● Modelos representativos nacionales y extranjeros:

Clip: pre-entrenamiento de imagen de lenguaje contrastante

Principio de implementación: El modelo pretrontratado intermodal de imagen de texto basado en el aprendizaje de contraste es extraer el texto e imágenes respectivamente a través de un codificador, asignar el texto y las imágenes al mismo espacio de representación, y entrenar el modelo a través del cálculo de similitud y diferencia del par de texto de texto, para que las imágenes que se ajusten a la descripción se puedan generar en base al texto dado. Pros y contras: Ventajas: No se deben marcar los datos por adelantado, realizar bien en la tarea de clasificación de texto de imagen de muestra cero, una comprensión más precisa de la descripción del texto y el estilo de imagen, cambiar los detalles no esenciales de la imagen sin cambiar la precisión y realizar un mejor desempeño en términos de diversidad en imágenes generadas. Desventajas: existen limitaciones en el rendimiento de escenarios complejos y abstractos, y el efecto de capacitación depende de imágenes de texto a gran escala para consumir conjuntos de datos y recursos de capacitación relativamente a gran escala.

Principio de implementación: Al definir una cadena de Markov de un paso de difusión, la imagen se genera agregando continuamente ruido aleatorio a los datos hasta que se obtienen datos de ruido gaussianos puros, y luego se aprende el proceso de difusión inversa, y la imagen se genera por inferencia de reducción de ruido inversa. El modelo de difusión perturba sistemáticamente la distribución en los datos y luego restaura la distribución de datos, lo que hace que todo el proceso parezca una propiedad de optimización gradual, asegurando la estabilidad y la capacidad de control del modelo. Pros y contras: Ventajas: restaurar los datos reales con mayor precisión, una capacidad más fuerte para mantener los detalles de la imagen y una mejor imagen realista. Especialmente en aplicaciones como la reparación de finalización de imágenes y la generación de mapas moleculares, puede lograr buenos resultados. Desventajas: Pasos de cálculo complejos, velocidad de muestreo lenta y capacidad de generalización débil a los tipos de datos.

Modelo de difusión

● Modelos convencionales:

Etapa de generación de modelos de difusión

● Modelo de generación de imágenes convencional ● El proceso de difusión mejora significativamente la estabilidad, la precisión y la diversidad Combinado con el clip, se puede aplicar a tareas de generación de imágenes intermodales ● Mejorar significativamente la velocidad y la calidad de las imágenes generadas.

Etapa de generación de autorregresión

● El mecanismo de autoatención basado en la estructura del transformador mejora la estabilidad y la racionalidad ● Problemas de velocidad de inferencia y aplicaciones de límite de costo de capacitación

● Modelo de generación de imágenes de generación anterior ● Mejorar la capacidad de generación e identificación a través del entrenamiento de confrontación ● Palos estabilidad, falta de diversidad y colapso de patrones

Etapa de generación de gan

Generación de imágenes de color verdadero

Diagrama RGB

Use la combinación de RGB tres colores primarios para representar el valor de color de cada píxel y guárdelo directamente en la matriz de imagen

Generación de imágenes con una composición de color relativamente simple, como mapas moleculares

Construido por una matriz bidimensional y un mapa de matriz de índice de color que almacena la imagen

Gráfico de índice

Generación de imágenes

Imagen a imagen Generar nuevas imágenes a partir de imágenes existentes

Composición de imágenes Síntesis de imágenes

Texto a imagen Genere imágenes semánticas que cumplan con la descripción del texto

AIGC - Generación de audio

AIGC - Generación de videos

AIGC - Generación de imágenes

definición

definición

definición

La generación de audio se refiere al proceso de sintetizar las formas de onda de sonido correspondientes basadas en los datos de entrada.

La generación de videos se refiere a la capacitación de la inteligencia artificial, lo que le permite generar automáticamente contenido de video de alta fidelidad que se ajusta a la descripción basada en datos moderados o multimodales dados como texto, imágenes, videos, etc.

La generación de imágenes se refiere al proceso de uso de la tecnología de inteligencia artificial para generar imágenes de un solo modal o intermodal basado en datos dados. Dependiendo de los objetivos de la tarea y los modos de entrada, la generación de imágenes incluye principalmente síntesis de imágenes, generar nuevas imágenes basadas en imágenes existentes (imagen a imagen) y generar imágenes semánticas basadas en descripciones de texto (texto a imagen).

Los principales tipos y áreas de aplicación de la generación de audio

Los tipos principales y las áreas de aplicación de la generación de videos

Tipos principales y campos de aplicación de la composición de imágenes

Aplicaciones típicas

naturaleza

Tipo de datos

naturaleza

Tipo de datos

Tipo de imagen

naturaleza

Aplicaciones típicas

Transmisión de información, servicio de interacción humano-computadora

Extraer características de información de texto y sintetizar información de voz

Información de texto

Editar, sintetizar y editar múltiples videos para generar nuevos videos, incluida la edición de atributos de video, edición de clips, edición de piezas de video, etc.

Editar generación

Gráfico binario

La matriz bidimensional de la imagen consiste en solo 0 (negro) y 1 (blanco), que puede considerarse como binarización del gráfico en escala de grises.

Extracción de texto, extracción de características de imagen

Edición de voz, traducción de voz, producción musical

Editar basado en un segmento de voz determinado o convertir un idioma a la información de voz de otro idioma

Información de audio

Agregue una variedad de efectos a los videos existentes, como filtros, luz y sombra, fuegos artificiales, etc. para mejorar la creatividad y el efecto artístico del video

Generación de efectos especiales

Escala de grises

El rango de valor de los elementos de la matriz bidimensional suele ser 0 (negro puro) a 255 (blanco puro), y el número medio representa el color de transición entre blanco y negro.

Imagen médica y generación de imágenes de teledetección

Dispositivos médicos portátiles

Percibir movimientos musculares como la garganta y la cara y sintetizar la voz

Vibración muscular

Generación de contenido

Genere el contenido de video correspondiente basado en el texto, las imágenes y otra información dados

Identificar y comprender el contenido visual, como las imágenes y los videos, y genere información de voz correspondiente a la forma del labio

Personas digitales

Contenido visual

Etapas clave del desarrollo tecnológico de la composición de imágenes

Etapas clave del desarrollo tecnológico de la generación de audio

Etapas clave del desarrollo tecnológico de la generación de videos

Principios de implementación y ventajas y desventajas del modelo principal

Desafío de implementación de comercialización de generación de imágenes

Factores clave que afectan las capacidades de aplicación de los modelos

Escenarios típicos de aplicación industrial para la generación de imágenes

Aplicaciones de generación de audio convencionales

Modelo

Introducción

Organización

¿Es código abierto?

Tacotrón2

Primero, propone un modelo de síntesis de habla de extremo a extremo como la infraestructura de múltiples soluciones de sistema de voz

Google

Ya abierto de origen en github

Modelo automático de reconocimiento de voz para mejorar las capacidades de reconocimiento de voz a través de conjuntos de datos a gran escala y diversificados, y apoya la transcripción del habla, la traducción del habla, etc.

Ya abierto de origen en github

Openal

Susurro

Modelo de síntesis de discurso de secuencia a secuencia totalmente convolucional, el efecto de síntesis del habla en varias personas se puede mejorar extendiendo el conjunto de datos de capacitación del modelo de síntesis de voz del habla

No de código abierto

Baidu

DeepVoice3

Modelo de pre-entrenamiento de voz chino de grado industrial, apoyando el reconocimiento de voz multimodal, el reconocimiento emocional, el reconocimiento de huellas de voz y otras tareas

No de código abierto

iflytek

Smart-TTS

Factores clave que afectan las capacidades de aplicación de los modelos

Factores clave que afectan las capacidades de aplicación de los modelos

El desafío de la comercialización de la generación de audio

Escenarios típicos de aplicación industrial para la generación de audio

Escenarios típicos de aplicación industrial para la generación de videos

Desafío para la comercialización de la generación de videos

Diseño de chips

Alimento y agricultura

energía

Ciencias de los materiales

Cuidado personal

La tecnología de inteligencia artificial se está desarrollando rápidamente, y las nuevas tecnologías pueden reemplazar las tecnologías existentes, afectando así el valor comercial de las tecnologías existentes.

Competencia de desarrollo tecnológico

● El desarrollo de medicamentos requiere una aprobación estricta ● Problemas de derechos de autor para el diseño de circuitos integrados ● Los modelos de descubrimiento molecular se pueden utilizar para desarrollar medicamentos prohibidos y productos peligrosos

ley Con seguridad

Desarrollo y Costo de verificación

Diseño de drogas

aplicabilidad

Generar calidad

llave factor

El descubrimiento molecular y los modelos de diseño de circuitos integrados deben ser adecuados para fines de diseño específicos. El modelo de diseño de circuito integrado también necesita volver a entrenar el modelo, modificar la arquitectura, ajustar manualmente los parámetros, los principios de descubrimiento del plan, etc. en combinación con los fines de diseño industrial para aplicar a los requisitos industriales.

Para el descubrimiento molecular y los modelos de diseño de circuitos integrados, la calidad de la generación es el factor central que determina sus capacidades de aplicación.

alambrado

Tipo de trabajo

Objetivos de trabajo

Modelo representativo

Algoritmos y modelos básicos

Dreamplace

Optimización de parámetros de red neuronal

Optimización de diseño de aprendizaje automático

Red neuronal gráfica

PL-GNN

Red neuronal gráfica

Aprendizaje de refuerzo

Red convolucional totalmente conectada

Red neuronal convolucional

Red neuronal convolucional

Máquina de detección de múltiples capas

...

Red neuronal convolucional

Autoencoder variacional

Búsqueda de árboles de Monte Carlo

RL para CF2

Deepplac

Decisión de diseño de inteligencia artificial

CNN para RDP3

FCN para RDP4

Considere las decisiones de diseño para el cableado

Ml para RDPE

Dlroute

Optimización de cableado de inteligencia artificial

...

Deeppr

VAE para CR6

MCT para CR5

Decisión de cableado de inteligencia artificial

disposición

Diseño completo y diseño de cableado

Diseño de cableado

Escenarios de aplicación para el descubrimiento molecular y el diseño de circuitos

Método de optimización de combinación

Método de generación profunda

Cadena de Markov Monte Carlo

MIMOSA

Bidimensional

MARTE

Bidimensional

Confo

Tridimensional

Modelo de difusión

Tridimensional

EVFN

Unidimensional

ÓRGANO

Bidimensional

Unidimensional

Bidimensional

Tridimensional

Tridimensional

Moidqnmoidon

Aprendizaje de refuerzo

GB-GA

DROGADO

Algoritmo genético

Bokei

BOA

Optimización bayesiana

Defactor

Unidimensional

Generar redes adversas

Bidimensional

ÓRGANO

Grafnvp

Bidimensional

Flujo estandarizado

Bidimensional

Moflow

SG-VAE

Unidimensional

Autoencoder variacional

Bidimensional

Cgva

SF-RNN

Unidimensional

Bidimensional

Molecularrnn

Modelo autorregresivo

Generar una representación

Modelo representativo

Algoritmos y modelos utilizados

Generar método

principio

Tipo de trabajo

Dado un conjunto de componentes de circuito integrado, que incluyen unidades estándar, módulos macro, puertas lógicas, etc., así como información característica como el ancho y la altura de estos componentes, También es necesario dar información sobre la relación de conexión entre las posiciones de PIN de estos componentes y los componentes, y asignar las posiciones físicas de los componentes en función de la información anterior para que los componentes no se superpongan entre sí.

disposición

alambrado

Después de completar el diseño, se ha determinado la posición del PIN del componente y también se ha determinado la relación de conexión entre los componentes. De acuerdo con la relación de conexión entre componentes y requisitos, como la longitud mínima de cableado total y la relación de sincronización entre los componentes, el circuito de conexión entre los componentes se diseñará sin violar las reglas de cableado.

Por lo general, el contenido de texto escrito que es real, funcional o entretenido

Representación tridimensional

AIGC - Discovery molecular y diseño de circuitos

definición

El descubrimiento molecular y el diseño de circuitos se refieren al uso del aprendizaje automático, la red neuronal profunda y otras tecnologías para aprender la estructura, las reglas y las propiedades de las moléculas y los circuitos integrados, y generar moléculas y circuitos integrados con estructuras similares, ajustarse a reglas específicas y tener propiedades objetivo.

Tipos principales y campos de aplicación de descubrimiento molecular y diseño de circuitos

Método de expresión

principio

Representación unidimensional

Expresar moléculas como cadenas para expresar los átomos y estructuras de las moléculas en los caracteres

Representación bidimensional

Moléculas expresas como datos gráficos, donde los átomos y los enlaces se representan como puntos y bordes de datos de gráficos respectivamente

Modelo principal de descubrimiento molecular

Modelo de diseño de circuito convencional

Factores clave que afectan las capacidades de aplicación de los modelos

Riesgos de comercialización del descubrimiento molecular y diseño de circuitos

● El desarrollo requiere muchos datos de datos y talento ● El proceso de verificación requiere mucha incertidumbre y tiene un ciclo largo

03 Riesgos de sustitución de tecnología y aplicación

02 Riesgos de seguridad de la información

01 mensaje de error Información dañina

Industria de comercio electrónico

Noticias y medios de comunicación

Industria educativa

● Generar descripción del producto ● Analizar revisiones de productos ● Generar recomendaciones de productos ● Generar un informe de análisis

● Generar informes de noticias ● Realizar la creación de contenido ● Generar alojamiento de transmisión oral ● Generar documento AD

● Generar un plan de enseñanza ● Generar un plan de enseñanza ● Ayudar a corregir la tarea ● Proporcionar tutoría de estudio

I + D

● Asistir en el desarrollo de productos de TI ● Generar casos de prueba ● Generar manual de productos ● Generar pasos de operación

Industria de servicio al cliente

● Generar una solución ● Solución inteligente de servicio al cliente ● Comprender las intenciones de los clientes ● Servicio al cliente exclusivo para grandes clientes

Marketing

● Generar una cita ● Generar un plan de ventas ● Analizar datos del mercado ● Analizar datos de ventas

Industria médica

● Ayudar a los médicos a escribir planes médicos ● Ayudar a los médicos a la escritura de registros médicos ● Ayuda a los pacientes a igualar los recursos médicos ● Proporcionar diagnóstico y orientación de tratamiento para los pacientes

● Analizar una gran cantidad de informes financieros ● Generar un resumen de la información clave ● Proporcionar asesoramiento de estrategia de inversión ● Generar un informe de análisis de datos

Industria financiera

Capacidades de personalización e innovación

Satisfacer las necesidades diferenciadas del cliente Responder a los cambios del mercado con la innovación

Operación del producto y atención al cliente

Aumentar la adherencia del usuario y aumentar los costos de migración Realizar la conversión y retención de los usuarios

Capacidad de marketing

Dilución efectiva de los costos Asegurar el margen de beneficio

Dominio de conocimiento del modelo extendido Descubra los puntos de dolor de la aplicación y las necesidades de aplicación

Generar calidad

Preguntas tongyi qian

Palabras de Wen Xin

conversar

Nube de alibaba

Baidu Smart Cloud

Shang Tang

Porcelana

Porcelana

Porcelana

Benchmarking contra la aplicación de generación de idiomas universal chino de Chatgpt, acceder a aplicaciones como Baidu Search Engine, Baidu Biblioteca, Asistente inteligente Xiaodu, etc., que alcanza la cooperación con muchas empresas e instituciones para explorar escenarios de aplicaciones de generación de idiomas

Sí

No

No

Benchmarking La aplicación de generación de idiomas común chino de ChatGPT, que admite modelos personalizados de empresas

Benchmarking contra la aplicación de generación de lenguaje universal chino de Chatgpt y la aplicación de generación de idiomas vertical para escenarios médicos y de programación

Tirar

Benchmarking La aplicación de generación de idiomas común de ChatGPT, optimiza la asistencia y seguridad del idioma de generación y proporciona servicios de aplicaciones de seguridad de generación de idiomas a nivel empresarial

Antrópico

exterior

Sí

Abrir en línea

Sí

Sí

Mercado

exterior

exterior

Organización

Openal

Google

2022 para la fecha: período de aceleración de la solicitud ● Generar la calidad del lenguaje es consistente con el nivel humano ● Las empresas de la industria exploran activamente los escenarios de aplicación y los métodos de aplicación de la generación de idiomas en diversas industrias y campos

Ⅵ

Ⅴ

F

mi

Ⅳ

2020-2021: Período de exploración de aplicaciones ● La capacidad de generación de idiomas cumple con los requisitos básicos de la aplicación ● Las empresas de la industria inicialmente exploran escenarios de aplicación para tareas de generación de idiomas de baja modal

2018-2019: Período de exploración de modelos ● El modelo de generación de idiomas tiene un paradigma claro ● Sentar las bases técnicas para aplicaciones de generación de idiomas bajos en modales

D

Ⅲ

do

Ⅱ

B

Ⅰ

2017: Período de desarrollo tecnológico ● Proponer la arquitectura del transformador, Yingding Technology Foundation ● Solo se pueden completar tareas de generación de idiomas altamente estampadas

Antes de 2017 ● Capacidad de generación de idiomas débil ● La aplicación solo puede completar tareas de generación de idiomas altamente estampadas

Período de desarrollo rápido

Período de inicio del mercado

Período de exploración

A

Aplicaciones de generación de idiomas convencionales

Introducción

Nombre de la aplicación

Benchmark Universal Language Generation Application, obteniendo los mejores resultados en múltiples tareas de generación de idiomas, como generación de texto, resumen de texto, modificación de texto, interacción del lenguaje natural, generación de códigos, etc., y cooperando con muchas empresas e instituciones líderes para explorar escenarios de aplicaciones de generación de idiomas

Chatgpt

Benchmarking La aplicación de generación de idiomas universal de ChatGPT, acceder al motor de búsqueda de Google para optimizar la experiencia de búsqueda y acceder al ecosistema de productos de la oficina de Google

BARDO

Proporcionar interacción

Generar contenido

Por lo general, el contenido de texto escrito que es real, funcional o entretenido

Artículos de blog, noticias, correos electrónicos, novelas, códigos

Generar un contrato de formato fijo, etc.

Puede ayudar en la creación de contenido literario y resumir varios contenidos.

AIGC - Generación de idiomas

definición

La generación de idiomas se refiere al modelo de probabilidad semántica aprendida por las redes neuronales que pueden generar idiomas de acuerdo con los requisitos de la tarea, y los idiomas generados incluyen lenguaje natural, lenguaje de programación y lenguaje lógico, etc.

Los principales tipos y áreas de aplicación de la generación de idiomas

Tipo de datos

naturaleza

Aplicaciones típicas

Generar un lenguaje común

Tener muchos conocimientos comunes de dominio y puede completar diferentes tipos de tareas de generación de idiomas de acuerdo con los requisitos

Cuadrícula de voxel, nube de puntos y malla

Generación de lenguaje vertical

Además de tener cierto conocimiento de dominio común, también existe un conocimiento de dominio profesional.

Escritura y análisis de informes financieros, etc.

Etapas clave del desarrollo tecnológico en la generación del lenguaje

Capacidades clave para la comercialización de aplicaciones de generación de idiomas

Escenarios típicos de aplicación industrial para la generación de idiomas

Riesgo de comercialización de la generación de idiomas

Debido a la naturaleza básica de la semántica, todo tipo de aplicaciones se pueden desacoplar y deconstruir a partir del nivel semántico.

En el proceso de generación de aplicaciones utilizando idiomas, dado que muchos productos y servicios se basan en servicios públicos en la nube o requieren información de carga al servidor de proveedores, puede ocurrir el riesgo de fuga de información.

La generación de información errónea y la información dañina puede tener un gran impacto en la reputación de la marca y la imagen del producto, y por lo tanto se convierte en un gran riesgo para la comercialización de aplicaciones de generación de idiomas.

Desafíos de innovación tecnológica

Desafío de implementación de la aplicación de escenario

Desafío de derechos de autor

En la actualidad, muchos escenarios de aplicación que tienen la oportunidad de ser comercializados por la generación tridimensional de inteligencia artificial, como la producción de películas, el diseño de concepto de producto, la producción de activos tridimensionales del juego, etc., todavía son aceptados por los usuarios en aplicaciones reales. La razón por la cual la generación tridimensional todavía se usa en este tipo de escenario de aplicación es que es necesario garantizar la unidad del contenido de la imagen desde diferentes perspectivas, por lo que la generación tridimensional todavía tiene su valor de aplicación único en estos escenarios.

En la actualidad, muchas aplicaciones de generación tridimensional de inteligencia artificial aún requieren una gran cantidad de datos de texto y datos de imagen bidimensionales como base para los modelos de capacitación. Si estos datos provienen de activos con derechos de autor, entonces usar estos datos para la comercialización es propenso a los problemas de derechos de autor.

03

02

01

Los escenarios de aplicación de la generación tridimensional se pueden dividir aproximadamente en escenarios para profesionales y escenarios para consumidores comunes. Los escenarios para los profesionales requieren la capacidad de la inteligencia artificial para cumplir con los requisitos de aplicación de nivel de línea industrial, como la generación de alta calidad y la alta capacidad de control. Sin embargo, los escenarios de aplicación para los consumidores ordinarios tienen requisitos relativamente bajos para la calidad de generación y la capacidad de control de la generación tridimensional de inteligencia artificial, pero las aplicaciones para los consumidores comunes generalmente tienen altos requisitos para la eficiencia de la generación.

Desafíos para la comercialización de la generación 3D

Realidad virtual

Capacitación educativa

Use la tecnología de generación 3D para crear mundos y personajes virtuales realistas para mejorar el realismo y la inmersión de la realidad virtual.

Los maestros y los estudiantes usan tecnología de generación tridimensional para comprender y aprender mejor conocimiento científico y técnico complejo, y mejorar la efectividad de la enseñanza y la eficiencia del aprendizaje.

Producción de películas y animación

Diseño de arte

Use la tecnología de generación 3D para crear escenas y personajes 3D realistas, y lograr efectos visuales complejos para mejorar la calidad y la visualización de películas y animaciones.

Use tecnología de generación tridimensional para crear obras de arte digitales, esculturas digitales y otros trabajos creativos para mejorar la eficiencia y la expresividad de la creación.

Diseño arquitectónico

Cuidado de la salud

Use la tecnología de generación 3D para crear modelos arquitectónicos y representaciones visuales más rápido, mejorando la eficiencia y precisión del diseño.

Use tecnología de generación tridimensional para crear modelos realistas de órganos humanos y dispositivos médicos para su uso en áreas como educación médica, simulación quirúrgica y diagnóstico de enfermedades.

Fabricación industrial

Use la tecnología de generación 3D para crear piezas y moldes más rápido, mejorando la eficiencia y precisión de la producción y reduciendo los costos de fabricación.

Use la tecnología de generación 3D para crear rápidamente escenas 3D realistas y personajes virtuales para mejorar el realismo y la inmersión del juego.

Desarrollo del juego

Escenarios típicos de aplicación industrial para la generación tridimensional

Controlabilidad

Fortalecer la comprensión de la instrucción El trabajo de modelado se separa del trabajo de representación, y se requiere la expresión de la red

Eficiencia de generación

Grandes cálculos y velocidad de generación lenta La generación de capacitación requiere altos requisitos de hardware

Finura y precisión del modelo Resolución de renderización, precisión Precisión de la expresión material

Generar calidad

Factores clave que afectan las capacidades de aplicación de los modelos

Modelo mágico

Principio de implementación: Primero, se utiliza un modelo 3D de red de alta resolución y de baja resolución para generar una representación simple de baja resolución del modelo 3D de cuadrícula hash, y luego se utiliza una representación de mayor calidad del modelo 3D para usar un método similar a los gráficos informáticos tradicionales. Pros y contras: Ventajas: el modelo tridimensional generado por los modelos Magic3D tiene una mayor resolución, un mejor efecto de representación y una eficiencia de generación significativamente mejorada. Desventajas: el modelo Magic3D tiene una alta demanda de recursos informáticos, tiempo de entrenamiento de modelo largo, gran impacto en la descripción del texto y una fuerte dependencia del conocimiento de dominio específico.

Modelo de Dreamfusion

Principio de implementación: Se basa principalmente en la tecnología del modelo de difusión en el aprendizaje profundo, y combina los conceptos de los campos de radiación neural (NERF) y el modelo de difusión de imagen de texto. Pros y contras: Ventajas: puede generar modelos 3D de alta calidad y realistas a partir de descripciones de texto, y admite la generación y optimización de ángulos múltiples, mejorando la coherencia y la realidad de las escenas 3D. Desventajas: tiene una alta dependencia de los recursos de hardware, y la capacidad de generalización del modelo debe mejorarse.

Modelo de clip -nerf

Principio de implementación: El modelo de clip (lenguaje contrastante-pretruña de la imagen) se introduce en la edición de NERF (campos de radiancia neuronal) para implementar la modificación de NERF guiada por texto o imagen. Pros y contras: Ventajas: el modelo Clip-NERF presta más atención a ajustar el modelo tridimensional generado y los efectos de representación tridimensionales en el lenguaje natural o los diagramas bidimensionales. Desventajas: en términos de efecto de generación y valor comercial, el modelo Clip-NERF tiene los mismos problemas que el modelo de campo Dream.

Principio de implementación: Usando la capacidad de Clip para generar de texto a imágenes bidimensionales, combinada con la capacidad de Nerf para aprender estructuras tridimensionales y representación de textura de imágenes bidimensionales, podemos lograr la generación del lenguaje natural al tridimensional. Pros y contras: Ventajas: el modelo de Dream Fields demuestra que el modelo de clip se puede aplicar en combinación con el modelo NERF y se rompe a través de las limitaciones de imaginación de modelos generativos tridimensionales anteriores. Desventajas: la estructura del contenido tridimensional generado por el modelo de campos de ensueño sigue siendo relativamente simple, y el efecto de representación tridimensional es pobre, por lo que no se pueden generar escenas tridimensionales a gran escala. Además, la eficiencia de generación del modelo Dream Fields es muy baja y tiene una conexión deficiente con el trabajo de generación tridimensional tradicional, por lo que no tiene valor comercial.

Modelo de campos de ensueño

● Modelos convencionales:

Principios de implementación y ventajas y desventajas del modelo principal

Período de exploración de aplicaciones de actualización bidimensional de dimensiones 2022 para la fecha

● La generación bidimensional se desarrolla rápidamente ● La ruta de actualización de la dimensión bidimensional está clara ● GaN todavía tiene aplicaciones

El período de desarrollo de la tecnología de actualización de dimensiones bidimensionales 2020-2022

● Proponer un campo de radiación neural ● Acelera la investigación de actualización dimensional ● Gan se convierte en la corriente principal de tridimensional

Período de germinación dimensional bidimensional 2018-2020

● Proponer la expresión tridimensional del campo nervioso ● La investigación de actualización dimensional se está desarrollando lentamente ● Hay muchas investigaciones tridimensionales nativas

La etapa clave del desarrollo tecnológico en la generación tridimensional

Aplicaciones típicas

Cuadrícula de voxel, nube de puntos y malla

Reconstrucción y representación de la escena tridimensional

naturaleza

Expresar la forma, la estructura y la posición de los objetos tridimensionales en forma intuitiva

Una escena tridimensional expresada en los parámetros de la red neuronal, a saber, un campo neuronal

Datos de expresión implícitos

Datos de expresión dominantes

Tipo de datos

Los tipos principales y las áreas de aplicación de la generación 3D

La generación tridimensional (inteligencia artificial) se refiere al uso de redes neuronales profundas para aprender y generar modelos tridimensionales de objetos o escenas, y sobre la base del modelo tridimensional, dar colores y luz a los objetos o escenas hace que la generación sea más realista. En las aplicaciones, la generación de un modelo tridimensional de un objeto o escena se llama modelado tridimensional, y el color y la luz y la sombra de un modelo tridimensional se denominan representación tridimensional.

definición

AIGC - Generación 3D