Wondershare EdrawMind
MindMap Gallery Difusão Estável
- 10
Difusão Estável
Explicação detalhada do Stable Diffusion, apresentando a instalação e implantação de model/lora/VAE/plug-ins/embeddings, os parâmetros de interface e o uso básico dos diagramas Vincent.
Edited at 2024-04-08 21:25:40
- Recommended to you
- Outline
Difusão Estável
1. Instalação e implantação do modelo/lora/VAE/plug-in/embeddings
Três maneiras de instalar extensões
1. Vá para a página da extensão, clique em Disponível para carregar a lista de extensões, lembre-se de desmarcar [Incluir publicidade, pacote de idiomas, instalado] para ver a lista de plug-ins
Aqui tomamos como exemplo a instalação do editor 3D Openpose Como há muitos plug-ins, podemos usar a função de pesquisa na web Ctrl F e digitar openpose para pesquisar rapidamente os plug-ins correspondentes e clicar em Instalar mais tarde. .
2. Encontre o URL do plug-in. Cada um é diferente do URL e copie o link para instalar.
Este método requer o conhecimento do endereço github do plug-in
Os dois métodos de instalação acima são recomendados. Você precisa ativar a magia para instalar com sucesso. No entanto, é instável e pode causar erros de instalação e tentativas malsucedidas.
A vantagem é que você pode atualizar o plug-in diretamente em Extension-Check for Updates
Você também pode atualizar diretamente do Autumn Leaves Launcher
3. Se os métodos acima falharem ou o plug-in não for exibido, instale-o manualmente no caminho do plug-in. Vamos usar a instalação do plug-in Controlnet como exemplo. Abra o URL do GitHub onde está o plug-in Contrglnet. em está localizado: https://qithub.com/lllyasviel/ControlNet-v1- 1-nightly
Após o download, descompacte-o e coloque-o na pasta de extensão ovelai-webui\extensions para reiniciar o webUI e você verá que o plug-in está instalado.
Desvantagem: Após a atualização, você deve colocar manualmente a pasta atualizada no diretório do plug-in e o pacote Akiye será atualizado automaticamente.
Depois de instalar o plug-in, você deve recarregar o weib ui. Se não for exibido, tente desligar o inicializador e acessá-lo novamente.
Associações entre modelos grandes, lora, VAE, plug-ins e embeddings
Modelo grande: placas, vários tipos
difusão estável\modelos\difusão estável
Também chamado de modelo inferior e modelo principal. O modelo que tem maior impacto no desempenho.
Pessoa real/produto/bidimensional
O volume é relativamente grande, geralmente vários G
Lora: comida rica
difusão estável\modelos\Lora
Simplificando, ao montar Lora, você pode especificar as características do personagem ou estilo a ser gerado.
Hanfu/estilo tinta/três visualizações/caixa cega
O volume é de cerca de 100M
vae: tempero para deixar a comida deliciosa
difusão estável\modelos|VAE
VAE pode ser entendido simplesmente como um perfil de cor ou filtro de imagem. Sem VAE, a imagem ficará cinza.
Hoje em dia, muitos modelos grandes possuem VAE integrado, alguns deles não o possuem e precisam ser usados comumente e o padrão geralmente permanece inalterado.
Plug-in: Pauzinhos, garfos, vamos comer melhor
difusão estável\extensões
Como plug-in de tradução e ControlNet
incorporações: pacotes de culinária prontos
difusão estável\embeddings
Na verdade, significa embalagem imediata de palavras, que é frequentemente usada para evitar o colapso da estrutura do corpo humano, estilo de pintura, estrutura espacial, etc. Se não houver incorporação, se quiser evitar o colapso do estilo de pintura, pode ser necessário dizer dezenas de palavras-chave, mas agora com uma boa incorporação, basta inserir uma palavra de alerta para gerar uma boa imagem.
URL do modelo
Precisa de magia
Site oficial do modelo C: https://civitai.com/
Abraçando o rosto: ttps://huggingface.co/models?other=stable-diffusion
Não é necessária magia
LibuLibuai: http://www.liblibai.com/#/
Pavilhão da Alquimia: http://www.liandange.com/models
Autumn Leaf Launcher, sem imagem de visualização, não muito realista
2. Parâmetros de interface e uso básico do diagrama Vincent
Parâmetros de interface
Grande seleção de modelos: Selecione o modelo (modelo base) a ser utilizado. Este é o fator que tem maior impacto nos resultados gerados, refletido principalmente no estilo da imagem.
Vae: entendido simplesmente como filtro, o padrão é 84000
Ajuste o número de camadas: Quanto menor o valor da camada do clipe, mais próxima a descrição estará do descritor. Quanto maior o clipe, maior será o grau de liberdade. O valor padrão é 2, não há necessidade de alterá-lo
Solicitar entrada de palavras
palavras positivas
Categoria de qualidade de imagem: obra-prima, melhor qualidade, alta resolução, altamente detalhada, Obra-prima, melhor qualidade, alta definição, alto detalhe
Assunto: uma menina, um menino, um cachorro, uma casa
Atributos: longos cabelos loiros, olhos azuis, gorda, magra, brincos, usa blusão, usa saia, estilo moderno, barroco, estilo chinês
Plano de fundo: hospital, escola, apartamento, rua, fundo transparente, fundo gradiente
Estilo de pintura: estilo realista, estilo de ilustração, monocromático, cômico, retrô Fotos: retrato de corpo inteiro, retrato de meia-vida, espelho selfie, rosto frontal, olhando para o público, de frente para a câmera.
Outros: inverno, neve, chuva, cores quentes, cores verde-laranja
palavra de prompt reverso
Se você não inseri-lo, a qualidade da saída não será alta e o estilo de pintura entrará em colapso facilmente. Você pode defini-lo como um modelo fixo.
NSFW, nu, nu, pornografia, (pior qualidade, qualidade baixa: 1,4), íris deformada, pupilas deformadas, (deformadas, distorcidas, desfiguradas: 1,3), cortado fora da moldura, mal desenhado, anatomia ruim, anatomia errada, membro extra, faltando membro, membros flutuantes, rosto clonado, (mãos e dedos mutantes: 1.4), membros desconectados, pernas extras, dedos fundidos, muitos dedos, pescoço longo, mutação, mutante, feio, nojento, amputação, embaçado, artefatos jpeg, marca d'água, marca d'água, texto, assinatura, esboço,
NSFW, Nudez, Nudez, Pornografia, (Pior Qualidade, Baixa Qualidade: 1.4), Íris Distorcidas, Pupilas Distorcidas, (Deformado, Distorcido, Desfigurado: 1.3), Cortado, Fora da Moldura, Mal Desenhado, Má Interpretação, anatomia incorreta de membros extras , membros perdidos, membros flutuantes, rostos clonados (mãos e dedos mutantes: 1.4), membros quebrados, pernas extras, dedos fundidos, muitos dedos, pescoços longos, mutações, mutação feia nojenta, borrão de amputação, artefatos jpeg, marca d'água texto de marca d'água, assinatura , esboço
Como salvar modelos
Salvar a palavra do prompt atual como estilo padrão
Tempos de amostragem
A difusão estável se traduz em chinês: difusão estável. O princípio é que gradualmente adiciona ruído à imagem de treinamento e, finalmente, se transforma em uma imagem de ruído completamente aleatória. Este processo é como uma gota de tinta colocada em um copo d’água. Ela se espalhará lentamente e, eventualmente, será distribuída uniformemente na água.
Quanto maior o número de etapas de iteração de amostragem, melhor será o quadro, mas maior será o tempo de cálculo. Sem requisitos especiais, em geral, a implantação da amostragem só precisa ser mantida entre 20 e 30 (padrão 20). não há nenhuma mudança especial acima de 30.
Método de amostragem
Sabemos que a Difusão Estável é um método de geração de imagens baseado no modelo de difusão. Seu processo é usar uma imagem cheia de ruído como referência para se difundir gradativamente mais próximo do alvo (prompt). Simplificando, esses amostradores são um algoritmo que após cada etapa compara a imagem gerada com a imagem solicitada pelo prompt de texto e, em seguida, adiciona algumas alterações ao ruído até atingir gradualmente uma imagem que corresponda à descrição do texto.
Existem muitos métodos de amostragem que determinam a qualidade da imagem, mas atualmente existem basicamente apenas alguns recomendados que são comumente usados.
Euler e
O método de amostragem mais rápido, o amostrador mais direto, simples e estável
Os requisitos para o número de etapas de amostragem são muito baixos. Ao mesmo tempo, à medida que o número de etapas de amostragem aumenta, os detalhes não mudam repentinamente quando o número de etapas de amostragem aumenta para um determinado número. não use-o em cenários de alto nível.
Cenas adequadas: imagens bidimensionais, cenas pequenas
DPM 2S para Karras
Pode equilibrar velocidade com qualidade e produzir imagens mais precisas e seus detalhes
Duas dimensões
DPM SDE Karras
Nada mal em comparação com 2s. Resumindo, a principal característica é que em comparação com Euler a, haverá mais detalhes na mesma resolução. Por exemplo, todo o corpo pode ser amontoado em uma imagem pequena, mas a velocidade de amostragem é mais lenta.
Estilo realista, retratos, cenas complexas
DDIM
Raramente usado, é rápido e pode gerar rapidamente imagens de alta qualidade. No entanto, se você quiser tentar um número ultra-alto de etapas, poderá usá-lo à medida que o número de etapas aumenta, os detalhes podem ser sobrepostos.
Cenas adequadas: retratos realistas, cenas complexas
Restauração facial (geralmente mais eficaz para retratos realistas, 2D é quase inútil)
Mapa de blocos (usado para gerar textura padrão)
Restauração de alta resolução
Em termos leigos, significa ampliar a imagem redesenhando-a e adicionar alguns detalhes ao ampliá-la.
Algoritmo de amplificação: Basta usar o valor padrão, Latente, para pessoas reais: R-ESRGAN 4x, para uso bidimensional: R-ESRGAN 4x Anime6B
Amplitude de redesenho: o impacto de diferentes valores de amplitude de redesenho (geralmente 0,4-0,7 é mais adequado)
Configurações de largura e altura
A maioria dos modelos é treinada na resolução de 512*512, e alguns são treinados na resolução de 768*768. Portanto, quando o tamanho de saída é relativamente grande, como 1024*1024, a IA tentará inserir duas ou três imagens na imagem. a quantidade de conteúdo na imagem, haverá várias emendas de membros, várias pessoas que não são controladas pelas entradas, vários ângulos, etc. Adicionar entradas pode aliviar parcialmente o problema, mas o mais importante é controlar o quadro, primeiro calcule as imagens pequenas e médias e depois amplie para a imagem geral.
O mais importante é que a geração da imagem é muito grande, o cálculo é lento e é fácil consumir a memória de vídeo (recomenda-se gerar imagens baseadas em 512 ou 768)
Se você tiver uma imagem de referência específica, coloque-a em PS e modifique o tamanho proporcional r para que os valores de altura e largura sejam mantidos entre 512-768 pixels, e o outro tamanho possa ser arbitrário. Se você quiser um tamanho maior, use a função de restauração HD
Imagem quadrada 512*512, tenderá a mostrar rostos e bustos
A imagem alta é 512*768, que tenderá a mostrar imagens de corpo inteiro em pé e sentado.
Gerar lote/quantidade
Número de imagens geradas = lote gerado * número de cada lote
Se a configuração da placa gráfica não for boa, não é recomendado ajustar os parâmetros de quantidade. É recomendável modificá-la. Será mais rápido gerar imagens em lote.
Difusão Estável
2. Parâmetros de interface e uso básico do diagrama Vincent
Parâmetros de interface
Coeficiente de orientação de palavras imediatas (escala CFG)
Quanto maior o valor CFG, mais obediente é Ai e mais relevante é a imagem gerada para a palavra prompt.
CFG é relativamente seguro na faixa de 5 a 10. Geralmente, é recomendado reduzir ou aumentar de acordo com a situação real.
Geralmente padrão: 7 é suficiente, ajuste de acordo com o conteúdo da tela
Quanto menor o valor CFG, mais desobediente é Ai, e quanto mais livremente ele pode jogar, mais fraca é a correlação entre a imagem gerada e a palavra prompt.
Número de semente aleatório
Um importante parâmetro utilizado para controlar a aleatoriedade e a diversidade dos resultados gerados.
Clique no botão da peneira para definir a semente aleatória como -1, que é aleatória
Clique no botão Reciclar para definir a semente aleatória como a semente aleatória da imagem que você está vendo na barra de imagens à direita.
Semente aleatória de mutação: ajuste a intensidade da mutação (basta um pequeno valor, como: 0,001)
gerar
Use os últimos dados de imagem gerados (incluindo palavras de alerta positivas e negativas e vários parâmetros)
Limpar palavras de alerta positivas e negativas
Acesse modelos e outros conteúdos
Insere o estilo predefinido selecionado após a palavra do prompt atual
Salvar modelo de prompt do Word
Se você deseja modificar o modelo de prompt de texto salvo anteriormente, encontre o arquivo de estilo no arquivo sd, clique com o botão direito para abri-lo no modo bloco de notas e você pode excluí-lo. (Nota: você deve salvar um modelo antes que um arquivo apareça)
Instruções de uso
Se a geração da imagem falhar e a memória estiver cheia, tente ajustar o comprimento, a largura e o número de etapas até que ela funcione normalmente.
A configuração de força da palavra-chave não deve ser muito alta (experimente você mesmo e veja)
Nunca escreva palavras-chave e palavras-chave negativas ao contrário
Normalmente uso de 20 a 50 para etapas de tela (mas com pouca memória de vídeo, a maioria ainda tem 30) e intensidade de palavras-chave de 7 a 15.
3. Gramática e peso das palavras prontas
Palavras de alerta positivas: Comparado com Midjourney, ele precisa ser escrito com mais precisão e cuidado. Quanto mais descrições, mais próximo está do conteúdo desejado. Quanto menos descrições dão à IA mais espaço para jogar livremente.
Palavras de prompt reversas: conteúdo que você não deseja que apareça
Princípios de escrita
Quase todos os modelos só entendem palavras em inglês
Todos os símbolos devem usar meia largura em inglês e as frases devem ser separadas por vírgulas de meia largura.
Quebras de linha são permitidas, mas é melhor colocar um delimitador (vírgula de meia largura em inglês) no final de cada linha.
Princípios gramaticais
Quanto mais cedo for a palavra, maior será o peso, por exemplo
árvore, 1 garota, pode haver uma árvore com uma garota parada ao lado dela
1menina,árvore, pode aparecer um retrato de uma menina, com uma árvore ao fundo
Portanto, o formato de palavra de prompt comumente usado na maioria dos casos é (escrita de três parágrafos)
obra-prima, melhor qualidade, esboço, 1girl, stand, jaqueta preta, wallbackgoround, cheio de pôster, por token,
Gramática avançada Desenho passo a passo (mistura de gradiente é o nome popular, desenho passo a passo está mais próximo da intenção original)
[tagA: tagB: 0,3] Desenhe a palavra-chave A antes de 30% de progresso, desenhe a palavra-chave B após 30% de progresso [cat: dog: 0,6] Desenhe gato antes de 60% de progresso, desenhe cachorro após 60% de progresso
[cachorro: dragão: 6], no céu, meio corpo, close-up ------ Quando o valor é maior ou igual a 1, significa o número de passos * desenhe o cachorro antes do passo, e desenhar dragão após * progresso da etapa Você pode passar o controle do número de etapas e ajustar a proporção entre os dois. Através de diferentes etapas, o gradiente da palavra-chave 1 para a palavra-chave 2 pode ser alcançado. Esta é a origem do nome comum de gradiente.
A distribuição termina desenhando [uma menina: 5] à beira-mar [ ] Os colchetes são redução de peso. Se você quer que alguém não se destaque ou seja importante, coloque colchetes para quem não é importante, e some o número de passos (. quanto menor o valor, menos você deseja. Quanto mais óbvio, quanto maior o valor, menos coisas indesejadas serão exibidas).
Método de escrita Palavras de qualidade de imagem, descrição do assunto, plano de fundo, composição
Palavras de qualidade (obra-prima, melhor qualidade, etc.)
Descrição do tópico (1 menina, cabelo comprido, vestido azul, sorrindo para a câmera, etc.)
Cenas e ambientes (floresta, árvore, flor branca, dia, luz solar, céu nublado, etc.)
Perspectiva e composição da imagem (close-up, corpo inteiro, distante, etc.)
Tente escrever um parágrafo de palavras-chave de acordo com a estrutura acima.
Palavra/composição com qualidade de imagem
obra-prima, melhor qualidade, 8k, detalhes malucos, detalhes intrincados, ultra detalhe, ultra qualidade, alto detalhe, busto
obra-prima, melhor qualidade, 8k, detalhes insanos, detalhes intrincados, hiperdetalhado, hiper qualidade, alto detalhe, meio corpo,
Descrição do corpo principal (um pouco mais detalhada)
1 garota com longos cabelos ruivos, olhos verdes, usando um lenço e um suéter listrado, sorrindo levemente para a câmera,
1 garota, longos cabelos ruivos, olhos verdes, camisa, jeans, sorrindo para a câmera,
Como é o fundo?
Fundo intrincado na praia, noite, céu estrelado
Fundo complexo, na praia, à noite, céu estrelado
Se você não sabe escrever, pode acessar o site c e copiar os pontos-chave dos excelentes trabalhos de outras pessoas para aprender.
Ao copiar palavras-chave, lembre-se de verificar se ela é consistente com o nome do pacote lora local (sem esse lora, os resultados gerados serão inconsistentes)
Cole-o na caixa de palavra-chave de encaminhamento e clique no primeiro botão
Dicas para reduzir elementos adultos
Positivo: family_friendly (ajuste a proporção para ajustar o peso. Quanto maior a proporção numérica, maior a chance de desenhar filhos)
Reverso: nsfw, nude, nu, pornografia (inadequado para o local de trabalho, nudez, nudez, pornografia), geralmente significando voltado para adultos, é recomendado adicionar nsfw toda vez que você desenhar
Mão inicial fixa
Recomenda-se salvá-lo como modelo para facilitar o uso na próxima vez
Posições iniciais simples na frente e atrás
Palavras de alerta positivas: obra-prima de melhor qualidade, obra-prima, melhor qualidade
Palavras de prompt reversas: nsfw, (pior qualidade, qualidade ruim: 1,3) nsfw, (pior qualidade, qualidade ruim: 1,3)
Posturas iniciais um pouco mais longas na frente e atrás
Palavras positivas: obra-prima, melhor qualidade, 8k, detalhes insanos, detalhes intrincados, hiperdetalhado, hiper qualidade, alto detalhe, ultra detalhado,
(Obra-prima, melhor qualidade, super qualidade, resolução 8K, detalhes malucos, detalhes intrincados. Super detalhes, altos detalhes, ultra detalhes)
Palavras de prompt reversas: NSFW, nu, nu, pornografia, (pior qualidade, baixa qualidade: 1,4), íris deformada, pupilas deformadas, (deformado, distorcido, desfigurado: 1,3), cortado, fora de quadro, mal desenhado, anatomia ruim, anatomia errada. membro extra, membro perdido, membros flutuantes, rosto clonado, (mãos e dedos mutantes: 1,4), membros desconectados, pernas extras, dedos fundidos, muitos dedos, pescoço longo, mutação, mutante, feio, nojento, amputação, embaçado, artefatos jpeg, marca d'água, marca d'água, texto, assinatura, esboço,
NSFW, Nudez, Nudez, Pornografia, (Má Qualidade, Baixa Qualidade: 1.4) Íris Distorcidas, Pupilas Distorcidas, (Distorcidas, Desfiguradas: 1.3) Cortadas, Fora do Quadro, Mal Desenhadas, Má Construção, Estruturas Erradas, Membros Extras, Membros Faltando , membros flutuantes, rostos clonados, (mãos e dedos mutantes: 1.4) membros desconectados, pernas extras, dedos fundidos, dedos extras, pescoços longos, mutações, mutantes, feios, nojentos, amputação, embaçados, artefatos jpeg, marca d'água, texto com marca d'água, assinatura, esboço
--NSFW não adequado para trabalho imagem não adequado para trabalho
Além dessas palavras gerais, você também pode adicioná-las de acordo com as necessidades da imagem. Por exemplo, se um cachorro aparecer na imagem gerada, mas você não quiser que o cachorro apareça na imagem, você pode adicionar ". dog" para a palavra do prompt reverso.
Como tornar retratos realistas com mais alta definição
Palavras positivas: fotografia, obra-prima, melhor qualidade, 8K, HDR, ROWphoto, alta resolução, absurdos: 1,2, Kodak portra 400, granulação de filme, fundo desfocado, bokeh: 1,2, reflexo de lente, (cor vibrante: 1,2) .gril
fotografia fotografia
obra-prima, a melhor qualidade é de excelente qualidade (obra-prima, melhor qualidade).
8K, HDR, foto ROW, alta resolução, absurdo: 1,2 É NÍTIDO, ALTA RESOLUÇÃO (8K, HDR, FOTO DE LINHA, ALTA RESOLUÇÃO: 1.2
Kodak Portra 400, granulação de filme, é a característica do filme (Kodak Portra 400, granulação de filme)
fundo desfocado, bokeh:1.2, reflexo de lente, fundo desfocado, desfoque, halo
cor vibrante: 1.2 é colorido
Insira as palavras-chave acima para obter uma sensação e detalhes mais atmosféricos.
Separador de palavras rápido
1. Use vírgulas inglesas ou " " como delimitadores (palavras imediatas: estilo rococó, sala de estar, janelas grandes, semente vermelha: 3391285208)
2. Existem espaços antes e depois do separador e isso não terá nenhum efeito.
3. Assim como MJ, quanto mais antiga for a palavra, maior será o peso.