Modelo grande de IA é a abreviatura de "modelo grande de pré-treinamento de inteligência artificial", que inclui os dois significados de "pré-treinamento" e "modelo grande". o modelo é treinado em conjuntos de dados em grande escala. Depois de concluir o pré-treinamento, não há necessidade de ajuste fino, ou apenas é necessário ajuste fino com uma pequena quantidade de dados, e ele pode suportar diretamente vários aplicativos.

Entre eles, a pré-formação de grandes modelos é como um estudante universitário ou mesmo um doutorando que conhece todos os conhecimentos básicos e concluiu uma “formação geral”. Mas eles ainda precisam de prática e ajuste fino após feedback para concluir melhor as tarefas.

Além disso, grandes modelos de IA têm muitas vantagens, como propósito geral e replicação em larga escala, e são uma direção importante para a realização de AGI (inteligência artificial geral).

Os grandes modelos atuais de IA incluem processamento de linguagem natural (PNL), visão computacional (CV), etc., bem como grandes modelos multimodais unificados e integrados. Por exemplo, ChatGPT é uma inovação revolucionária no campo do processamento de linguagem natural. Ele compreende e fala a “linguagem humana”. Ele supera os modelos anteriores de processamento de linguagem natural e pode lidar com várias tarefas de processamento de linguagem natural, incluindo tradução automática, resposta a perguntas, geração de texto, etc.

Simplificando, podemos pensar em um modelo grande como uma base de conhecimento muito grande, que armazena uma grande quantidade de informações e conhecimento, que pode ajudar o computador a compreender e processar melhor os dados de entrada. Cada neurônio e parâmetro no modelo grande juntos formam uma rede poderosa que pode processar e transformar com eficiência os dados de entrada.

Atualmente, empresas nacionais como Baidu, Alibaba, Tencent e Huawei desenvolveram grandes modelos de IA. Cada série de modelos tem seu próprio foco, e alguns foram lançados e alguns aplicativos foram implementados.

O Baidu vem implantando IA há muitos anos e tem uma certa vantagem de ser o pioneiro em modelos grandes. Atualmente, o número de empresas que se inscreveram para testes de serviço de chamada API de Wen Xin Yi Yan ultrapassou 65.000. Em termos de modelos de grande indústria, tem sido aplicado em casos com State Grid, Shanghai Pudong Development Bank, Geely, TCL, People's Daily Online, Shanghai Dictionary Publishing House, etc.

O grande modelo do Alibaba Tongyi é bom em operações lógicas, capacidades de codificação e processamento de voz. O grupo possui um rico ecossistema e linhas de produtos, que são amplamente utilizados em cenários de viagens, cenários de escritório, cenários de compras e cenários de vida.

O modelo de grande escala Hunyuan da Tencent foi colocado em uso em publicidade e produção de jogos. O grupo está atualmente pesquisando assistentes inteligentes de conversação e espera-se que otimize a ecologia QQ e WeChat após ser colocado em uso.

A Huawei coopera estreitamente com o lado B e espera-se que as aplicações futuras sejam principalmente ToB. Além disso, a Huawei possui reservas abundantes em algoritmos e poder computacional. Por exemplo: "Pengcheng Cloud Brain II" ganhou o ranking global IO500 por cinco vezes consecutivas e possui forte poder de computação de IA e capacidade de transferência de dados. A plataforma Huawei Cloud ModelArts tem a capacidade de processar dados massivos com eficiência, completando 40 TB de processamento de dados de texto em; 7 dias; Dados Pangu O modelo foi lançado oficialmente já em abril de 2021. Os dados de texto de treinamento do modelo grande Pangu atual são de até 40 TB (GPT-3 é 45 TB).

Grandes modelos geralmente consistem em centenas de milhões a bilhões de parâmetros e precisam ser treinados e otimizados em grandes quantidades de dados para alcançar maior precisão de previsão e capacidades de generalização. As pessoas na indústria costumam dizer que grandes modelos são o produto da combinação de “big data, grande poder de computação e algoritmos fortes”. A chave para o desenvolvimento da indústria também reside nestes três pontos.

Grandes dados

Grande poder de computação

algoritmo forte

No futuro, os requisitos tradicionais de “domínio do conhecimento geral, capacidade de trabalho em processos, etc.” tornar-se-ão gradualmente requisitos ocultos de nível inferior, enquanto os requisitos mais explícitos e de alto nível serão a capacidade de “criar valor e usar ferramentas de forma eficiente para resolver problemas."

Para as pessoas comuns, as oportunidades que os grandes modelos de IA nos trazem podem ser divididas em duas categorias: uma é a oportunidade de investimento de curto prazo e a outra é a oportunidade de carreira de longo prazo.

No curto prazo, as empresas com reservas técnicas na área de grandes modelos terão mais vantagens, como Tencent Holdings, Alibaba, Baidu, etc. Ao mesmo tempo, você pode prestar atenção aos principais alvos que assumiram a liderança em vídeo, marketing, leitura e outras subdivisões relacionadas, como iFlytek, Danghong Technology, Jebsen Holdings, BlueFocus, Fengyuzhu, Zhejiang Internet, etc.

No longo prazo, tomando emprestado o que Lu Qi disse em seu discurso: “Esta era (a era dos grandes modelos) é muito semelhante à era da corrida do ouro. pessoas morreriam. Mas aqueles que vendem colheres e pás As pessoas sempre podem ganhar dinheiro.”

A inovação empresarial impulsionada pela tecnologia humana pode ser dividida principalmente em três tipos de oportunidades – tecnologia subjacente, satisfação de necessidades e mudança do mundo.

O primeiro é o nível mais baixo de tecnologia digital. A digitalização é uma extensão dos seres humanos. Todos os grandes modelos de IA lançados atualmente, incluindo o GPT, são baseados em tecnologia. Empresas de chips, incluindo Nvidia e Cambrian, também fornecem recursos de hardware para a tecnologia subjacente. Podemos buscar oportunidades que nos agradem, ou trabalhar duro para melhorar nossas habilidades para esta posição, como front-end, back-end, equipamentos, chips, etc.

A segunda é usar a tecnologia para resolver necessidades. A demanda pode ser dividida em duas direções: Para C, a IA pode ser usada para resolver o entretenimento, consumo, redes sociais, conteúdo, etc. de todos, e todas as necessidades que podem ajudar as pessoas a viver uma vida melhor precisam ser atendidas; pode ajudar as empresas a reduzir custos e aumentar o efeito de crescimento. As oportunidades nesta parte são principalmente para contatar pessoas, entender melhor as necessidades dos usuários e trazer melhores produtos ou experiências.

A terceira é mudar o mundo. Por exemplo, tecnologia energética, energia transformada, ou ciências da vida, ou novo espaço. Por exemplo, Musk está trabalhando em robôs, interfaces cérebro-computador, etc., até mesmo no Metaverso e na Web 3.

Lu Qi mencionou em seu discurso seus pontos de vista sobre grandes modelos: Estruturas de modelos em maior escala e mais complexas significam campos de aplicação mais amplos e mais oportunidades - mas devem ser cuidadosamente considerados, pensar primeiro e depois usar orientados para a ação.

As oportunidades para as pessoas comuns são muito semelhantes às do desenvolvimento de grandes modelos. O desenvolvimento a longo prazo deve ser impulsionado pela tecnologia, mas desmontar, analisar, classificar e controlar as necessidades durante a implementação é tudo. Faça o que puder e deixe o resto para o futuro!