Aprenda uma linguagem de programação (Python ou C): Esta é a base para todos os outros aprendizados. É recomendável que você primeiro dedique um tempo para dominar uma linguagem de programação, especialmente Python, porque ela é amplamente utilizada nas áreas de visão computacional e profunda. aprendizado.

Uso de ferramentas: Instale e familiarize-se com ferramentas e bibliotecas relevantes, como OpenCV, TensorFlow, PyTorch, MATLAB, etc. Essas ferramentas serão usadas frequentemente em estudos subsequentes.

Recomendação de tempo: 1-2 meses

Processamento de imagens: aprenda técnicas básicas de processamento de imagens, como filtragem, detecção de bordas e extração de recursos. Faça algum trabalho prático com OpenCV.

Calibração de câmera e transformação geométrica: Domine técnicas geométricas como calibração de câmera, projeção e transformação de perspectiva. A compreensão desses conteúdos é crucial para a geração subsequente de visualizações BEV.

Visão estéreo e percepção de profundidade: aprenda como calcular informações de profundidade por meio da visão estéreo e entenda melhor a relação entre as câmeras e o espaço tridimensional.

Recomendação de tempo: 2-3 meses

Operações e transformações matriciais: Aprenda o básico da álgebra linear, incluindo operações matriciais, valores próprios, vetores próprios, etc., o que é muito importante para a compreensão das transformações geométricas na visão computacional.

Geometria espacial: Dominar os princípios de transformação de coordenadas, rotação, projeção, etc. em geometria tridimensional. Este conhecimento é indispensável na geração de vistas BEV.

Recomendação de tempo: 2 meses (estudo em paralelo com Fundamentos de Visão Computacional)

Algoritmos básicos: Aprenda conhecimentos básicos, como aprendizagem supervisionada e aprendizagem não supervisionada, e compreenda algoritmos básicos, como classificação e regressão.

Prática: aplique conhecimento de aprendizado de máquina em projetos de classificação de imagens ou detecção de objetos para entender melhor como algoritmos são usados ​​para compreensão de imagens.

Recomendação de tempo: 2-3 meses

Noções básicas de aprendizado profundo: aprenda a estrutura e os princípios básicos das redes neurais e domine métodos de otimização, como retropropagação e gradiente descendente.

Rede Neural Convolucional (CNN): Foco no aprendizado da arquitetura CNN para processamento de imagens, como ResNet, YOLO, Faster R-CNN, etc. Você pode realizar operações práticas em conjunto com o projeto de detecção de alvos para entender como usar esses modelos para detecção e classificação de alvos no BEV.

Recomendação de tempo: 3-4 meses

Noções básicas de SLAM: Aprenda a teoria básica e algoritmos comuns de posicionamento simultâneo e construção de mapas (SLAM) e entenda como realizar o posicionamento e a construção de mapas em um ambiente dinâmico.

Fusão de vários sensores: Aprenda como fundir dados de vários sensores, como câmeras e lidar, para melhorar a precisão e a robustez da percepção ambiental.

Recomendação de tempo: 3-4 meses

Projeção e transformações de perspectiva inversa: Saiba mais sobre como transformar imagens 2D comuns em vistas panorâmicas. Domine os princípios geométricos da transformação de perspectiva inversa.

Implementação do reconhecimento BEV: Aprenda como gerar visualizações BEV a partir de múltiplas câmeras e resolver problemas como oclusão e emenda de perspectiva. Visualizações BEV de alta qualidade podem ser geradas usando métodos de aprendizagem profunda, como Lift-Splat-Shoot, etc.

Recomendação de tempo: 3 meses

Plataformas embarcadas: Aprenda como desenvolver sistemas de IA em plataformas embarcadas como NVIDIA Jetson e Intel Movidius.

Integração de hardware: Aprenda a integrar câmeras, lidar e outros sensores com sistemas embarcados para construir um sistema de percepção BEV em tempo real.

Recomendação de tempo: 2-3 meses

Construir um pequeno sistema de percepção de BEV: Vários módulos de aprendizagem podem ser integrados para construir um sistema completo de percepção de BEV, como gerar uma visão panorâmica do ambiente em direção autônoma ou projetos de drones.

Participe de projetos de código aberto: aprenda experiência prática e aplique o conhecimento aprendido a problemas reais participando de projetos relacionados na comunidade de código aberto.

Sugestões de tempo: durante todo o processo de aprendizagem

Noções básicas preliminares (programação, visão, matemática): 5-6 meses

Conteúdo principal de médio prazo (aprendizado de máquina, aprendizado profundo, SLAM, fusão multissensor): 6 a 8 meses

Aplicação posterior (incorporada, prática de projeto): 2 a 4 meses

Todo o processo de aprendizagem leva aproximadamente 12 a 18 meses e você pode ajustá-lo com flexibilidade de acordo com seu cronograma. Tente concluir alguns projetos ou experimentos em cada etapa, o que pode tornar o aprendizado mais eficiente e aprofundar a compreensão.