Галерея диаграмм связей Облачная платформа искусственного интеллекта Alibaba PAI
Платформа искусственного интеллекта PAI (Платформа искусственного интеллекта) обеспечивает легкий и экономичный облачный искусственный интеллект для корпоративных клиентов и разработчиков, включая интерактивное моделирование DSW, визуальное моделирование с помощью перетаскивания дизайнера, распределенное обучение DLC для EAS. Весь процесс онлайн-развертывания модели.
Отредактировано в 2024-03-10 09:17:30Платформа искусственного интеллекта PAI
Что такое платформа искусственного интеллекта PAI
Что такое машинное обучение
Машинное обучение - это междисциплинарная специальность, которая охватывает знания теории вероятностей, статистические знания, знания теории приближений и знания сложных алгоритмов. Она использует компьютеры в качестве инструментов и стремится моделировать методы обучения человека в режиме реального времени и в реальном времени, а также преобразует существующий контент в The. Структура знаний разделена для эффективного повышения эффективности обучения. Машинное обучение делает предположения о моделях исследовательских задач, использует компьютеры для изучения параметров модели на основе обучающих данных и, наконец, прогнозирует и анализирует данные. Его можно использовать в некоторых из следующих сценариев.
Генерация контента: при необходимости создавайте тематический текст, изображения, видео и аудиоконтент.
Маркетинговые сценарии: рекомендации продуктов, портреты групп пользователей или точная реклама.
Финансовые сценарии: прогноз выдачи кредитов, контроль финансовых рисков, прогноз тенденций акций или прогноз цен на золото.
Сценарии анализа взаимоотношений в социальных сетях: анализ лидеров фанатов Weibo или анализ цепочки социальных отношений.
Текстовые сценарии: классификация новостей, извлечение ключевых слов, резюме статей или анализ текстового контента.
Сценарии обработки неструктурированных данных: классификация изображений или извлечение текстового содержимого изображений.
Различные другие сценарии прогнозирования: прогноз осадков или прогноз результатов футбольного матча.
Машинное обучение включает в себя традиционное машинное обучение и глубокое обучение и имеет следующие виды:
Обучение с учителем: каждая выборка имеет соответствующее целевое значение. Путем построения модели достигается сопоставление входного вектора признаков с целевым значением, например, при решении задач регрессии и классификации.
Обучение без учителя: все образцы не имеют целевого значения, и ожидается, что из самих данных будут обнаружены некоторые потенциальные закономерности, такие как решение проблем кластеризации.
Обучение с подкреплением. Относительно сложная система постоянно взаимодействует с внешней средой и определяет свое собственное поведение на основе внешней обратной связи для достижения оптимизации цели. Например, AlphaGo и беспилотные автомобили.
Что такое платформа искусственного интеллекта PAI
Базовый уровень PAI поддерживает несколько вычислительных платформ:
Фреймворк потоковых вычислений Flink.
Основано на версиях с открытым исходным кодом глубоко оптимизированных платформ глубокого обучения TensorFlow, PyTorch, Megatron и DeepSpeed.
Сервер параметров — крупномасштабная платформа параллельных вычислений для сотен миллиардов образцов функций.
Spark, PySpark, MapReduce и другие популярные в отрасли платформы с открытым исходным кодом.
Услуги, предоставляемые ПАИ:
Дизайнер визуального моделирования и распределенного обучения
Интерактивный ноутбук AI R&D DSW (семинар по науке о данных)
DLC распределенного обучения (Deep Learning Containers)
Онлайн-прогнозирование EAS (Служба эластичных алгоритмов)
PAI опирается на многолетний опыт применения и накопление технологий Alibaba Cloud и Alibaba Group и имеет следующие преимущества.
Полный жизненный цикл исследований и разработок в области искусственного интеллекта и полная ссылка:
Он поддерживает аннотацию данных, разработку моделей, обучение моделей, оптимизацию моделей, развертывание моделей, а также управление и контроль эксплуатации и обслуживания ИИ. Это универсальная платформа ИИ.
Имеет 140 оптимизированных встроенных компонентов алгоритма.
Поддерживает множество отраслевых фреймворков глубокого обучения, таких как TensorFlow и PyTorch.
Он обеспечивает основные возможности, такие как несколько режимов, глубокая интеграция механизмов больших данных, совместимость с несколькими кадрами и настраиваемое зеркалирование.
Предоставляет продукты для разработки искусственного интеллекта, обучения и развертывания облачной архитектуры.
Различные методы вывода продукта:
Публичное облако поддерживает полный хостинг и полууправление.
Поддерживает высокопроизводительные вычислительные кластеры искусственного интеллекта и облегченные формы выходных продуктов.
Ведущая в отрасли оптимизация ИИ:
Высокопроизводительная среда обучения и сценарии разреженного обучения поддерживают масштаб разреженных функций от миллиардов до десятков миллиардов, масштаб выборки от десятков до сотен миллиардов, а также распределенное дополнительное обучение тысяч работников.
Ускорение основной модели платформы с использованием PAI Blade для улучшения коэффициента ускорения более чем дюжины основных моделей, таких как RestNet50 и Transformer LM.
Данную услугу можно использовать по отдельности или в сочетании. Благодаря поддержке комплексного машинного обучения вам нужно только подготовить данные обучения (сохранить их в OSS или MaxCompute) и всю работу по моделированию (включая загрузку данных, предварительную обработку данных, разработку функций, обучение модели, оценку модели и выпуск модели в автономном режиме или в автономном режиме). онлайн-среде) может быть достигнуто через PAI.
Подключенный к DataWorks, он поддерживает несколько методов обработки данных, таких как SQL, UDF, UDAF и MR, с высокой гибкостью.
Экспериментальный процесс создания моделей обучения поддерживает периодическое планирование DataWorks, а задачи планирования различают производственные среды и среды разработки, тем самым обеспечивая изоляцию безопасности данных.
Функции
Богатые алгоритмы машинного обучения
Алгоритмы PAI были накоплены благодаря крупномасштабному бизнесу Alibaba Group. Они не только поддерживают базовые алгоритмы кластеризации и регрессии, но также поддерживают сложные алгоритмы, такие как анализ текста и обработка объектов.
Поддержка стыковки с другими продуктами Alibaba Cloud
Модели, обученные PAI, хранятся непосредственно в MaxCompute и могут использоваться с другими продуктами Alibaba Cloud.
Универсальный опыт машинного обучения
PAI поддерживает весь процесс машинного обучения: от загрузки данных, предварительной обработки данных, разработки функций, обучения модели, оценки модели до ее выпуска.
Поддержка основных фреймворков глубокого обучения
PAI поддерживает основные платформы машинного обучения, такие как TensorFlow, Caffe и MXNet.
Метод визуального моделирования
Он инкапсулирует классические алгоритмы машинного обучения и обеспечивает визуальное моделирование. Он поддерживает перетаскивание для создания экспериментов по машинному обучению без явного программирования.
Служба развертывания модели в один клик
PAI поддерживает публикацию модели обучения, созданной Designer DSW, одним щелчком мыши в качестве интерфейса Restful API для обеспечения плавного подключения модели к бизнесу.
Отличная техническая поддержка
Если у вас возникнут какие-либо проблемы во время использования, обратитесь к своему бизнес-менеджеру, чтобы решить эту проблему, или обратитесь к соответствующему специалисту по связям с общественностью.
архитектура продукта
1. Архитектура продукта PAI
2. Бизнес-архитектура PAI разделена на следующие четыре уровня:
Базовый уровень ресурсов (вычислительные ресурсы и инфраструктура):
Инфраструктура включает в себя ЦП, графический процессор, высокоскоростную сеть RDMA, контейнерный сервис ACK и т. д.
Вычислительные ресурсы включают собственные облачные ресурсы (вычислительные ресурсы Lingjun и общие вычислительные ресурсы) и ресурсы механизма больших данных (MaxCompute и Flink).
Уровень инструментов платформы (Lingjun Intelligent Computing Service и платформа искусственного интеллекта):
Фреймворк искусственного интеллекта: включая Alink, TensorFlow, PyTorch, Megatron, DeepSpeed и RLHF и другие интеллектуальные фреймворки, используемые для выполнения задач распределенных вычислений.
Платформа оптимизации и ускорения: включая ускорение набора данных DatasetAcc, ускорение обучения TorchAcc, среду параллельного обучения EPL, ускорение вывода Blade, автоматическое отказоустойчивое обучение AIMaster и снимки асинхронного обучения второго уровня EasyCkpt и т. д.
После всего процесса машинного обучения PAI предоставляет продукты для подготовки данных, разработки и обучения моделей, а также этапов развертывания модели:
1. Подготовка данных. PAI предоставляет услуги аннотирования для поддержки аннотирования данных и управления наборами данных в различных сценариях.
2. Разработка моделей и обучение: PAI обеспечивает визуальное моделирование (Designer), интерактивное моделирование (DSW), распределенное обучение (DLC) и функциональную платформу (FeatureStore) для удовлетворения различных потребностей моделирования.
3. Развертывание модели. PAI предоставляет онлайн-сервис моделей (EAS), который помогает быстро развертывать модели как сервисы.
Уровень приложения (сервис модели). Поддерживаемые сервисы моделей включают ModelScope, PAI-DashScope, стороннюю платформу MaaS и Bailian.
Бизнес-уровень (решения на основе сценариев): PAI используется в различных областях, таких как автономное вождение, научные исследования и интеллектуальные вычисления, контроль финансовых рисков и интеллектуальные рекомендации. Внутренняя система поиска Alibaba Group, система рекомендаций и система финансовых услуг используют PAI для интеллектуального анализа данных.
3. Модуль продукта PAI
существительное описывать Интеллектуальная маркировка (iTAG) Инструмент аннотирования наборов данных, объединяющий интеллектуальные возможности (черный ящик), может эффективно снизить рабочую нагрузку на аннотации и быстро получить высококачественные наборы данных аннотаций. Визуальное моделирование (Дизайнер) Инструмент проектирования рабочих процессов для области искусственного интеллекта, который инкапсулирует богатый набор компонентов алгоритмов машинного обучения. Вам не нужна основа кодирования, вы можете обучить модель, перетаскивая ее. Интерактивное моделирование (DSW) Интерактивная среда разработки облачного машинного обучения для разработчиков искусственного интеллекта, включая Notebook, VSCode и Terminal. Запустить DSW на основе образа можно, указав в качестве хранилища NAS. Обучение контейнерам (DLC) Быстро отправляйте задачи обучения в вычислительные ресурсы, связанные с текущей рабочей областью (например, в общие вычислительные ресурсы). Подробности отправленных задач можно просмотреть в модуле управления задачами PAI. Модель онлайн-сервиса (EAS) Он поддерживает развертывание крупномасштабных сложных моделей одним щелчком мыши, упругое расширение и сжатие в реальном времени, а также обеспечивает полную систему мониторинга эксплуатации и технического обслуживания. Управление активами ИИ Предоставляет возможности управления основными ресурсами ИИ, включая наборы данных, модели, конфигурации кода и т. д. Решения на основе сценариев Коллекция вертикальных полевых решений, основанная на возможностях платформы PAI, позволяющая применять их напрямую.