Структурные данные с самоописанием

Сложность описаний структур данных

Динамический характер описания структуры данных

Извлечение информационного контента с веб-страниц

Структурная обработка (включая лексическую сегментацию текста, анализ частей речи и обработку неоднозначностей)

Семантическая обработка (извлечение сущностей, корреляционный анализ словаря, корреляционный анализ предложений)

Построение текста (включая модель векторного пространства, модель темы)

Система сбора журналов Facebook с открытым исходным кодом

состав

состав

Это распределенная, надежная и высокодоступная система массового сбора, агрегирования и передачи журналов, предоставляемая Cloudera.

Модуль сбора

Модуль обработки данных

модуль данных

первый обход на глубину

обход в ширину

Стратегия подсчета обратных ссылок

Стратегия ОПИК

Стратегия приоритета большого сайта

слой хранения

базовое управление

уровень интерфейса приложения

уровень доступа

Высокая надежность

Эффективность

Высокая масштабируемость

Высокая отказоустойчивость

бюджетный

Что он работает на платформе Linux?

Поддержка нескольких языков программирования

Распределенная файловая система Hadoop (HDFS)

Hadoop YARN (Еще один переговорщик по ресурсам) — это платформа управления ресурсами и планирования заданий Hadoop.

MapReduce — это вычислительная модель Hadoop, используемая для обработки параллельных вычислений крупномасштабных наборов данных.

Hive — это инфраструктура хранилища данных, которая предоставляет SQL-подобный язык запросов (HiveQL) для обработки и анализа данных, хранящихся в Hadoop.

Pig — это платформа для крупномасштабной обработки данных, предоставляющая язык сценариев Pig Latin. Язык Pig Latin — это язык потоков данных, который можно использовать для описания операций преобразования данных и процессов анализа.

HBase — это распределенная база данных NoSQL, ориентированная на столбцы, построенная на HDFS Hadoop. Он обеспечивает доступ для чтения и записи в режиме реального времени к крупномасштабным структурированным данным с высокой масштабируемостью и надежностью.

Spark — это быстрый механизм обработки больших данных общего назначения, который может выполнять параллельные вычисления крупномасштабных наборов данных в памяти.

Sqoop — инструмент для передачи данных между Hadoop и реляционными базами данных. Он может импортировать данные из реляционных баз данных в Hadoop для анализа и экспортировать данные результатов из Hadoop в реляционные базы данных.

Flume — это надежная, масштабируемая система сбора больших данных для сбора, агрегирования и перемещения данных из различных источников данных (таких как файлы журналов, данные датчиков и т. д.) в Hadoop.

Анализ системного журнала

Анализ привычек пользователей

честность

Отказоустойчивость

Простота использования

Бесплатный и с открытым исходным кодом

Поддержка нескольких языков

Топология

носик (источник данных)

Болт (обрабатывающий компонент)

Транслировать

Нимбус (главный узел)

Супервизор (рабочий узел)

ZooKeeper (служба распределенной координации)

обработка информационных потоков

непрерывный расчет

Распределенный удаленный вызов процедур

Быстрота

Эластичная масштабируемость

Различные вычислительные модели

Многоязычная поддержка

Всесторонний

Драйвер — это основной компонент приложения Spark. Программа драйвера выполняется в виде независимого процесса и отвечает за контроль и координацию всего приложения Spark.

Диспетчер кластеров отвечает за управление планированием ресурсов и распределением задач приложений Spark в кластере.

Исполнитель — это процесс, работающий на рабочих узлах кластера и отвечающий за выполнение определенных задач.

RDD — это базовая абстракция данных Spark. Это неизменяемая коллекция данных, которую можно секционировать и работать параллельно.

Планировщик DAG отвечает за преобразование операций в приложениях Spark в ориентированные ациклические графы (DAG), их оптимизацию и планирование.

Планировщик задач отвечает за распределение задач на этапе доступным исполнителям для выполнения.

В приложении Spark, когда требуется операция перетасовки данных (Shuffle), данные будут передаваться по сети и перераспределяться между различными исполнителями.

Spark SQL — это модуль структурированных запросов Spark, который предоставляет высокоуровневый API и язык запросов для обработки структурированных данных.

Spark Streaming — это модуль потоковой обработки Spark для обработки и анализа потоков данных в реальном времени.

MLlib — это библиотека машинного обучения Spark, которая предоставляет ряд алгоритмов и инструментов машинного обучения для интеллектуального анализа данных, прогнозного анализа и обучения моделей.

GraphX ​​— это библиотека графовых вычислений Spark для обработки крупномасштабных графовых данных и графовых алгоритмов.

SparkR — это интерфейс Spark на языке R, позволяющий пользователям языка R использовать Spark для крупномасштабной обработки и анализа данных.

Сценарии приложений для многократной обработки определенных наборов данных

Приложение грубого обновления статуса

Объем данных не особенно велик, но подходит для приложений, требующих статистического анализа в реальном времени.

Hadoop подходит для задач крупномасштабной обработки данных в автономном режиме и в основном используется для пакетного хранения и анализа данных.

Spark поддерживает несколько моделей обработки данных, таких как пакетная обработка, потоковая обработка в реальном времени, интерактивные запросы и машинное обучение.

Storm — это платформа обработки потоков в реальном времени для обработки непрерывных потоков данных.

Поскольку Hadoop использует дисковое хранилище и модель пакетной обработки MapReduce, он подходит для обработки крупномасштабных автономных данных, но может работать медленнее в сценариях с высокими требованиями к работе в режиме реального времени.

Spark использует вычисления в памяти и абстракцию данных на основе RDD, что позволяет хранить данные в памяти для итеративных вычислений и подходит для задач обработки данных, требующих более высокой производительности и интерактивности.

Storm ориентирован на обработку потоков в реальном времени, обладает характеристиками низкой задержки и высокой пропускной способности и подходит для быстрой обработки и анализа данных в реальном времени.

Hadoop предоставляет надежную распределенную файловую систему (HDFS) и масштабируемую вычислительную модель MapReduce, которая подходит для хранения и пакетной обработки больших объемов данных. Он имеет хорошую отказоустойчивость и надежность данных.

Spark предоставляет более широкие возможности обработки данных и поддерживает несколько моделей, таких как пакетная обработка, потоковая обработка в реальном времени, интерактивные запросы и машинное обучение. Он также предоставляет высокоуровневые API и библиотеки (такие как Spark SQL, Spark Streaming и MLlib) для упрощения разработки обработки и анализа больших данных.

Storm фокусируется на обработке потоков в реальном времени и обеспечивает надежную передачу сообщений и модели обработки топологии потока. Он может обрабатывать крупномасштабные потоки данных в режиме реального времени и поддерживает сложную логику обработки потоков.

Hadoop имеет обширную экосистему и большое количество инструментов и компонентов, таких как Hive, Pig и HBase, для обработки и анализа данных более высокого уровня. У него зрелое сообщество и обширная поддержка.

Spark также имеет активное сообщество открытого исходного кода и богатую экосистему, которая поддерживает различные задачи обработки данных и машинного обучения. Он тесно интегрирован с экосистемой Hadoop и может беспрепятственно работать с HDFS, Hive и другими компонентами Hadoop.

Экосистема Storm относительно невелика и в основном ориентирована на обработку потоков в реальном времени. Он предоставляет некоторые плагины для интеграции с другими инструментами и системами, такими как Kafka и Cassandra.

Облачные вычисления — это динамически расширяемая вычислительная модель, которая предоставляет пользователям виртуализированные сетевые ресурсы в качестве услуг.

Гипермасштабирование

Виртуализация

Высокая надежность

Универсальность

Высокая масштабируемость

услуги по требованию

очень дешево

Публичное облако — это инфраструктура облачных вычислений, созданная и управляемая сторонними поставщиками услуг (такими как Amazon AWS, Microsoft Azure и Google Cloud Platform).

Частное облако — это инфраструктура облачных вычислений, созданная и управляемая самой организацией для поддержки ее внутренних бизнес-потребностей.

Гибридное облако — это сочетание общедоступного и частного облака, обеспечивающее более гибкие и разнообразные решения за счет соединения и интеграции этих двух облачных сред. В гибридном облаке организации могут развертывать рабочие нагрузки и приложения в общедоступных или частных облаках в зависимости от своих потребностей.

IaaS — это самая базовая модель обслуживания в облачных вычислениях, которая предоставляет виртуализированные вычислительные ресурсы, хранилище, сеть и другую инфраструктуру.

К распространенным поставщикам IaaS относятся EC2 Amazon AWS, служба виртуальных машин Microsoft Azure и Compute Engine Google Cloud Platform.

PaaS предоставляет платформу для разработки, запуска и управления приложениями в облачной среде.

К распространенным поставщикам PaaS относятся служба приложений Microsoft Azure, App Engine и Heroku Google Cloud Platform и т. д.

SaaS — это модель обслуживания самого высокого уровня в облачных вычислениях. Она предоставляет полностью управляемые приложения, к которым пользователи могут напрямую получать доступ и использовать их через Интернет.

К распространенным приложениям SaaS относятся службы электронной почты (например, Gmail), пакеты онлайн-офиса (например, Microsoft 365 и Google Workspace) и системы управления взаимоотношениями с клиентами (CRM) (например, Salesforce).

Технология виртуализации может реализовать виртуализацию серверов, виртуализацию хранения, виртуализацию сети и т. д., позволяя платформам облачных вычислений достигать эластичного распределения и управления ресурсами.

Технология промежуточного программного обеспечения играет роль в соединении и координации различных компонентов и сервисов в облачных вычислениях. Он предоставляет набор программных инструментов и услуг для управления и планирования развертывания, настройки и выполнения приложений.

Технология промежуточного программного обеспечения также включает в себя балансировку нагрузки, технологию контейнеров, очереди сообщений, оркестровку сервисов и т. д., используемые для обеспечения высокой доступности, масштабируемости и гибкости в средах облачных вычислений.

Технология облачного хранения — это технология, используемая для хранения и управления крупномасштабными данными.

Поддержка принятия решений — это метод, который сочетает в себе информационные технологии и науку управления, чтобы предоставить лицам, принимающим решения, информацию, инструменты и модели, необходимые для принятия решений.

Он помогает лицам, принимающим решения, принимать решения путем анализа и интерпретации данных, предоставления моделей и алгоритмов принятия решений, а также визуализации и интерактивных интерфейсов.

структурированное принятие решений

неструктурированное принятие решений

полуструктурированное принятие решений

Выявить проблемы и сформулировать цели принятия решений

Используйте вероятность для количественного описания возможности различных результатов, получаемых каждым планом.

Лица, принимающие решения, количественно оценивают различные результаты

Комплексный анализ всех аспектов информации

Управление данными и интеграция: собирайте, интегрируйте и управляйте данными, необходимыми для принятия решений.

Поддержка моделей и алгоритмов: предоставляет различные модели и алгоритмы принятия решений для анализа и прогнозирования.

Визуализация и интерактивный интерфейс. Помогите лицам, принимающим решения, понимать и обрабатывать данные посредством визуального отображения и интерактивного интерфейса.

Моделирование и оптимизация сценариев. Поддерживает моделирование и оптимизацию различных вариантов принятия решений и оценивает их потенциальные последствия.

Сотрудничество и обмен информацией: Поддерживайте сотрудничество и обмен информацией между командами, принимающими решения, и продвигайте процесс коллективного принятия решений.

Инновационные модели относятся к методам и стратегиям, используемым для инноваций и изменения существующих бизнес-моделей. Основное внимание уделяется тому, как предоставить рынку новые ценностные предложения и получить конкурентное преимущество за счет творческого использования ресурсов, технологий, понимания рынка и бизнес-логики.

Предоставлять совершенно новые продукты и услуги и создавать новые отрасли промышленности.

Ее бизнес-модель отличается от других компаний как минимум по нескольким элементам.

Иметь хорошую производительность

Изменить модель дохода

Изменить бизнес-модель

Изменить модель отрасли

смена технологической парадигмы

стратегическое позиционирование инноваций

Инновации в области ресурсов

Инновации в бизнес-экологической среде

Инновационная гибридная бизнес-модель