結構資料自描述性

資料結構描述的複雜性

資料結構描述的動態性

web頁面資訊內容的擷取

結構化處理（含文本的詞彙切分、詞性分析、歧義處理）

語意處理（實體擷取、字彙相關度分析、句子相關度分析）

文本建構（含向量空間模型、主題模型）

Facebook公司開源的日誌收集系統

組成

組成

是Cloudera公司提供的分散式、可靠且高可用的海量日誌擷取、聚合和傳輸系統

採集模組

資料處理模組

數據模組

深度優先遍歷

寬度優先遍歷

反向連結數策略

OPIC策略

大站優先策略

儲存層

基礎管理層

應用介面層

訪問層

高可靠性

高效率

高可擴展性

高容錯性

成本低

運行在linux平台啥

支援多種程式語言

Hadoop分散式檔案系統（Hadoop Distributed File System，HDFS）

Hadoop YARN（Yet Another Resource Negotiator）是Hadoop的資源管理與作業排程框架

MapReduce是Hadoop的計算模型，用於處理大規模資料集的平行計算

Hive是一個資料倉儲基礎設施，提供類似SQL的查詢語言（HiveQL）來處理和分析儲存在Hadoop中的數據

Pig是一個用於大規模資料處理的平台，提供一種名為Pig Latin的腳本語言。 Pig Latin語言是一種資料流語言，可用來描述資料的轉換操作和分析流程。

HBase是一個分散式的面向列的NoSQL資料庫，建立在Hadoop的HDFS之上。它提供即時讀寫存取大規模結構化資料的能力，並具有高可擴展性和高可靠性

Spark是一個快速、通用的大數據處理引擎，可以在記憶體中進行大規模資料集的平行計算

Sqoop是用來在Hadoop和關聯式資料庫之間進行資料傳輸的工具。它可以將關係型資料庫中的資料匯入Hadoop進行分析，並將Hadoop中的結果資料匯出到關係型資料庫中

Flume是一個可靠、可擴展的大數據採集系統，用於從各種資料來源（如日誌檔案、感測器資料等）收集、聚合和移動資料到Hadoop。

系統日誌分析

使用者習慣分析

完整性

容錯性

易用性

免費和開源

支援多種語言

Topology（拓樸）

Spout（資料來源）

Bolt（處理組件）

Stream（資料流）

Nimbus（主節點）

Supervisor（工作節點）

ZooKeeper（分散式協調服務）

資訊流處理

連續計算

分散式遠端程式調用

快速性

彈性擴展性

多種計算模型

多語言支援

綜合性

Driver是Spark應用程式的主要組件，驅動器程式運行在一個獨立的進程中，負責整個Spark應用程式的控制和協調

Cluster Manager負責管理Spark應用程式在叢集上的資源調度和任務分配

Executor是在叢集中的工作節點上運行的進程，負責執行具體的任務。

RDD是Spark的核心資料抽象，它是一個可分割、可並行操作的不可變資料集合。

DAG調度器負責將Spark應用程式中的操作轉換為有向無環圖（DAG），並進行最佳化和調度

Task Scheduler負責將Stage中的任務分配給可用的Executor進行執行

在Spark應用程式中，當需要進行資料重洗（Shuffle）操作時，資料會在不同的Executor之間進行網路傳輸和重新分配

Spark SQL是Spark的結構化查詢模組，提供了處理結構化資料的高階API和查詢語言

Spark Streaming是Spark的串流處理模組，用於即時處理和分析資料流

MLlib是Spark的機器學習庫，提供了一系列的機器學習演算法和工具，用於資料探勘、預測分析和模型訓練

GraphX是Spark的圖計算庫，用於處理大規模圖資料和圖演算法

SparkR是Spark的R語言接口，使得R語言使用者可以使用Spark進行大規模資料處理與分析

多次操作特定資料集的應用場景

粗粒度更新狀態應用

資料量不是特別大，但適合即時統計分析的需求應用

Hadoop適用於離線的大規模資料處理任務，主要用於大量資料的儲存和分析

Spark支援批次、即時串流處理、互動式查詢和機器學習等多種資料處理模型

Storm是一個即時串流處理框架，用於處理連續的資料流

由於Hadoop採用磁碟儲存和MapReduce的批次模型，適合處理大規模的離線數據，但對於即時性要求較高的場景，速度可能較慢

Spark透過記憶體運算和基於RDD的資料抽象，它可以將資料保留在記憶體中進行迭代計算，適用於需要更高效能和互動性的資料處理任務

Storm專注於即時串流處理，具有低延遲和高吞吐量的特點，適合對即時資料進行快速處理和分析

Hadoop提供了可靠的分散式檔案系統（HDFS）和可擴展的MapReduce運算模型，適用於大量資料的儲存和批次處理。它具有良好的容錯性和數據可靠性

Spark提供了更豐富的資料處理能力，支援批次、即時串流處理、互動式查詢和機器學習等多種模型。它也提供了高階API和函式庫（如Spark SQL、Spark Streaming和MLlib），簡化了大數據處理和分析的開發

Storm專注於即時串流處理，提供了可靠的訊息傳遞和串流拓撲處理模型。它可以即時處理大規模的資料流，並支援複雜的流處理邏輯

Hadoop擁有廣泛的生態系統和大量的工具和元件，如Hive、Pig和HBase等，可以進行更高層級的資料處理和分析。它有成熟的社區和廣泛的支持

Spark也有活躍的開源社群和豐富的生態系統，支援多種資料處理和機器學習任務。它與Hadoop生態系統整合緊密，可以與HDFS、Hive和其他Hadoop組件無縫協作

Storm的生態系統相對較小，主要專注於即時串流處理領域。它提供了一些與其他工具和系統整合的插件，如Kafka和Cassandra

雲端運算是一種動態擴展的運算模式，透過網路虛擬化的資源作為服務他提供給用戶

超大規模

虛擬化

高可靠性

通用性

高可擴展性

按需服務

極度廉價

公有雲是由第三方服務供應商（如亞馬遜AWS、微軟Azure和Google雲端平台）建立和管理的雲端運算基礎設施

私有雲是由組織自行建立和管理的雲端運算基礎設施，用於支援其內部業務需求

混合雲是公有雲和私有雲的結合，透過連接和整合這兩種雲端環境來提供更靈活和多樣化的解決方案。在混合雲中，組織可以根據需求將工作負載和應用程式部署到公有雲或私有雲中

IaaS是雲端運算中最基礎的服務模式，它提供了虛擬化的運算資源、儲存和網路等基礎設施

常見的IaaS供應商包括亞馬遜AWS的EC2、微軟Azure的虛擬機器服務和谷歌雲端平台的Compute Engine等

PaaS提供了在雲端環境中開發、運行和管理應用程式的平台

常見的PaaS供應商包括微軟Azure的App Service、Google雲端平台的App Engine和Heroku等

SaaS是雲端運算中最高層次的服務模式，它提供了完全託管的應用程序，用戶透過互聯網直接存取和使用這些應用程式

常見的SaaS應用程式包括電子郵件服務（如Gmail）、線上辦公室套件（如Microsoft 365和Google Workspace）以及客戶關係管理（CRM）系統（如Salesforce）

虛擬化技術可以實現伺服器虛擬化、儲存虛擬化和網路虛擬化等，使得雲端運算平台能夠實現資源的彈性分配和管理

中間件技術在雲端運算中扮演連接和協調不同元件和服務的角色。它提供了一系列的軟體工具和服務，用於管理和調度應用程式的部署、配置和執行

中間件技術還包括負載平衡、容器技術、訊息佇列和服務編排等，用於提供高可用性、可擴展性和靈活性的雲端運算環境

雲端儲存技術是用於儲存和管理大規模資料的技術

決策支援是一種資訊科技和管理科學相結合的方法，旨在為決策者提供決策所需的資訊、工具和模型。

它透過分析和解釋數據、提供決策模型和演算法、以及提供視覺化和互動介面等方式，幫助決策者進行決策。

結構化決策

非結構化決策

半結構化決策

發現問題並形成決策目標

用機率定量地描述每個方案所產生的各種結局的可能性

決策人員對各種結局進行定量評價

綜合分析各方面信息

資料管理與整合：收集、整合和管理與決策相關的資料。

模型和演算法支援：提供各種決策模型和演算法，用於分析和預測。

視覺化和互動介面：透過視覺化展示和互動介面，幫助決策者理解和操作數據。

場景模擬和最佳化：支援對不同決策方案進行模擬和最佳化，評估其潛在效果。

協作和共享：支援決策團隊的協作和資訊共享，促進集體決策過程。

創新模式是指用於創新和改變現有商業模式的方法和策略。它關注如何透過創意運用資源、技術、市場洞察和商業邏輯，為市場提供新的價值主張並獲得競爭優勢

提供全新的產品與服務、開創新的產業領域

其商業模式至少有多個要素不同於其他企業

有良好的業績表現

改變收入模式

改變企業模式

改變產業模式

改變技術模式

策略定位創新

資源能力創新

商業生態環境創新

混合商業模式創新