データサイエンティストは、行動に関する仮説を立てます。つまり、特定の行動の前に特定の行動がデータで観察される可能性があります。

次に、データ サイエンティストは大量の履歴データを分析して、その仮説が過去に実際にどのくらいの頻度で発生したかを判断し、モデルの精度を統計的に検証します。

仮説が十分に高い頻度で有効であり、仮説によって予測される動作が有用である場合、そのモデルは、おそらくリアルタイムで将来の動作を予測するためのオペレーショナル インテリジェンス プロセスの基礎となる可能性があります。

に依存します

ビッグデータ戦略とビジネスニーズを定義する

データソースの選択

データの収集と抽出

データの前提条件と方法を設定する

分析のためにデータを統合および調整する

モデルを使用してデータを探索する

導入と監視

大量のデータ

データ更新が早い

さまざまなデータ型

データの粘度が高い

データの変動が大きい

データの精度が低い

DW/BI とビッグデータ処理の最大の違いは次のとおりです。

構造化データ 非構造化データ

データレイクは、さまざまな種類や構造の大量のデータを抽出、保存、評価、分析でき、さまざまなシナリオ アプリケーションを提供できる環境です。

たとえば、次のように指定できます。

データ レイクは、Hadoop やその他のデータ ストレージ システム、クラスター サービス、データ変換、データ統合などのデータ処理ツールの複合構成として実装できます。

危険

サービスベースのアーキテクチャは、データを即座に提供し、同じデータ ソースを使用して完全かつ正確な履歴データ セットを更新する方法になりつつあります。

SBA アーキテクチャはデータ ウェアハウスに似ています

レベル

データはバッチ層とアクセラレーション層にロードされます

すべての分析計算は、バッチ レイヤーとアクセラレーション レイヤーのデータに対して実行されます。この設計は 2 つの独立したシステムで実装する必要がある場合があります。

バッチ層は、時間の経過とともに変化する構造コンポーネント (ここでは各トランザクションは挿入) と呼ばれることが多いのに対し、アクセラレーション層 (ODS では運用データ ストレージと呼ばれることが多い) では、すべてのトランザクションが更新されます。

このアーキテクチャは、現在の状態レイヤーと履歴レイヤーを同時に作成することで同期の問題を防ぎます。

教師あり学習

教師なし学習

学習を強化する

メディアモニタリングとテキスト分析は、ブランド、製品、サービス、またはその他の種類のトピックについて人々がどのように感じ、考えているかを感知するために、大量の非構造化データまたは半構造化データから洞察を取得および導き出す自動化された方法です。

自然言語処理 (NLP) を使用して短い文章を分析し、感情を検出し、感情の変化を明らかにして、考えられるシナリオを予測します。

データマイニングは、さまざまなアルゴリズムを使用してデータのパターンを明らかにする特別な分析方法です

もともとは機械学習の一分野であり、人工知能の一分野でした。

標準化されたクエリおよびレポート ツールは特定の問題を特定でき、データ マイニング ツールはパターンを明らかにすることで未知の関係を発見するのに役立ちます。

テキスト マイニングは、テキスト分析とデータ マイニング テクノロジを使用してドキュメントを分析し、コンテンツを自動的に分類し、ワークフロー指向およびドメイン専門家指向のナレッジ オントロジーになります。

したがって、電子テキストメディアは再構築やフォーマットを行わずに分析できます。

テクノロジー

予測分析は、追加情報を受け取ったときに組織の反応を引き起こす可能性のあるイベントと変数の確率モデルに基づいて開発されます。

予測モデルの最も単純な形式は推定です。

予測分析よりも一歩進んで、すでに発生したアクションに基づいて結果を予測するだけでなく、結果に影響を与えるアクションを定義します。

規範的な分析は、いつ何が起こるかを予測し、なぜそれが起こるのかを示唆します

規範的分析はさまざまな意思決定の影響を示すことができるため、機会を活用したりリスクを回避したりする方法を提案できます。

より多くの非構造化データが生成されるにつれて、非構造化データ分析の重要性がますます高まっています

特定の分析は、非構造化データを分析モデルに組み込まないと実行できません。

しかし、非構造化データの分析は、関心のある要素を無関係な要素から分離する何らかの方法がなければ非常に困難になる場合もあります。

スキャンとタグ付けは、非構造化データに「フック」を追加する方法であり、関連するスキーマ データの接続されたフィルタリングを可能にします。

オペレーショナル BI またはストリーミング分析とも呼ばれるこの概念は、運用プロセスとリアルタイム分析の統合から生まれました。

運用分析には、リアルタイムの情報フローの追跡と統合、行動予測モデルに基づいた結論の導き出し、自動応答とアラートのトリガーが含まれます。

運用分析ソリューションには、動作モデルを設定するために必要な履歴データの準備が含まれます

ビジュアライゼーションは、写真やグラフィック表現を使用して概念、アイデア、事実を説明するプロセスです。

フィーチャ データを圧縮してカプセル化し、見やすくする

ビジュアライゼーションは静的形式 (公開されたレポートなど) である場合もあれば、ビジュアライゼーションを適応させる創造的な手段が必要な場合もあります。

データとサービスを統合して、洞察や分析結果を視覚的に表示します

戦略的評価基準

予測モデルを設定する

トレーニングモデル

評価モデル

データの視覚化を作成する

洞察と発見を明らかにする

追加のデータソースを使用して反復処理する

技術的な使用状況の指標

ロードおよびスキャンインジケーター

学習とストーリーのシナリオ