マインドマップギャラリー Alibaba Cloud インテリジェントなメディア管理
インテリジェント メディア管理 IMM (インテリジェント メディア管理) は、カプセル化されたデータに対するシナリオベースのインテリジェントな分析および管理ツールです。文書や画像データのデータ処理、分析、取得などの管理・制御をクラウド上でワンストップで提供します。画像分析やデータ ストレージなどのさまざまなアプリケーション シナリオに従って、完全な処理機能がカプセル化および統合され、迅速なデータ フローが可能になります。
2024-01-13 15:37:11 に編集されましたAlibaba Cloud インテリジェントなメディア管理
製品導入
インテリジェントなメディア管理は、さまざまな業界のビジネス シナリオに合わせた完全な処理機能をカプセル化して統合し、ドキュメント形式の変換とプレビュー、画像コンテンツ認識、顔検出、QR コード検出、顔検索などの機能を提供します。メディア資産管理、インテリジェントな使用に適しています。ネットワーク ディスク、ソーシャル アプリケーション、フォト ライブラリなどの開発者によるインテリジェントメディア管理は、オブジェクトストレージ(OSS)とテーブルストレージ(Tablestore)を組み合わせて、ドキュメント管理や画像ソーシャル分析などの実用的なシナリオベースのワンストップソリューションを提供します。
特徴
ドキュメントの変換とプレビュー
ドキュメント関連の形式変換とプレビューを統合して、インテリジェントなドキュメント管理機能を迅速に実現します。
関数 説明する フォーマット変換 PPTX、PPT、XLS、DOC、PDF、HTML、HTM などの 48 のドキュメント形式を JPG、PNG、PDF、TXT、VECTOR ベクトル形式に変換します。詳細については、「ドキュメント形式の変換」を参照してください。 ドキュメントのプレビュー 実際のニーズに基づいて、ドキュメントのプレビューに適切な方法を選択してください。 ドキュメント プレビュー V1: 入力ドキュメントを VECTOR ベクトル形式に変換した後、インテリジェント メディア管理によって提供されるフロントエンド レンダリング エンジンとドッキングすることで、より使いやすく、より強力でカスタマイズされたドキュメント プレビュー効果を実現できます。詳細については、「ドキュメント プレビュー V1」を参照してください。 ドキュメント プレビュー V2: ドキュメントのプレビュー アドレスと AccessToken を取得した後、iframe 要素を指定する必要はありません。JS ファイルはカスタム ブロック要素の下に iframe を自動的に生成し、JS ファイルを通じて AccessToken を設定できます。ドキュメントをすばやくプレビューします。詳細については、「ドキュメント プレビュー V2」を参照してください。
インテリジェントな画像検出
コンテンツ認識や顔検出などのAI機能を統合し、写真のインテリジェントな管理を迅速に実現します。
関数 説明する コンテンツ認識 写真内のシーン、オブジェクト、イベントなどの情報を識別し、タグのメタデータ情報を取得します。詳細については、「コンテンツの認識」を参照してください。 顔検出 写真内の顔や人物の年齢、性別、雰囲気などを検出し、顔のメタデータ情報を取得します。詳細については、「顔検出」を参照してください。 QRコード検出 画像内の QR コードと QR コードに保存されているコンテンツを検出します。 詳細については、「QR コード認識」を参照してください。 人間検知 画像内の人体領域を確実に検出します。詳細については、「人間の検出」を参照してください。 顔検索 指定した画像に最も類似した上位 N 個の画像を検索し、結果は類似度の降順に並べ替えられます。詳細については、「顔検索」を参照してください。 顔の比較 2 つの写真内の 2 つの最大の顔の類似性を比較します。詳細については、「顔の比較」を参照してください。 画像のブラインド透かし 画像またはテキストタイプのブラインド透かしを画像に追加します。ブラインド透かしを追加すると、透かしは画像内で直接見ることができなくなりますが、インテリジェントメディア管理の画像ブラインド透かし機能を解析することで、画像内の隠された透かしを復元できます。詳細については、「ブラインド画像透かし」を参照してください。
製品の利点
シナリオの問題点分析
画像アプリケーション
画像アプリケーションの場合は、まず写真とビデオをオブジェクト ストレージにアップロードします。ビジネスの継続的な発展と法律や政策の規制ニーズに応じて、ポルノ検出、ラベル検出、顔検出、OCR 認識などの AI 分析機能が追加されます。以下の図に示されています。
通常、画像アプリケーションは、さまざまなメーカーの AI 分析機能をインストールするためにビジネス サーバーを使用することを選択します。これらの機能を通じて、重要なメタデータ情報を取得してデータベースに保存できるため、メタデータの取得とビジネスおよび規制のニーズをより適切にサポートできます。この解決策には次の問題があります。
インターフェースが統一されていない
複数のメーカーから選択できるため、異なるメーカーのインターフェイスの互換性を考慮する必要があります。
資源の無駄遣い
同じ画像が複数回読み取られるか、場合によっては外部ネットワークに送信されるため、ネットワーク帯域幅が無駄に使用されます。
既存データを必要としない低コストのバッチ処理ソリューション
メーカーの同期処理を使用すると費用がかかるため、既存のデータに対して低コストのバッチ処理ソリューションを提供し、検出結果を返す非同期インターフェイスを受け入れる必要があります。たとえば、既存の OSS Bucket 内のすべての画像に対してマーキング処理を実行します。
ネットディスク
ネットワーク ディスク アプリケーションの場合、通常、ユーザー ログイン、ディレクトリ サービス、OSS への直接データ送信、AI インテリジェント処理などの機能が必要です。バックエンドを介してサーバーとデータベースを使用するアーキテクチャを次の図に示します。
ネットワーク ディスクのデータ管理をサポートするには、通常、さまざまな種類のメタデータ管理を提供する必要があり、特に AI インテリジェント処理シナリオでは、関連するストレージ形式を定義し、データベースの例外を処理する必要があり、これにより開発がより困難になります。この解決策には次の問題があります。
メタデータテーブルの設計が難しい
さまざまなメタデータに対して、さまざまなタイプのテーブル構造ストレージを分類して設計する必要があり、技術的なしきい値が存在します。
多次元のメタデータ管理は困難です
関連するクエリ処理には複数のメタデータを組み合わせる必要があり、設計上の課題が生じます。
メタデータの一貫性を維持するという課題
異常なシナリオにおけるメタデータの回復プロセスの解決は、システム レベルの問題です。
インテリジェントなメディア管理製品の利点
インテリジェント メディア管理は、図に示すように、大量のデータ、エンドツークラウド接続、統一標準、インテリジェント分析、シーンの組み合わせ、ワンクリック処理の 6 つのキー ポイントを中心に設計されており、シナリオ ベースの AI インテリジェント処理ソリューションを提供します。下に。
ターゲットを絞ったアーキテクチャ設計により、インテリジェントなメディア管理には次の利点があります。
データをシームレスに保存する
クラウド上のデータを自動処理するオブジェクトストレージOSSと直結。
豊富なデータ処理
業界の高度な認識および処理機能と組み合わせることで、アプリケーション処理のための豊富な機能サポートを提供します。
運用とメンテナンスを簡素化
業務の運用や保守を気にすることなくサーバーレスサービスを提供します。
シナリオベースのワンストップソリューション
シナリオに合わせた迅速なメタデータ管理を構築し、アプリケーションを迅速に実装します。
製品アーキテクチャ
インテリジェント メディア管理は、階層化アーキテクチャを使用して設計されています。階層化アーキテクチャには、次の図に示すように、処理エンジン、メタデータ管理、シナリオベースのカプセル化の 3 つの層が含まれており、依存するコンテキストがあります。
オブジェクト ストレージやファイル ストレージなどの Alibaba Cloud ストレージ サービスに依存して、安全なメカニズムを通じて Alibaba Cloud ストレージ内の非構造化データ (写真やビデオなど) にアクセスし、貴重な情報を抽出します。
シーン理解に基づいてカプセル化されており、ネットワーク ディスク、クラウド フォト アルバム、ソーシャル ギャラリー、ホーム モニタリングなどの画像およびビデオ アプリケーション シナリオをサポートし、アプリケーションに新しい価値を提供します。
処理エンジン層
Alibaba Cloud Storage は、バッチ非同期処理と準リアルタイム同期処理をサポートする近くのコンピューティング フレームワークを提供し、ワンクリックで Alibaba Cloud Storage と関連付けます (OSS バケットのディレクトリ プレフィックスの指定、OSS バケットのオブジェクトの指定など)。 )、高速自動データ処理、業界の高度なデータ処理アルゴリズムを統合することにより、現在の処理エンジンは次の機能を提供します。
ドキュメント形式の変換
OFFICE を含む 48 形式のドキュメントを、ネットワーク ディスク ドキュメントの参照やその他のシナリオに使用できる JPG、PNG、PDF、TXT、VECTOR の 5 形式への変換をサポートします。
コンテンツ認識
写真内のシーン、オブジェクト、イベント、その他の情報を識別して、写真の自動マーキングを実現します。これは、写真コンテンツのレビュー、写真の検索、その他のシナリオで使用できます。
顔検出
写真内の顔や人物の年齢、性別、気分などを検出し、フォトアルバムの分類などのシナリオに使用できます。
QRコード検出
写真内の QR コードと QR コードに格納されているコンテンツを検出すると、写真に QR コード情報が含まれているかどうかを判断し、QR コードに含まれる情報を出力できます。これは、画像コンテンツのレビューなどのシナリオで使用できます。
人間検知
写真から人体の領域と信頼レベルを検出します。これは、異常行動の検出などのシナリオで使用できます。
顔検索
指定した写真に最も似ている上位N枚の写真を類似度の高い順に検索し、メンバー管理やアルバム分類、対象者検索などの用途に利用できます。
顔の比較
2 つの写真内の 2 つの最大の顔の類似性を比較することは、身元認識検証などのシナリオで使用できます。
画像のブラインド透かし
画像またはテキストタイプのブラインド透かしを画像に追加します。ブラインド透かしを追加すると、画像内で透かしを直接見ることはできなくなりますが、インテリジェントメディア管理のブラインド透かし解析機能を使用して画像に隠された透かしを復元でき、画像の著作権追跡などのシナリオで使用できます。 。
メタデータ管理
処理エンジンによって提供される機能に基づいて、シーンの深い理解と分類を通じて、インテリジェントなメディア管理はシーンのメタデータ設計をカプセル化し、シーンのメタデータ アクセス インターフェイスを外部の世界に提供して、設計の困難さを簡素化します。シーンのアプリケーションに適用され、運用保守作業のためにメタデータ インデックス データベースに注意を払う必要がなくなります。現在サポートされているメタデータ インデックスは次のとおりです。
顔クラスタインデックス
メタデータ コレクションを構築し、顔グループ化のインデックス インターフェイスを呼び出して画像を分析し、取得したメタデータをメタデータ コレクションに追加して、コレクション内の類似した顔を取得できるようにします。このインデックスを通じて、ネットワーク ディスク上の顔写真アルバム、家庭監視のための見知らぬ人の検出、新しい小売店の顧客管理などのシナリオを迅速にサポートできます。
タググループインデックス
メタデータ コレクションを構築し、タグ グループのインデックス インターフェイスを呼び出して画像を分析し、取得したメタデータをメタデータ コレクションに追加して、タグに基づいて画像を検索できるようにします。このインデックスを通じて、ネットワーク ディスク上のシーン アルバム、家庭監視用のペットの追跡、下品な写真などのタグの検索を迅速にサポートできます。
シーンカプセル化レイヤー
Alibaba Cloud のシナリオのサポートにより、処理エンジン層とメタデータ管理層の機能がリソース パッケージの形でパッケージ化されて提供されるため、使用が簡素化され、アプリケーションへの素早いアクセスが容易になり、AI とシナリオの緊密な統合が実現されます。 , サポートされているシナリオの例は次のとおりです。
文書規格
ドキュメント関連の形式変換とプレビューを統合して、インテリジェントなドキュメント管理機能を迅速に実現します。
ピクチャースタンダードタイプ
コンテンツ認識や顔検出などのAI機能を統合し、写真のインテリジェントな管理を迅速に実現します。
アプリケーションシナリオ
文書管理シナリオ
ネットワーク ディスク、メールボックス、ドキュメント管理などのアプリケーションでは、インテリジェント メディア管理によって提供されるドキュメント標準プロジェクトを使用すると、次のシナリオを迅速に実現できます。
ドキュメントのプレビュー
フォーマット変換機能を使用して、48 の一般的なドキュメント形式を 5 つのターゲット タイプ (JPEG、PNG、PDF、TXT、VECTOR) に変換します。その後、形式変換の結果に基づいて、フロントエンドのレンダリング エンジンと組み合わせてドキュメントをプレビューできます。 PC とモバイルデバイスで。
全文検索
DOC 文書内のテキストを抽出し、ページごとに出力します。テキスト抽出結果に基づいて、文書の対応するページに基づいて全文インデックスを構築し、ページベースの全文検索を実現します。
画像ソーシャル分析シナリオ
画像ソーシャル ネットワーキング、電子商取引 Web サイト、フォト ギャラリーなどのアプリケーションでは、インテリジェント メディア管理によって提供される画像標準プロジェクトを使用すると、次のシナリオを迅速に実現できます。
画像コンテンツのレビュー
コンテンツ識別機能を使用して、ポルノ、暴力とテロ、違法コンテンツなど、画像内の低俗で禁止されているコンテンツを効果的に識別し、コンテンツに対する規制当局のますます厳しくなる規制要件を満たし、運用上のリスクを回避します。
QRコード検出機能を使用して、画像にQRコードが含まれているかどうかを判定し、QRコードの内容を出力します。
画像の分類と検索
コンテンツ認識機能を使用して写真にマークを付けてグループ化し、キーワードを検索してフォト ギャラリー、素材 Web サイト、ネットワーク ディスク、スマート フォト アルバムなどのアプリケーションから一致する写真を検索します。
画像著作権のトレーサビリティ
画像ブラインドウォーターマーク機能を使用して、画像またはテキストタイプのブラインドウォーターマークを画像に追加します。ブラインド透かしを追加すると、透かしは画像内で直接見ることができなくなりますが、インテリジェントメディア管理の画像ブラインド透かし機能を解析することで、画像内の隠された透かしを復元できます。
ホームデバイスのデータストレージシナリオ
ホームデバイス(カメラなど)が家族の写真や監視ビデオをOSSにアップロードすると、インテリジェントメディア管理は、OSSに保存されている複数のホームデバイスからアップロードされた写真やビデオの顔情報を分析し、顔検出やグループ化などのメタデータ情報を取得して利用します。メタデータをデータ情報に変換することで、顔写真アルバムや他人検知などの機能を便利に実現できます。
このようにして、複数のデバイスの関連付けとデバイスとクラウド間の対話が実現され、インテリジェントなメディア管理の AI 機能がより包括的になり、次の利点がもたらされます。
複数のデバイスのインテリジェントな管理
マルチデバイスの画像およびビデオ データ処理を通じて、統合された分析とインテリジェントな管理をクラウド上で実現できます。
デバイスとクラウド間のインテリジェントなコラボレーション
非常に少ない帯域幅で写真やビデオの AI メタデータを取得し、デバイスがクラウドの AI インテリジェンスをすぐに活用できるようにします。
ホームモニタリングやスマートフォトアルバムなどのアプリケーションでは、スマートメディア管理によって提供される画像標準プロジェクトを使用すると、次のシナリオを迅速に実現できます。
顔の分類と検索
顔検索機能を使用して、指定した顔に最も類似した上位 N 個の写真を検索します。結果は類似度の降順に並べ替えられます。
本人確認
顔比較機能を使用して、2 枚の写真内の最大の 2 つの顔の類似性を比較して、見知らぬ人を検出したり、2 人の人物が同一人物であるかどうかを確認したりできます。