心智圖資源庫 阿里雲端智慧媒體管理
智慧媒體管理 IMM(Intelligent Media Management)是一款場景化封裝資料智慧分析管理工具。為雲端上的文件、圖片數據,提供一站式數據處理、分析、檢索等管控體驗。根據圖片分析、資料儲存等不同應用場景,封裝整合完整的處理能力,讓資料快速流轉。
編輯於2024-01-13 15:37:11This is a mind map about bacteria, and its main contents include: overview, morphology, types, structure, reproduction, distribution, application, and expansion. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about plant asexual reproduction, and its main contents include: concept, spore reproduction, vegetative reproduction, tissue culture, and buds. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about the reproductive development of animals, and its main contents include: insects, frogs, birds, sexual reproduction, and asexual reproduction. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about bacteria, and its main contents include: overview, morphology, types, structure, reproduction, distribution, application, and expansion. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about plant asexual reproduction, and its main contents include: concept, spore reproduction, vegetative reproduction, tissue culture, and buds. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about the reproductive development of animals, and its main contents include: insects, frogs, birds, sexual reproduction, and asexual reproduction. The summary is comprehensive and meticulous, suitable as review materials.
阿里雲端智慧媒體管理
產品簡介
智慧媒體管理針對不同產業的業務場景封裝整合完整的處理能力,提供文件的格式轉換及預覽,圖片的內容辨識、臉部偵測、二維碼偵測、臉部搜尋等功能,適合媒資管理、智能網盤、社交應用、圖庫圖床等開發者使用。智慧型媒體管理可以結合物件儲存(OSS)、表格儲存(Tablestore)為文件管理、圖片社群分析等領域提供實用的場景化一站式解決方案。
功能特性
文件轉換和預覽
將文件相關的格式轉換與預覽整合,快速實現文件的智慧管理能力。
功能 說明 格式轉換 將PPTX、PPT、XLS、DOC、PDF、HTML、HTM等48種文件格式轉換為JPG、PNG、PDF、TXT和VECTOR向量格式。更多信息,請參見文檔格式轉換。 文件預覽 根據實際需要選擇合適的方式進行文件預覽。 文件預覽V1:將輸入文件轉換為VECTOR向量格式後,透過對接智慧媒體管理提供的前端渲染引擎,實現更易用、更強大、客製化的文件預覽效果。更多信息,請參見文件預覽V1。 文件預覽V2:取得文件的預覽位址和AccessToken後,無需指定iframe元素,JS檔案會自動在自定區塊元素下產生iframe,並透過JS檔案設定 AccessToken即可快速的實作文件預覽。更多信息,請參見文件預覽V2。
圖片智慧檢測
將內容辨識、臉部偵測等AI功能整合,快速實現圖片的智慧管理能力。
功能 說明 內容識別 辨識圖片中場景、物件、事件等訊息,取得到標籤的元資料資訊。更多信息,請參見內容識別。 人臉偵測 偵測圖片中的人臉以及人的年齡、性別、心情等,取得到人臉的元資料資訊。更多信息,請參見人臉檢測。 QR 圖碼偵測 偵測圖中的二維碼以及二維碼中儲存的內容,詳情請參閱二維碼識別。 人體偵測 檢測圖片中的人體區域和置信度。更多信息,請參見人體檢測。 人臉搜尋 搜尋與指定圖片最相似的前N張圖片,結果依相似度降序排列。更多信息,請參見人臉搜尋。 人臉對比 比較兩張圖片中分別最大的兩個人臉的相似度。更多信息,請參見人臉對比。 圖片盲浮水印 為圖片添加圖片或文字類型的盲水印。盲水印添加後,在圖片中不能直接看到該水印,但是可以透過使用智慧媒體管理的解析圖片盲水印功能恢復圖中隱藏的水印。更多信息,請參見圖片盲水印。
產品優勢
場景痛點分析
圖片應用
對於圖片應用,首先上傳圖片、影片到物件儲存中,隨著業務的不斷發展和法規政策的監管需求,會增加鑑黃檢測、標籤檢測、人臉檢測、OCR識別等AI分析功能,如下圖所示。
通常,圖片應用會選擇採用業務伺服器安裝不同廠家的AI分析能力,透過這些功能得到關鍵的元資料訊息,然後保存到資料庫中,從而更好的支撐元資料檢索,支撐業務和監管的需求。採用此方案有以下問題:
介面不統一
因為有多廠商的選型,需要考慮不同廠商介面的兼容性。
資源浪費
同一張圖片會被多次讀取,甚至是傳輸到外部網絡,浪費網路頻寬。
無存量資料的低成本批量處理方案
採用廠商的同步處理價格高昂,需要提供存量資料的低成本批次處理方案,接受非同步介面返回偵測結果。例如針對存量的OSS Bucket中的所有圖片,進行打標處理。
網盤
對於網盤應用,通常需要使用者登入、目錄服務、資料直傳OSS、AI智慧處理等功能。透過後端使用伺服器和資料庫,其架構如下圖所示。
為了支撐網盤的資料管理,通常需要提供各類元資料管理,特別是在AI智慧處理場景下,需要定義相關的儲存格式,處理資料庫的異常,帶來了較大的開發難度。採用此方案有以下問題:
元資料表設計難度高
針對不同的元數據,需分類設計各類表結構存儲,存在技術門檻。
多維度元資料管理有挑戰
需組合多種元數據,進行關聯查詢處理,有設計挑戰。
維護元資料的一致性難題
解決元資料在異常場景下的復原處理,是系統級難題。
智慧媒體管理產品優勢
智慧媒體管理圍繞著大量資料、端雲拉通、標準統一、智慧分析、場景結合、一鍵處理6個關鍵點進行設計,提供基於場景的AI智慧處理方案,如下圖所示。
透過針對性的架構設計,智慧媒體管理具有以下優勢:
儲存資料無縫貼合
與物件儲存OSS直接關聯,自動處理雲端上資料。
豐富資料處理
結合業界先進的辨識、處理能力,為應用處理提供豐富的功能支援。
簡化維
提供Serverless化服務,無需關心業務運作。
場景化一站式解決方案
面向場景的建置快速的元資料管理,快速實現應用。
產品架構
智慧媒體管理採用分層架構進行設計,分層架構包含處理引擎、元資料管理、場景化封裝三層,且存在依賴的上下文,如下圖所示。
對下依賴物件儲存、檔案儲存等阿里雲端儲存服務,透過安全的機制存取阿里雲端儲存中的非結構化資料(例如圖片、影片),提取有價值的資訊。
對上基於場景理解進行封裝,支撐網盤、雲相簿、社交圖庫、家庭監控等圖片和視訊應用場景,為應用提供新的價值。
處理引擎層
基於阿里雲端儲存提供就近建置運算框架,支援批次非同步處理、準即時同步處理,在一鍵關聯阿里雲儲存(例如指定OSS Bucket的目錄前綴、指定OSS Bucket的某個物件)後,實現快速的自動資料處理,透過整合業界先進的資料處理演算法,目前處理引擎提供以下功能:
文檔格式轉換
支援將包括OFFICE在內的48種格式的文件轉換為JPG、PNG、PDF、TXT、VECTOR 5種格式,可用於網盤文件瀏覽等場景。
內容識別
辨識圖片中場景、物件、事件等訊息,實現圖片的自動打標,可用於圖片內容審核、圖片檢索等場景。
人臉偵測
偵測圖片中的人臉以及人的年齡、性別、心情等,可用於相簿分類等場景。
QR 圖碼偵測
偵測圖片中的二維碼以及二維碼中儲存的內容,可以判斷圖片中是否含有二維碼訊息,輸出二維碼包含的訊息,可用於影像內容審核等場景。
人體偵測
偵測圖片中的人體區域和置信度,可用於異常行為偵測等場景。
人臉搜尋
搜尋與指定圖片最相似的前N張圖片,結果依相似度降序排列,可用於會員管理、相簿分類、目標人員搜尋等場景。
人臉對比
比較兩張圖片中分別最大的兩個人臉的相似度,可用於識別驗證等場景。
圖片盲浮水印
為圖片添加圖片或文字類型的盲水印。盲浮水印新增後,在圖片中不能直接看到該浮水印,但是可以透過使用智慧媒體管理的解析圖片盲水印功能恢復圖中隱藏的水印,可用於圖片版權追溯等場景。
元數據管理層
基於處理引擎提供的功能,透過對場景的深入理解和梳理,智能媒體管理封裝了場景的元數據設計,對外提供場景的元數據訪問接口,簡化場景應用的設計難度、無需關注元數據索引數據庫的運維工作,目前支援的元資料索引如下:
人臉聚類索引
建構元資料集合,然後呼叫人臉分組的索引介面分析圖片,將所得的元資料加入該元資料集合中,因此可以得到該集合中相似的人臉。透過此索引,可以快速的支撐網盤的人臉相簿、家庭監控的陌生人偵測、新零售的顧客管理等場景。
標籤分組索引
建立元資料集合,然後呼叫標籤分組的索引介面分析圖片,將得到的元資料加入到該元資料集合中,因此可以根據標籤搜尋圖片。透過此索引,可以快速的支撐網盤的場景相簿、家庭監控的寵物追蹤、低俗圖片等標籤的搜尋。
場景封裝層
透過阿里雲對場景的支撐,把處理引擎層和元資料管理層的功能進行包裝,並按照資源包方式提供出來,從而簡化使用,方便應用快速的接入,實現AI和場景的緊密結合,目前支援的場景實例如下:
文件標準型
將文件相關的格式轉換與預覽整合,快速實現文件的智慧管理能力。
圖片標準型
將內容辨識、臉部偵測等AI功能整合,快速實現圖片的智慧管理能力。
應用場景
文件管理場景
在網盤、郵箱、文件管理等應用程式中,使用智慧型媒體管理提供的文件標準型項目,可快速實現以下場景:
文件預覽
使用格式轉換功能,將48種常見文件格式轉換為JPEG、PNG、PDF、TXT、VECTOR 5種目標類型,然後基於格式轉換的結果,結合前端渲染引擎實現在PC和行動裝置上的文件預覽。
全文檢索
提取DOC文檔中的文字並按頁輸出,基於文字提取的結果,按文檔對應頁建立全文索引,實現按頁的全文檢索。
圖片社交分析場景
在圖片社交、電商網站、圖庫等應用程式中,使用智慧媒體管理提供的圖片標準型項目,可以快速實現以下場景:
圖片內容審核
使用內容識別功能,有效識別圖片中的低俗和違禁內容,例如色情、暴力恐怖、違法違規等,滿足監管部門對內容日益嚴格的監管要求,規避營運風險。
使用二維碼偵測功能,判斷圖片中是否含有二維碼以及輸出二維碼的內容。
圖片分類與檢索
使用內容辨識功能,為圖片打標分組後,透過搜尋關鍵字在圖庫、素材網站、網盤、智慧相簿等應用程式中搜尋符合的圖片。
圖片版權追溯
使用圖片盲浮水印功能,為圖片添加圖片或文字類型的盲浮水印。盲水印添加後,在圖片中不能直接看到該水印,但是可以透過使用智慧媒體管理的解析圖片盲水印功能恢復圖中隱藏的水印。
家庭設備資料儲存場景
家庭設備(例如攝像頭)上傳家庭圖片、監控視頻到OSS後,智能媒體管理分析OSS中保存的多個家庭設備上傳圖片、視頻的人臉信息,得到人臉檢測、分組等元數據信息,利用元資料資訊可以方便的實現人臉相簿、陌生人偵測等功能。
透過此方式,實現了多設備的關聯,端和雲端的互動,讓智慧媒體管理的AI能力更加的普惠,從而帶來如下的優勢:
多裝置智慧管理
透過多裝置的圖片、視訊資料處理,可以在雲端上實現組合分析和智慧管理。
端和雲端的智慧協作
用極少的頻寬得到圖片、影片的AI元數據,實現設備端快速享受雲端的AI智慧。
在家庭監控、智慧相簿等應用程式中,使用智慧媒體管理提供的圖片標準型項目,可以快速實現以下場景:
人臉分類與檢索
使用人臉搜尋功能,在圖庫中搜尋與指定人臉最相似的前N張圖片,結果依相似度降序排列。
身分識別驗證
使用人臉對比功能,比較兩張圖片中分別最大的兩個人臉的相似度,可以偵測陌生人或驗證兩個人是否為同一個人。