心智圖資源庫 阿里雲端表格儲存 Tablestore
表格儲存(Tablestore)提供為海量結構化資料 Serverless 表格儲存服務,同時針對物聯網場景深度最佳化提供一站式的 IoTstore 解決方案。適用於海量賬單、IM 訊息、物聯網、車聯網、風控、推薦等場景中的結構化數據存儲,提供海量數據低成本存儲、毫秒級的在線數據查詢和檢索以及靈活的數據分析能力。
編輯於2024-01-12 17:44:04This is a mind map about bacteria, and its main contents include: overview, morphology, types, structure, reproduction, distribution, application, and expansion. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about plant asexual reproduction, and its main contents include: concept, spore reproduction, vegetative reproduction, tissue culture, and buds. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about the reproductive development of animals, and its main contents include: insects, frogs, birds, sexual reproduction, and asexual reproduction. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about bacteria, and its main contents include: overview, morphology, types, structure, reproduction, distribution, application, and expansion. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about plant asexual reproduction, and its main contents include: concept, spore reproduction, vegetative reproduction, tissue culture, and buds. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about the reproductive development of animals, and its main contents include: insects, frogs, birds, sexual reproduction, and asexual reproduction. The summary is comprehensive and meticulous, suitable as review materials.
阿里雲端表格儲存 Tablestore
產品簡介
表格儲存(Tablestore)提供為海量結構化資料Serverless表儲存服務,同時針對物聯網場景深度最佳化提供一站式的IoTstore解決方案。適用於海量賬單、IM消息、物聯網、車聯網、風控、推薦等場景中的結構化數據存儲,提供海量數據低成本存儲、毫秒級的在線數據查詢和檢索以及靈活的數據分析能力。
基本概念
術語 說明 地域 地域(Region)實體的資料中心,表格儲存服務會部署在多個阿里雲地域中,您可以根據自身的業務需求選擇不同地域的表格儲存服務。更多信息,請參見表格存儲已經開通的Region。 讀寫吞吐量 讀取吞吐量和寫入吞吐量的單位為讀取服務能力單元和寫入服務能力單元,服務能力單元(Capacity Unit,簡稱CU)是資料讀寫作業的最小計費單位。更多信息,請參見讀寫吞吐量。 實例 實例(Instance)是使用和管理表格儲存服務的實體,每個實例相當於一個資料庫。表格儲存對應用程式的存取控制和資源計量都在實例層級完成。更多信息,請參見實例。 服務地址 每個實例對應一個服務位址(EndPoint),應用程式在進行表格和資料操作時需要指定服務位址。更多信息,請參見服務地址。 資料生命週期 資料生命週期(Time To Live,簡稱TTL)是資料表的屬性,即資料的存活時間,單位為秒。表格儲存會在後台對超過存活時間的資料進行清理,以減少您的資料儲存空間,並降低儲存成本。
資料儲存模型
模型 描述 寬表模型 類別Bigtable/HBase模型,可應用於元資料、大數據等多種場景,支援資料版本、生命週期、主鍵列自增、條件更新、局部事務、原子計數器、過濾器等功能。更多信息,請參見寬表模型。 時序模型 針對時間序列資料的特性進行設計的模型,可應用於物聯網設備監控、設備擷取資料、機器監控資料等場景,支援自動建構時序元資料索引、豐富的時序查詢能力等功能。更多信息,請參見時序模型。 訊息模型 針對訊息資料場景設計的模型,可應用於IM、Feed流等訊息場景。能滿足訊息場景對訊息保序、大量訊息儲存、即時同步的需求,同時支援全文檢索與多維度組合查詢。更多信息,請參見消息模型。
計算與分析
支援透過MaxCompute、Spark、Hive或HadoopMR、函數計算、Flink以及 表格儲存 SQL查詢進行計算與分析,請根據實際場景選擇相應分析工具。
分析工具 適用模型 操作 描述 MaxCompute 寬表模型 使用MaxCompute 透過MaxCompute用戶端為表格儲存的資料表建立外部表,即可存取表格儲存中的資料。 Spark 寬表模型 使用Spark計算引擎 使用Spark計算引擎時,支援透過E-MapReduce SQL或DataFrame程式設計方式存取表格儲存。 Hive或HadoopMR 寬表模型 使用Hive或HadoopMR 使用Hive或HadoopMR存取表格儲存中的資料。 函數計算 寬表模型 使用函數計算 透過函數計算存取表格存儲,對表格存儲增量資料進行即時計算。 Flink 寬表模型 時序模型 使用Flink 透過即時計算Flink存取表格儲存中的來源表、維表或結果表,實現大數據即時計算與分析。 目前資料表支援作為來源表、維度表或結果表,時序表只支援作為結果表。 Presto 寬表模型 透過PrestoDB使用Tablestore 使用Presto對接Tablestore後,基於Presto on Tablestore您可以使用SQL查詢與分析Tablestore中的資料、寫入資料到Tablestore以及匯入資料到Tablestore。 表格儲存多元索引 寬表模型 多元索引 多元索引是基於倒排索引和列式存儲,可以解決大數據的多維查詢和統計分析難題。當日常業務中有非主鍵列查詢、多列組合查詢、模糊查詢等多維查詢需求以及求最值、統計行數、資料分組等資料分析需求時,您可以將這些屬性作為多元索引中的欄位並使用多元索引查詢與分析資料。 表格儲存SQL查詢 寬表模型 時序模型 使用SQL查詢 SQL查詢為多資料引擎提供統一的存取介面。透過SQL查詢功能,您可以對表格儲存中資料進行複雜的查詢和有效率的分析。
功能特性
寬表模型
寬表模型支援的功能特性請參考下表。
功能特性 描述 相關文件 表操作 支援列出實例中的全部資料表、建立一張資料表、查詢資料表的配置資訊、更新資料表的配置資訊、刪除一張資料表。 表操作 基礎資料操作 表格儲存提供了PutRow、GetRow、UpdateRow和DeleteRow的單行資料操作介面以及BatchWriteRow、BatchGetRow和GetRange的多行資料操作介面。您可以透過單行資料操作介面或多行資料操作介面讀寫表中資料。 寫入數據 讀取數據 刪除數據 資料版本和生命週期 使用數據版本以及數據生命週期(TTL)功能,您可以有效的管理數據,減少數據儲存空間,降低儲存成本。 資料版本和生命週期 主鍵列自增 設定非分區鍵的主鍵入為自增列後,寫入資料時,無須為自增列設定具體值,表格儲存體會自動產生自增列的值。該值在分區鍵層級唯一且嚴格遞增。 主鍵列自增 條件更新 只有在滿足條件時,才能對資料表中的資料進行更新;當不滿足條件時,更新失敗。 條件更新 局部事務 建立資料範圍在一個分區鍵值內的局部事務。對局部事務中的資料進行讀寫操作後,可以根據實際提交或丟棄局部事務。 局部事務 原子計數器 將列當作原子計數器使用,對該列進行原子計數操作,可用於為某些線上應用程式提供即時統計功能,例如統計貼文的PV(即時瀏覽量)等。 原子計數器 過濾器 在服務端對讀取的結果再進行一次過濾,根據過濾器中的條件決定回傳哪些行。由於只傳回符合條件的資料行,所以在大部分場景下,可以有效降低網路傳輸的資料量,減少回應時間。 過濾器 二級索引 透過建立一張或多張索引表,使用索引表的主鍵列查詢,相當於將資料表的主鍵查詢能力擴展到了不同的列。二級索引包括全域二級索引和本地二級索引。 全域二級索引:以非同步方式將資料表中被索引的資料列和主鍵列的資料自動同步到索引表中,正常情況下同步延遲達到毫秒等級。 本機二級索引:以同步方式將資料表中已索引的資料列和主鍵列的資料自動同步到索引表中,當資料寫入資料表後,即可從索引表中查詢到資料。 二級索引 全域二級索引 本地二級索引 多元索引 多元索引基於倒排索引和列式存儲,可以解決大數據的複雜查詢難題,包括非主鍵列查詢、全文檢索、前綴查詢、模糊查詢、多條件組合查詢、嵌套查詢、地理位置查詢、統計聚合(max、min、count、sum、avg、distinct_count、group_by)、並發匯出資料等功能。 多元索引 使用控制台 使用命令列工具 使用SDK SQL查詢 SQL查詢功能為多數據引擎提供統一的存取介面。透過SQL查詢功能,您可以對表格儲存中資料進行複雜的查詢和有效率的分析。使用SQL查詢資料時,您也可以配合索引來最佳化查詢。 SQL查詢 使用控制台 使用SDK 使用JDBC JDBC連線表格存儲 透過Hibernate使用 透過MyBatis使用 使用Go語言驅動 通道服務 表格儲存提供了增量、全量、增量加全量三種類型的分散式資料即時消費通道,可實現對錶中歷史存量和新增資料的消費處理。 通道服務 快速入門 使用SDK 資料安全 表格儲存預設允許任意網路的訪問,您可以透過為實例綁定VPC並更改實例網路類型實現在專有網路中使用表格儲存資源,確保網路存取安全。 為了確保表格資料安全,表格儲存提供了資料落盤加密功能。您可以在建立資料表時配置資料表加密。 網路安全管理 資料加密 資料湖投遞 表格存儲資料湖投遞可以全量備份或即時投遞資料到資料湖OSS中存儲,以滿足更低成本的歷史資料存儲,以及更大規模的離線和準即時資料分析需求。 資料湖投遞 快速入門 使用SDK 數據視覺化 支援對接資料視覺化工具DataV或Grafana。透過對接資料視覺化工具可以實現視覺化展示表格儲存中的資料。 對接Grafana 對接DataV 監控與警報 透過查看表格儲存資源的監控訊息,您可以了解資源的使用情況。透過為資源的重要監控指標設定警報規則,您還可以及時得知指標異常並快速處理異常。 透過表格儲存控制台查看監控數據 配置監控指標警報 備份與復原 透過混合雲備份HBR(Hybrid Backup Recovery)定期備份表格儲存實例中的數據,並在資料遺失或損壞時及時恢復。 HBR支援全量與增量資料備份,同時支援資料冗餘機制,可提高儲存庫的資料可靠性。 備份Tablestore數據 還原Tablestore數據 HBase支援 開源HBase API的Java應用程式可以透過Tablestore HBase Client直接存取表格儲存服務。 HBase支援 快速入門
時序模型
時序模型支援的功能特性請參考下表。
功能特性 描述 相關文件 表操作 支援列出實例中的全部時序表、建立一張時序表、查詢時序表的設定資訊、更新時序表的設定資訊、刪除一張時序表。 使用控制台 使用命令列工具 使用SDK 讀寫時序數據 將時序資料批次寫入一張時序表中。資料寫入後,您可以透過指定時間軸識別來查詢一條時間線在某段時間範圍內的資料。 時間軸檢索 檢索一張時序表中的時間軸,檢索條件支援多種條件組合。檢索到時間軸後,您可以透過呼叫介面進一步查詢該時間軸中的資料。 SQL查詢分析 時序表支援透過SQL進行查詢,SQL中支援透過指定時間軸的元資料條件篩選時間軸以及透過統計聚合操作依照不同維度對資料進行聚合操作。 此外,SQL也支援僅對時間軸的元資料進行查詢,方便透過SQL進行時間軸的元資料管理。 使用SQL查詢時序數據 對接Grafana 表格儲存的表格資料連接到Grafana後,Grafana可以根據表格資料產生大盤面板,將資料即時展示給需要的使用者。 對接Grafana
訊息模型
訊息模型支援的功能特性請參考下表。
功能特性 描述 相關文件 表操作 建立或刪除Meta表及其索引。 建立或刪除Timeline表及其索引。 表操作 Meta管理 Meta管理提供了增、刪、改、單行讀、多條件組合查詢等介面。 Meta管理 Timeline管理 Timeline管理提供了訊息模糊查詢、多條件組合查詢介面。 Timeline管理 Queue管理 Queue是單一儲存庫下單Identifier對應的訊息佇列的管理實例,主要有同步寫入、非同步寫入、批次寫入、刪除、同步變更、非同步變更、單行讀取、範圍讀取等介面。 Queue管理
產品架構
系統架構
表格儲存的架構如下圖所示。
業務場景
適用於元資料、訊息資料、時空資料、大數據等場景下的系統建置。
資料存取
提供SDK、DataWorks、IoT規則引擎等多種資料存取方式,支援應用資料、訊息資料、物聯網資料等不同業務類型結構化資料的儲存。
Tablestore
多模型資料存儲
針對不同業務類型的結構化資料提供了寬表(WideColumn)模型、時序(TimeSeries)模型和訊息(Timeline)模型三種資料儲存模型。
模型 描述 寬表模型 類別Bigtable/HBase模型,可應用於元資料、大數據等多種場景,支援資料版本、生命週期、主鍵列自增、條件更新、局部事務、原子計數器、過濾器等功能。更多信息,請參見寬表模型。 時序模型 針對時間序列資料的特性進行設計的模型,可應用於物聯網設備監控、設備擷取資料、機器監控資料等場景,支援自動建構時序元資料索引、豐富的時序查詢能力等功能。更多信息,請參見時序模型。 訊息模型 針對訊息資料場景設計的模型,可應用於IM、Feed流等訊息場景。能滿足訊息場景對訊息保序、大量訊息儲存、即時同步的需求,同時支援全文檢索與多維度組合查詢。更多信息,請參見消息模型。
多元化數據索引
表格儲存 也支援二級索引和多元索引的索引方式,提供強大的資料查詢能力。
索引類型 描述 資料表主鍵 資料表類似一個巨大的Map,它的查詢能力也就類似Map,只能透過主鍵查詢。 二級索引 透過建立一張或多張索引表,使用索引表的主鍵列查詢,相當於將資料表的主鍵查詢能力擴展到了不同的列。 多元索引 使用了倒排索引、BKD樹、列存等結構,具備豐富的查詢能力,例如非主鍵列的條件查詢、多條件組合查詢、地理位置查詢、全文檢索、模糊查詢、嵌套結構查詢、統計聚合等。
冷熱分層存儲
資料儲存支援自動冷熱分層,同時表格儲存 支援高效能實例和容量型實例兩種實例規格來滿足不同業務的資料儲存需求。
實例規格 描述 高效能實例 適用於對讀寫效能和並發都要求非常高的場景,例如遊戲、金融風控、社交應用、推薦系統等。 容量型實例 適用於對讀取效能不敏感,但對成本較為敏感的業務,例如日誌監控資料、車聯網資料、設備資料、時序資料、物流資料、民意監控等。
資料湖投遞
將表格資料全量備份或即時投遞資料到資料湖OSS中儲存。投遞的資料相容於開源生態標準,依照Parquet列存格式存儲,相容於Hive命名規範。您可以使用E-MapReduce直接對投遞到OSS的資料進行外觀分析。
計算生態對接
支援對接主流開源流批次計算引擎,包括Flink、Spark、Presto等。
與阿里大資料平台生態元件有較完善的對接,包括DataWorks、DataHub、MaxCompute等。
典型應用架構
網際網路應用架構
網路應用架構包括資料庫分層架構和分散式結構化資料儲存架構,主要用於電商訂單、直播彈幕、網盤中檔案元資料、社群網路中即時通訊等場景。
資料庫分層架構
在資料庫分層架構中,使用Tablestore 配合MySQL來完成應用系統的業務需求,利用MySQL的事務能力來處理對事務強需求的寫入操作與部分讀取操作,利用Tablestore 的資料擷取能力與大數據儲存來實現資料儲存、查詢與分析。
分散式結構化資料儲存架構
在分散式結構化資料儲存架構中,Tablestore直連應用程式系統實作簡單的事務處理和高並發資料讀寫。
資料湖架構
資料湖架構主要用於資料中台、推薦系統、風控系統等場景。
表格儲存 作為來源表、結果表或維表對接流批次計算引擎實現大數據計算與分析。
物聯網架構
物聯網架構主要用於車聯網、智慧家電、工業物聯網、物流等場景。
表格儲存 作為IoT基礎架構中的統一資料儲存平台來儲存物聯網平台相關的時序資料、元資料、訊息資料等,並提供豐富的資料分析處理能力。
產品優勢
多模型資料存儲
表格存儲
支援寬表(WideColumn)模型、時序(TimeSeries)模型、訊息(Timeline)等多種資料儲存模型,可實現多種類型資料的一體化儲存。
寬表模型
:經典模型,目前絕大部分半結構化、結構化資料均使用寬表模型儲存。
時序模型
:適用於時序資料、時空資料等核心資料場景。
多元化數據索引
表格儲存 也支援二級索引和多元索引的索引方式,提供強大的資料查詢能力。
二級索引
:相當於給資料表提供了另一種排序方式,即對查詢條件預先設計了一種資料分佈,可加快資料查詢的效率。
多元索引
:基於倒排索引和列式存儲,支援多字段自由組合查詢、模糊查詢、地理位置查詢、全文檢索等,可解決大數據的複雜查詢難題。
多計算生態接入
支援接取開源生態體系與阿里自研生態體系。
支援對接MaxCompute、Spark等批次計算以及透過即時資料通道對接Flink流計算。
存取安全性
提供多種權限管理機制,並對每個請求進行身份認證和鑑權,以防止未授權的資料訪問,確保資料存取的安全性。
支援資料存取權限管理,包括登入權限、建立表格權限、讀寫權限、白名單控制權限等。
無縫擴展
透過資料分片和負載平衡技術,實現了儲存無縫擴展。隨著表格資料量的不斷增大, 表格儲存 會進行資料分割的調整從而為該表配置更多的儲存。 表格儲存 可支援不少於10 PB資料儲存量,單表可支援不少於1 PB資料儲存量或1兆筆記錄。
高可靠
將資料的多個備份儲存在不同機架的不同機器上,並會在備份失效時進行快速恢復,提供99.99999999%(10個9)的可靠性。
數據一致性強
保證資料寫入強一致,並保證資料3副本均寫入磁碟,且所有資料保持一致。寫入操作一旦返回成功,應用程式就能立即閱讀最新的數據。
高並發讀寫
支援千萬級並發讀寫能力。
維運便捷
表格儲存 ,您只需專注於業務研發,無需擔心軟硬體預置、配置、故障、叢集擴展、安全等問題,在保證高服務可用性的同時,大大減少了管理及運維成本。
應用場景
網路應用
歷史訂單資料場景
訂單系統是一個非常通用的系統,存在於各行各業,例如電商訂單、銀行流水、運營商話費帳單等。隨著網路的發展以及各企業對資料的重視,需要儲存和持久的訂單量越來越大。傳統關係型數據能夠解決需要支援強一致的事務的線上業務,但海量的訂單關係型數據無法保存全量數據,因此需要支援數據分層儲存。
IM場景
IM(Instant Messaging,即時通訊)已成為當前互聯網業務的基礎組件,廣泛應用在社交、遊戲、直播等場景,具有數據量大、實時性要求高、數據增長快等特點,因此需要支持海量消息的儲存、同步和檢索。
Feed串流場景
Feed串流成為社群、媒體、新聞等領域的標準資訊傳遞形態,產生了朋友圈、微博、頭條等主流產品。由於Feed流場景的讀寫比一般為100:1,往往採用推模式,因此需要支援高並發主鍵自增訊息寫入。
大數據
推薦系統
推薦系統作為當前所有業務精細化運營的主要手段,廣泛應用在電商、短視頻、新聞等場景,具有數據量大、實時更新、個性化推薦等特點,因此需要支持海量消息存儲以及實時與離線分析。
輿情&風控分析(數據爬蟲)場景
透過對輿情資訊的分析與把控,可以有效的分析與洞察市場,例如針對點評、新聞、評論等資訊的收集分析,需要豐富的多類數據高並發寫入以及便捷的數據流轉進行計算分析。
物聯網
對系統的運維監控以及對物聯網(Internet of Things,簡稱IoT)場景中環境與人的監控均有助於進行事實理解與決策,因此需要支援眾多設備與系統的高並發寫入與資料存儲以及決策分析。