MindMap Gallery 第五章,数据产品开发
数据科学理论与实践第五章数据产品开发,是指能够通过数据来帮助用户实现其某一个目标的产品,数据产品开发涉及数据科学项目流程的全部活动。
Edited at 2023-10-22 15:16:23Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
数据产品开发
定义
是指能够通过数据来帮助用户实现其某一个目标的产品
数据产品开发涉及数据科学项目流程的全部活动
不仅包括人类用户,还包括计算机以及其他软硬件系统
数据产品的存在形式有多种
数据加工
单纬度转换
多维度转换
关键环节
数据柔术
关键技术
主要特征
以数据为中心
数据驱动
数据密集型
数据范式
Facebook中的70多种性别——数据范式与知识范式的差异
多样性
数据类产品
信息类产品
知识类产品
智慧类产品
层次性
内容类产品
应用类产品
服务类产品
决策类产品
增值性
创造性地工作
批判性地思维
好奇性地提问
数据对象的封装
数据系统的研发
集成应用
辅助服务
衍生服务
关键活动
基本原则
三分技术,七分管理,12分数据
数据是数据产业开发的原材料
数据科学家的智慧是数据产品开发的主要增值来源
用户的体验是数据产品的主要评价指标
活动要素
创造性设计
数据洞见
可视化
故事化描述
虚拟化
按需服务
个性化服务
安全与隐私保护
用户体验
政策分析
数据柔术
将数据转化为产品的艺术
产品开发要有较高的艺术性
目标用户为中心的产品开发
D.J.Patil
引入设计思维
下拉列表
单选按钮
智能提醒
其他解决方案
支持人机协同
Amazon Mechanical Turk
参与者的长尾性
获取劳动力的弹性
小任务性
后支付模式
资格审查
数据处理成本低
善于留住用户
顶天立地的产品设计
数据,取之于民,用之于民
避免导致数据恶心
预估可能产生的副产品或负面影响
正确处理查全率,查准率和响应时间之间的关系
搜索引擎中的返回结果
搜索引擎中的餐饮类广告信息
搜索引擎中的图书类广告信息
用户体验的重要性
重视用户认知行为的主观性
错误和胡明行事往往更容易被目标用户感知,并对整个数据产品产生错误的认知
招募更多的用户,获得有效的数据
需要让用户提供哪些信息以及这些信息是否满足数据产品开发的需求
在要求用户提供个人信息时,应明确告知收集范围,目的,承诺利用方式以及未来返还给用户的服务
预见失败及确保良好的用户体验
数据能力
数据管理
数据获取,存储,整合,分析,应用,呈现,归档和销毁等各种生存形态。演变的过程
数据治理
数据资源及其应用过程中,相关管控活动绩效和风险管理的集合
数据处理
数据操作的系统执行
数据战略
组织开展数据工作的愿景,目的,目标和原则
数据架构
数据要素结构和接口等抽象及其相互关系的框架
数据生存周期
将原始数据转化为适用于行动和知识的一组过程
元数据
关于数据或数据元素的数据
数据元
有一组属性规定,其定义标识表示和允许值的数据单元
主数据
组织中需要跨系统,跨部门进行共享的核心业务实体数据
数据管理原则
数据是有价值的
数据管理需求符合业务需求
数据管理依赖于多种技能
数据管理是生命周期管理
CMM
关键过程域
数据战略
数据治理
数据质量
数据操作
平台与架构
辅助性过程
成熟度等级
已执行级
已管理级
已定义级
已测量级
已优化级
成熟度评价
启动
诊断
建立
行动
学习
数据战略
数据战略是一个组织机构的数据管理的愿景目标以及功能蓝图的统一管理
美国国防部数据战略框架
可见
可访问
可理解
关联
值得信赖
可互操作
安全
数据战略的定位
数据战略不仅需要定义数据管理的目标,更需要的是给出如何实现这些管理目标的具体行动方案,以及如何动态调整数据管理目标的机制
数据战略的目标
定义一个数据驱动型组织或培育数据驱动型文化,将数据作为组织机构决策活动的驱动因素,增强组织机构的敏捷性,进而提高组织机构的核心竞争力
数据战略的侧重点
数据密集型问题
数据战略的范畴
中国
欧洲
美国
英国
德国
日本
促进大数据发展行动纲要
数据治理
对数据管理的管理
主要内容
理解自己的数据
IBM提出的企业数据管理的范畴
交易数据
主数据
元数据
关系数据
数据干系人的识别与分析
数据部门的设立
行为规范的制定
数据管理方针和目标的确定
岗位职责的定义
应急预案与应急管理
等级保护与分类管理
有效监督与动态优化
基本过程
计划
执行
检查
改进
DGI数据治理框架
主动定义或序化规则
为数据利益相关者提供持续的,跨职能的保护和服务
应对并解决因不遵守规则而产生的问题
数据安全,隐私,道德与伦理
数据安全
关键资源
在系统遭到损害后,能够恢复部分功能
重要资源
能够发现问重要的安全漏洞和安全事件,在系统遭到损害后,能够在一段时间内恢复部分功能
主要资源
能够发现安全漏洞和安全事件,在系统遭到损害后,能够较快恢复绝大部分功能
全部资源
能够发现安全漏洞和安全事件,在系统遭到损害后,能够迅速恢复所有功能
P^2DR模型
数据偏见
数据来源,选择偏见
幸存者偏见
数据加工和准备偏见
伯克森悖论
算法和模型选择偏见
A/B测试
分析结果的解读和呈现上的偏见
辛普森悖论
算法歧视
大数据杀熟
数据攻击
数据攻击及谷歌炸弹
谷歌炸弹是指人为恶意构造锚文本,在搜索引擎中提升有关他人不利报道的文章或网页的点击率。即便这些文章或网站与搜索主题可能并不相关
隐私保护
剑桥分析公司数据丑闻