大數(shù)據(jù)下的數(shù)據(jù)管理

=============================================================
《大數(shù)據(jù)下的數(shù)據(jù)管理》 -段方
某世界 100 強(qiáng)企業(yè)大數(shù)據(jù)總設(shè)計(jì)師 教授 北京大學(xué)博士后
=============================================================
13465791451 概述
-------------------------------------------------------------
1.1 數(shù)據(jù)要素化、資產(chǎn)化
1.1.1 大數(shù)據(jù)成為新的生產(chǎn)“要素 ”
1.1.2 大數(shù)據(jù)的基本框架
1.1.3 數(shù)據(jù)資產(chǎn)化基礎(chǔ)
1.1.4 數(shù)據(jù)治理的重要性
1.2 大數(shù)據(jù)下的數(shù)據(jù)管理
1.2.1 行業(yè)數(shù)據(jù)管理的特點(diǎn)
1.2.2 大數(shù)據(jù)為什么強(qiáng)調(diào)數(shù)據(jù)管理？
1.2.3 大數(shù)據(jù)管理與傳統(tǒng)數(shù)據(jù)管理的異同
1.2.4 如何讓蘿 卜賣出“奢侈品 ”的價(jià)格？
1.2.5 數(shù)據(jù)管理的業(yè)界案例
1.2.5.1 電信行業(yè)案例
1.2.5.2 互聯(lián)網(wǎng)行業(yè)案例
1.3 數(shù)據(jù)管理的范疇
1.3.1 有關(guān)的標(biāo)準(zhǔn)——DAMA 概述
1.3.2 數(shù)據(jù)標(biāo)準(zhǔn)
1.3.3 數(shù)據(jù)資產(chǎn)
1.3.4 數(shù)據(jù)質(zhì)量
1.3.5 數(shù)據(jù)安全
1.4 數(shù)據(jù)管理基礎(chǔ)
1.4.1 數(shù)據(jù)的數(shù)據(jù)——元數(shù)據(jù)
1.4.2 元數(shù)據(jù)
1.4.2.1 數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)
1.4.2.2 HADOOP 的元數(shù)據(jù)
1.4.2.3 元數(shù)據(jù)的價(jià)值和應(yīng)用
1.4.3 CWM 標(biāo)準(zhǔn)
1.4.3.1 數(shù)據(jù)倉(cāng)庫(kù)的元模型
1.4.3.2 HADOOP 的元模型
1.5 數(shù)據(jù)管理的意義
1.5.1 提供大數(shù)據(jù)管理的“抓手 ”
1.5.2 證明大數(shù)據(jù)的內(nèi)部管理水平
1.6 數(shù)據(jù)管理包含數(shù)據(jù)治理
1.6.1 數(shù)據(jù)治理的概念
1.6.2 數(shù)據(jù)管理包含數(shù)據(jù)治理
1.7 【例】附件-數(shù)據(jù)治理(DAMA)框架介紹
1935291185322 數(shù)據(jù)管理基礎(chǔ)
-------------------------------------------------------------
2.1 數(shù)據(jù)內(nèi)容
2.1.1
2.1.2
2.1.3
2.1.4
2.1.5
客戶數(shù)據(jù) 產(chǎn)品數(shù)據(jù) 營(yíng)銷數(shù)據(jù) 員工數(shù)據(jù) 服務(wù)數(shù)據(jù)
2.2 數(shù)據(jù)標(biāo)準(zhǔn)的顆粒度
2.2.1 詳細(xì)數(shù)據(jù)
2.2.2 匯總數(shù)據(jù)
2.2.3 衍生數(shù)據(jù)
2.3 數(shù)據(jù)如何收集
2.3.1 從內(nèi)部各個(gè) IT 系統(tǒng)獲取
2.3.2 外部數(shù)據(jù)獲取方法
2.3.3 批量獲取/實(shí)時(shí)獲取
2.4 數(shù)據(jù)清洗過(guò)程
2.4.1 數(shù)據(jù)抽取
2.4.2 數(shù)據(jù)轉(zhuǎn)換
2.4.3 數(shù)據(jù)加載
2.5 跨平臺(tái)數(shù)據(jù)接口標(biāo)準(zhǔn)
2.5.1 數(shù)據(jù)接口的定義
2.5.2 數(shù)據(jù)接口的管理職責(zé)
2.5.3 接口設(shè)計(jì)的原則
2.6 邏輯模型設(shè)計(jì)及實(shí)例
2.6.1 原因
2.6.2 邏輯模型設(shè)計(jì)的原則
2.6.3 設(shè)計(jì)實(shí)例
2.7 物理模型設(shè)計(jì)及實(shí)例
2.7.1 原因
2.7.2 物理模型設(shè)計(jì)原則
2.7.3 設(shè)計(jì)實(shí)例
2.8 數(shù)據(jù)字典及實(shí)例
2.8.1
2.8.2
2.8.3
概念
范圍和內(nèi)容 設(shè)計(jì)實(shí)例
2.9 【案例】某企業(yè)的數(shù)據(jù)資產(chǎn)治理案例
1935291161753 數(shù)據(jù)建模基礎(chǔ)
-------------------------------------------------------------
3.1 什么是數(shù)據(jù)模型？
3.2 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型
3.3 大數(shù)據(jù)系統(tǒng)不用數(shù)據(jù)模型嗎？
3.4 數(shù)據(jù)模型是數(shù)據(jù)治理的基礎(chǔ)
3.5 數(shù)據(jù)接口的標(biāo)準(zhǔn)是數(shù)據(jù)模型的基礎(chǔ)
3.6 數(shù)據(jù)字典概念基礎(chǔ)
3.7 【例】附件——某企業(yè)數(shù)據(jù)字典舉例
134651166734 建模方法論
-------------------------------------------------------------
4.1 數(shù)據(jù)模型基本方法
4.2 數(shù)據(jù)模型與行業(yè)應(yīng)用的關(guān)系
4.3 第三范式
4.4 實(shí)體-關(guān)系模型
4.5 建模的三階段
4.5.1 概念模型
4.5.2 邏輯模型
4.5.3 物理模型
4.6 建立模型的關(guān)鍵問(wèn)題
4.6.1 邏輯模型與業(yè)務(wù)的關(guān)系
4.6.2 邏輯模型與需求的關(guān)系
4.6.3 邏輯模型與業(yè)務(wù)系統(tǒng)的關(guān)系
4.7 【例】附件——某金融企業(yè)數(shù)據(jù)建模舉例
134651130415 數(shù)據(jù)倉(cāng)庫(kù)邏輯模型（示例）
-------------------------------------------------------------
5.1 數(shù)據(jù)倉(cāng)庫(kù)模型概述
5.2 某企業(yè)數(shù)據(jù)模型概述及舉例
5.3 參與人主題域
5.4 服務(wù)主題域
5.5 資源主題域
5.6 營(yíng)銷主題域
5.7 事件主題域
5.8 賬務(wù)主題域
5.9 財(cái)務(wù)主題域
5.10 【例】附件——某企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)建模舉例
134651166716 匯總層數(shù)據(jù)模型
-------------------------------------------------------------
6.1 什么是匯總層數(shù)據(jù)模型？
6.2 某企業(yè)匯總層數(shù)據(jù)模型及案例
6.3 詳單匯總
6.4 賬務(wù)匯總
6.5 個(gè)人用戶匯總
6.6 集團(tuán)客戶匯總
6.7 產(chǎn)品信息匯總等
6.8 【例】附件——某企業(yè)的數(shù)據(jù)質(zhì)量管理介紹
134651166727 數(shù)據(jù)接口設(shè)計(jì)
-------------------------------------------------------------
7.1 數(shù)據(jù)接口設(shè)計(jì)要求
7.2 數(shù)據(jù)接口分類
7.3 數(shù)據(jù)接口實(shí)現(xiàn)機(jī)制
7.4 接口雙方職責(zé)
7.5 數(shù)據(jù)轉(zhuǎn)換規(guī)則
7.6 消息級(jí)接口規(guī)則
7.7 【例】附件——某企業(yè)的數(shù)據(jù)接口規(guī)范舉例
8 建模工具
8.1 Erwin 建模工具介紹
8.2 主要特點(diǎn)
8.3 主要功能
8.4 Erwin 支持的各種接口
8.5 【例】附件——Erwin 工具介紹
9 數(shù)據(jù)治理基本內(nèi)容
9.1 數(shù)據(jù)架構(gòu)管理
9.1.1 企業(yè)數(shù)據(jù)模型
9.1.2 價(jià)值鏈分析
9.1.3 相關(guān)數(shù)據(jù)架構(gòu)
9.2 數(shù)據(jù)開發(fā)
9.2.1 分析
9.2.2 數(shù)據(jù)建模
9.2.3 數(shù)據(jù)庫(kù)設(shè)計(jì)
9.2.4 實(shí)施
9.3 數(shù)據(jù)操作管理
9.3.1
9.3.2
9.3.3
9.3.4
9.3.5
獲取 恢復(fù) 調(diào)優(yōu) 保留 清除
9.4 數(shù)據(jù)安全管理
9.4.1
9.4.2
9.4.3
9.4.4
9.4.5
標(biāo)準(zhǔn) 分級(jí) 管理 授權(quán) 審計(jì)
9.5 參考數(shù)據(jù)和主數(shù)據(jù)管理
9.5.1
外部規(guī)范
9.5.2
內(nèi)部規(guī)范
9.5.3
客戶數(shù)據(jù)
9.5.4
產(chǎn)品數(shù)據(jù)
9.5.5
維度管理
9.6 文檔和內(nèi)容管理
9.6.1
獲取和存儲(chǔ)
9.6.2
備份和恢復(fù)
9.6.3
內(nèi)容管理
9.6.4
檢索
9.6.5
保留
9.7 元數(shù)據(jù)管理
9.7.1 架構(gòu)
9.7.2 整合
9.7.3 控制
9.7.4 交付
9.8 數(shù)據(jù)質(zhì)量管理
9.8.1 規(guī)范
9.8.2 分析
9.8.3 度量
9.8.4 改進(jìn)
9.9 其它
9.10 【例】附件-數(shù)據(jù)治理的案例分享
1346511667210 元數(shù)據(jù)管理
-------------------------------------------------------------
10.1 從數(shù)據(jù)倉(cāng)庫(kù)說(shuō)起
10.1.1 數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)特征——元數(shù)據(jù)
10.1.2 數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)應(yīng)用舉例
10.2 大數(shù)據(jù)更需要元數(shù)據(jù)
10.2.1 大數(shù)據(jù)的業(yè)務(wù)特征
10.2.2 大數(shù)據(jù)更需要元數(shù)據(jù)
10.2.3 大數(shù)據(jù)的元數(shù)據(jù)與數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)的關(guān)系
10.2.4 HADOOP 內(nèi)部元數(shù)據(jù)內(nèi)容
10.2.5 大數(shù)據(jù)的元數(shù)據(jù)管理意義（更清晰的數(shù)據(jù)脈絡(luò)）
10.3 元數(shù)據(jù)的標(biāo)準(zhǔn)-CWM
10.3.1 為什么是 CWM?
10.3.2 元模型的概念及舉例
10.3.3 CWM 的演進(jìn)
10.3.4 CWM 的問(wèn)題
10.4 元數(shù)據(jù)的對(duì)外開放
10.4.1 元數(shù)據(jù)的 API
10.4.2 元數(shù)據(jù)的開放應(yīng)用意義
10.5 元數(shù)據(jù)的應(yīng)用
10.5.1 血緣分析
10.5.2 影響分析
10.5.3 元數(shù)據(jù)的易用性問(wèn)題
10.6 元數(shù)據(jù)運(yùn)維
10.6.1 元數(shù)據(jù)的建設(shè)和運(yùn)維
10.6.2 運(yùn)維更加重要
10.6.3 運(yùn)維的管理制度保障
10.7 元數(shù)據(jù)的“事前 ”管理
10.7.1 事前元數(shù)據(jù)的概念
10.7.2 降低元數(shù)據(jù)的同步難度
10.7.3 從事前開始
10.8 元數(shù)據(jù)應(yīng)用案例分享
10.9 【例】附件-某企業(yè)元數(shù)據(jù)應(yīng)用案例展示
1346511668311 數(shù)據(jù)資產(chǎn)管理
-------------------------------------------------------------
11.1 數(shù)據(jù)成為資產(chǎn)
11.1.1 數(shù)據(jù)如何能成為資產(chǎn)?
11.1.2 數(shù)據(jù)資產(chǎn)如何評(píng)估？
11.2 數(shù)據(jù)資產(chǎn)范圍
11.2.1 數(shù)據(jù)資產(chǎn)范圍
11.2.2 數(shù)據(jù)資產(chǎn)的梳理
11.2.3 數(shù)據(jù)資產(chǎn)與固定資產(chǎn)間的關(guān)系
11.3 數(shù)據(jù)資產(chǎn)管理的內(nèi)容
11.3.1 資產(chǎn)的注冊(cè)
11.3.2 資產(chǎn)的變更
11.3.3 資產(chǎn)的統(tǒng)計(jì)
11.3.4 資產(chǎn)的審計(jì)
11.3.5 資產(chǎn)的權(quán)限管理
11.4 數(shù)據(jù)資產(chǎn)審計(jì)
11.4.1 數(shù)據(jù)資產(chǎn)審計(jì)內(nèi)容
11.4.2 數(shù)據(jù)資產(chǎn)審計(jì)的意義
11.4.3 數(shù)據(jù)資產(chǎn)審計(jì)的延伸
11.5 數(shù)據(jù)資產(chǎn)使用分析
11.5.1 哪些數(shù)據(jù)的訪問(wèn)量更多？
11.5.2 哪些數(shù)據(jù)資產(chǎn)的存儲(chǔ)成本過(guò)高？
11.5.3 哪些數(shù)據(jù)資產(chǎn)的價(jià)值更大？
11.5.4 資產(chǎn)使用中有哪些問(wèn)題？
11.6 【例】附件-數(shù)據(jù)資產(chǎn)管理的具體案例分享
1346511667112 數(shù)據(jù)質(zhì)量管控
-------------------------------------------------------------
12.1 數(shù)據(jù)質(zhì)量管理的源起
12.1.1 從“挑戰(zhàn)者 ”航天飛機(jī)說(shuō)起
12.1.2 60%的精力在數(shù)據(jù)質(zhì)量上
12.1.3 數(shù)據(jù)質(zhì)量的表現(xiàn)形式
12.2 數(shù)據(jù)質(zhì)量管控的內(nèi)容
12.2.1 數(shù)據(jù)處理全程的全監(jiān)控
12.2.2 數(shù)據(jù)質(zhì)量的“度量 ”
12.2.3 數(shù)據(jù)質(zhì)量監(jiān)控的方法
12.2.4 數(shù)據(jù)質(zhì)量中的“數(shù)據(jù)回滾 ”
12.2.5 數(shù)據(jù)質(zhì)量管控的“實(shí)時(shí)性 ”要求
12.3 數(shù)據(jù)質(zhì)量的知識(shí)庫(kù)
12.3.1 數(shù)據(jù)質(zhì)量管理的知識(shí)庫(kù)
12.3.2 “眾人拾柴火焰高 ”——群策群力
12.3.3 知識(shí)庫(kù)的表征方式
12.4 數(shù)據(jù)質(zhì)量管理的業(yè)務(wù)應(yīng)用
12.4.1 數(shù)據(jù)質(zhì)量評(píng)估應(yīng)用
12.4.2 數(shù)據(jù)質(zhì)量分級(jí)告警
12.5 數(shù)據(jù)質(zhì)量管理的制度建設(shè)
12.5.1 “3 分技術(shù)，7 分管理 ”
12.5.2 如何細(xì)化管理？
12.6 數(shù)據(jù)質(zhì)量管理的“竅門 ”
12.7 【例】附件-某企業(yè)數(shù)據(jù)質(zhì)量管理案例
1346511668313 主數(shù)據(jù)的概念
1346511304113.1 概念和特點(diǎn)
13.1.1 共享數(shù)據(jù)
13.1.2 維度或者層次
13.2 主數(shù)據(jù)管理
13.2.1 主數(shù)據(jù)內(nèi)容
13.2.2 數(shù)據(jù)保持一致性
13.2.3 數(shù)據(jù)管理流程控制
13.2.4 主數(shù)據(jù)與數(shù)據(jù)倉(cāng)庫(kù)
13.3 主數(shù)據(jù)管理意義
13.3.1 關(guān)鍵數(shù)據(jù)的統(tǒng)一
13.3.2 業(yè)務(wù)的一致性
13.4 【案例】附件——某企業(yè)主數(shù)據(jù)管理案例
1346511668314 大數(shù)據(jù)安全管理
-------------------------------------------------------------
14.1 從數(shù)據(jù)倉(cāng)庫(kù)的安全說(shuō)起
14.1.1 安全顛覆使用
14.1.2 數(shù)據(jù)倉(cāng)庫(kù)安全介紹
14.2 系統(tǒng)的安全和網(wǎng)絡(luò)的安全
14.2.1 安全的層級(jí)
14.2.2 系統(tǒng)安全
14.2.3 網(wǎng)絡(luò)安全
14.3 HADOOP 的安全特點(diǎn)
14.3.1 開源系統(tǒng)如何安全？
14.3.2 HADOOP 各個(gè)組件的安全防護(hù)
14.3.3 安全管控的方案選擇
14.4 數(shù)據(jù)的脫敏
14.4.1 數(shù)據(jù)安全的最后防線
14.4.2 數(shù)據(jù)脫敏的算法
14.4.3 不可逆算法的優(yōu)勢(shì)
14.5 “逐級(jí)設(shè)防 ”的安全管控策略
14.5.1 如何層層防御？
14.5.2 “城防圖 ”的設(shè)計(jì)
14.6 安全管理的制度建設(shè)
14.6.1 從安全管理開始
14.6.2 安全管理的制度設(shè)計(jì)舉例
14.7 大數(shù)據(jù)安全的反思
14.7.1 有絕對(duì)的數(shù)據(jù)安全嗎？
14.7.2 如何有限的成本用到刀刃上？
14.8 【案例】附件——某企業(yè)大數(shù)據(jù)安全管理案例
1346511668415 數(shù)據(jù)管理中的互聯(lián)網(wǎng)思維落地
-------------------------------------------------------------
15.1 互聯(lián)網(wǎng)思維的概述
15.1.1 互聯(lián)網(wǎng)思維的概念
15.1.2 互聯(lián)網(wǎng)思維的特點(diǎn)
15.1.3 互聯(lián)網(wǎng)思維的應(yīng)用舉例
15.2 大數(shù)據(jù)與互聯(lián)網(wǎng)思維的關(guān)系
15.2.1 大數(shù)據(jù)為什么需要互聯(lián)網(wǎng)思維？
15.2.2 大數(shù)據(jù)互聯(lián)網(wǎng)思維與 IT 思維的對(duì)比
15.2.3 大數(shù)據(jù)互聯(lián)網(wǎng)思維的意義
15.3 數(shù)據(jù)管理中的互聯(lián)網(wǎng)思維
15.3.1 數(shù)據(jù)管理的使用者分析
15.3.2 數(shù)據(jù)管理中的產(chǎn)品分析
15.3.3 數(shù)據(jù)管理中極致思維的落地
15.4 元數(shù)據(jù)的互聯(lián)網(wǎng)思維
15.4.1 用戶是誰(shuí)?
15.4.2 產(chǎn)品如何？
15.4.3 如何降低使用門檻？
15.5 數(shù)據(jù)質(zhì)量的互聯(lián)網(wǎng)思維
15.5.1 互聯(lián)網(wǎng)思維在數(shù)據(jù)質(zhì)量管理中的落地
15.5.2 如何提升數(shù)據(jù)質(zhì)量監(jiān)控的可視化程度？
15.6 數(shù)據(jù)資產(chǎn)管理的互聯(lián)網(wǎng)思維
15.6.1 如何讓普通用戶也能夠理解數(shù)據(jù)資產(chǎn)管理？
15.6.2 數(shù)據(jù)資產(chǎn)管理中的跨界思維
15.7 數(shù)據(jù)安全中的互聯(lián)網(wǎng)思維
15.7.1 數(shù)據(jù)安全的產(chǎn)品化
15.7.2 數(shù)據(jù)安全的“可視化 ”
15.8 【例】附件-數(shù)據(jù)治理中互聯(lián)網(wǎng)思維的落地案例
1346511697616 總結(jié)
-------------------------------------------------------------

段方老師的其它課程