大數(shù)據(jù)技術(shù)及應(yīng)用

《大數(shù)據(jù)技術(shù)及應(yīng)用》課程教學(xué)大綱
一 、課程基本信息
課程名稱
大數(shù)據(jù)技術(shù)及應(yīng)用（英文名稱） Big data technology and App lic
ation
課程學(xué)時
理論 8 小時，實驗 4 小時
授課方式
多媒體+實踐
考核方式
實踐考試+課程論文
開課單位
先修課程
C 語言程序設(shè)計；Java 程序設(shè)計；數(shù)據(jù)結(jié)構(gòu)；Linux 操作系統(tǒng)；
后續(xù)課程
大數(shù)據(jù)算法；
適用專業(yè)
數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、人工智能、模式識別與人工智能；信息
技術(shù)-職業(yè)技術(shù)教育方向
二 、課程的性質(zhì) 、 目的和任務(wù)
《大數(shù)據(jù)技術(shù)及應(yīng)用》 是大數(shù)據(jù)管理及應(yīng)用專業(yè)人員一 門核心課程 ，也是 該專業(yè)的導(dǎo)入課程 ，以引導(dǎo)學(xué)生對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)與應(yīng)用有一個全面和
概括性的了解。
通過本課程學(xué)習(xí)，使學(xué)生能較系統(tǒng)地掌握大數(shù)據(jù)的基本知識、原理和方法， 初步具備大數(shù)據(jù)的應(yīng)用、開發(fā)的能力 ，為從事大數(shù)據(jù)分析、建模、可視化奠定 基礎(chǔ) 。 目的是讓學(xué)生了解并掌握四個領(lǐng)域即大數(shù)據(jù)系統(tǒng)的起源及系統(tǒng)特征；大 數(shù)據(jù)系統(tǒng)的架構(gòu)設(shè)計及功能目標(biāo)設(shè)計；大數(shù)據(jù)系統(tǒng)程序開發(fā)；企業(yè)大數(shù)據(jù)案例 分析的內(nèi)容，同時利用真機實驗環(huán)節(jié)以及大數(shù)據(jù)實訓(xùn)一體機來提升學(xué)生對大數(shù)
據(jù)開發(fā)的實踐能力；
本課程重點讓學(xué)生掌握三個方面的內(nèi)容：
（1）基礎(chǔ)篇： 主要包括 HDFS 使用操作、MapReduce 開發(fā)； 、HBase 數(shù)據(jù)庫
的開發(fā)；
（2）核心篇： YARN 架構(gòu)、Spark 集群計算；
（3）應(yīng)用篇： 醫(yī)藥大數(shù)據(jù)案例分析。
三 、課程教學(xué)目標(biāo)
（一）總體目標(biāo)
掌握大數(shù)據(jù)分析的基本理論、技術(shù)， 了解大數(shù)據(jù)分析的典型應(yīng)用場景、掌
握如何分析數(shù)據(jù)、解決問題、完成相關(guān)研究的方法 ，具有創(chuàng)新和獨立思意識。
（二） 具體目標(biāo)
通過本課程的學(xué)習(xí) ，學(xué)生應(yīng)達到如下目標(biāo)：
1．知識與技能
（1） 了解大數(shù)據(jù)平臺搭建的步驟，掌握大數(shù)據(jù)的存儲、分析的原理；
（2） 了解大數(shù)據(jù)分析的典型應(yīng)用場景，例如文本挖掘、Web 廣告、聚類、
推薦系統(tǒng)、Web 鏈接分析、社交網(wǎng)絡(luò)大數(shù)據(jù)分析、頻繁項集；
（3） 理解大數(shù)據(jù)分析和挖掘的基本理論技術(shù)；
（4） 能獲取、處理、分析和應(yīng)用大數(shù)據(jù)資源。
2．過程與方法
（1）經(jīng)過對大數(shù)據(jù)領(lǐng)域的探索，學(xué)會用大數(shù)據(jù)思維認識、分析和解決問題。
3．情感與態(tài)度
（1）通過探究活動，養(yǎng)成認真嚴(yán)謹(jǐn)?shù)膶W(xué)習(xí)態(tài)度；
（2）通過師生、生生互動交流 ，體驗大數(shù)據(jù)的價值和魅力。
四 、教學(xué)內(nèi)容及教學(xué)基本要求
第一講 大數(shù)據(jù)概述
（一）教學(xué)目的
通過本章的學(xué)習(xí)掌握大數(shù)據(jù)基本概念 ，理解大數(shù)據(jù)的處理流程， 了解大數(shù)
據(jù)在行業(yè)中的應(yīng)用和未來趨勢。
（二） 教學(xué)要求
1、解釋大數(shù)據(jù)基本概念；
2、分析大數(shù)據(jù)的分析處理流程；
3、知道大數(shù)據(jù)技術(shù)應(yīng)用場景和前景。
（三）教學(xué)內(nèi)容
第一節(jié)大數(shù)據(jù)的概述知識要點： 大數(shù)據(jù)的定義和特征。
第二節(jié)大數(shù)據(jù)分析的過程、技術(shù)及工具知識要點： 大數(shù)據(jù)的采集、存儲方
式、分析技術(shù)、展示及應(yīng)用。
第三節(jié)大數(shù)據(jù)技術(shù)的發(fā)展前景知識要點： 大數(shù)據(jù)技術(shù)不斷發(fā)展， 出現(xiàn)更多
的應(yīng)用項目。
（四）教學(xué)重點與難點
1．教學(xué)重點： 大數(shù)據(jù)的基本概念。
2．教學(xué)難點： 大數(shù)據(jù)分析處理的流程。
第二講 大數(shù)據(jù)集群系統(tǒng)基礎(chǔ)
（一）教學(xué)目的
能分析大數(shù)據(jù)集群 ， 闡明其基本原理； 在虛擬化計算機系統(tǒng)中安裝
CentOS 7 操作系統(tǒng) ，通過 SecureCRT/Xshell 訪問 CentOS 7 操作系統(tǒng) ， 以 三臺節(jié)點機搭建大數(shù)據(jù)集群環(huán)境。
（二）教學(xué)要求
1.掌握虛擬機軟件 VMware Workstation 10 及以上和終端仿真程序 SecureCRT/Xshell 的下載、安裝和使用方法；
2.掌握 VMware Workstation 10 中安裝 CentOS 7 的方法；
3.理解大數(shù)據(jù)集群相關(guān)組成和技術(shù) ，部署大數(shù)據(jù)集群。
（三）教學(xué)內(nèi)容
第一節(jié) CentOS 大數(shù)據(jù)集群系統(tǒng)的組成知識要點：CentOS 概念、CentOS 集群系統(tǒng)拓撲圖。
第二節(jié) 操作實踐：大數(shù)據(jù)集群的部署知識要點：集群規(guī)劃、網(wǎng)絡(luò)配置、 安全配置、時間同步、SSH 登錄。
（四）教學(xué)重點與難點
1．教學(xué)重點：VMwareWorkstation、CentOS 7、SecureCRT 的安裝和使 用。
2．教學(xué)難點： 大數(shù)據(jù)集群的部署。
第三講 Hadoop 分布式系統(tǒng)
（一）教學(xué)目的
Hadoop 的使用需要搭建一個完整的分布式系統(tǒng)，在理解 Hadoop 工作原 理的基礎(chǔ)上配置和運行 Hadoop。
（二）教學(xué)要求
1.說明 Hadoop 的運行原理。
2.掌握 Hadoop 環(huán)境的安裝與配置。
（三）教學(xué)內(nèi)容
第一節(jié) Hadoop 相關(guān)技術(shù)及生態(tài)系統(tǒng)知識要點：構(gòu)成 Hadoop 生態(tài)系統(tǒng) 的相關(guān)技術(shù)。
第二節(jié) 操作實踐： Hadoop 安裝與配置知識要點： JDK 安裝、Hadoop 安裝、Hadoop 運行、瀏覽 Hadoop 頁面。
（四）教學(xué)重點與難點
1．教學(xué)重點：Hadoop 安裝過程中 hadoop-en v.sh、yarn-en v.sh、slaves、 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 文件 的配置。
2．教學(xué)難點： Hadoop 安裝過程中參數(shù)的配置。
第四講 HDFS 分布式文件系統(tǒng)
（一）教學(xué)目的
Hadoop 采用分布式 HDFS，通過本章學(xué)習(xí)掌握 HDFS 的基本原理，掌握 HDFS
相關(guān)的操作命令，并能夠應(yīng)用 Java 對 HDFS 進行編程。（二） 教學(xué)要求
1 ． 了解 HDFS 的特點、架構(gòu)、數(shù)據(jù)讀取過程、數(shù)據(jù)寫入過程。
2. 掌握 HDFS 操作。
（三）教學(xué)內(nèi)容
第一節(jié) HDFS 知識要點： HDFS 設(shè)計前提和設(shè)計目標(biāo)、Namenode 和 Datanode、文件系統(tǒng)的名字空間、數(shù)據(jù)復(fù)制、HDFS 讀寫流程。
第二節(jié) HDFS 操作實踐知識要點： HDFSShell、HDFS JavaAPI、Eclipse 開發(fā)環(huán)境、綜合實例。
（四）教學(xué)重點與難點
1．教學(xué)重點： HDFS 的原理、數(shù)據(jù)讀寫的原理。
2．教學(xué)難點:HDFS 綜合實例。
第五講 分布式計算系統(tǒng)—MapReduce 及其應(yīng)用實例
（一）教學(xué)目的
Hadoop 采用分布式計算系統(tǒng) MapReduce，通過本章的學(xué)習(xí)，掌握 MapReduce 的基本原理、架構(gòu)以及工作機制 ，并且掌握 MapReduce 的編程操作，從而運用 到實處。
（二）教學(xué)要求
1.分析 MapReduce 的基本原理、架構(gòu)以及工作機制；
2.操作 MapReduce WordCount 編程和 MapReduce 倒排索引編程 ，實現(xiàn)其應(yīng) 用。
（三）教學(xué)內(nèi)容
第一節(jié) MapReduce 簡介知識要點： MapReduce 架構(gòu)、原理、工作機制。
第二節(jié) MapReduce 操作實踐知識要點： MapReduceWordCount 編程實例、 MapReduce 倒排索引編程實例。
（四）教學(xué)重點與難點
1.教學(xué)重點： MapReduce 的基本原理、架構(gòu)以及工作機制等知識內(nèi)容。
2.教學(xué)難點：MapReduce WordCount 編程實例；MapReduce 倒排索引編程實 例
實踐課 醫(yī)藥大數(shù)據(jù)案例分析
（一）教學(xué)目的
根據(jù)大數(shù)據(jù)系統(tǒng)的需求分析 ，在 Hadoop 框架下 ，基于 Hbase 數(shù)據(jù)庫，綜合 應(yīng)用各項關(guān)鍵技術(shù)完成大數(shù)據(jù)系統(tǒng)的功能。
（二）教學(xué)要求
能在 Hadoop 框架下，綜合大數(shù)據(jù)應(yīng)用系統(tǒng)編程的原理、技術(shù) ，呈現(xiàn)既定的 運行結(jié)果。
（三） 教學(xué)內(nèi)容
第一節(jié) 項目概述知識要點： 醫(yī)藥電商大數(shù)據(jù)分析平臺的形成背景。
第二節(jié) 功能需求知識要點：流量分析、經(jīng)營狀況分析、大數(shù)據(jù)可視化系統(tǒng)。 第三節(jié) 軟件關(guān)鍵技術(shù)知識要點： 醫(yī)藥電商大數(shù)據(jù)分析平臺的關(guān)鍵技術(shù)。
第四節(jié) 效果展示知識要點： 各類分析效果圖。
第五節(jié) 系統(tǒng)構(gòu)架設(shè)計知識要點：系統(tǒng)的組成、協(xié)作方式、網(wǎng)絡(luò)拓撲、建設(shè) 方案。
第六節(jié) 數(shù)據(jù)存儲設(shè)計知識要點：設(shè)計流量數(shù)據(jù)表、訂單數(shù)據(jù)表、會員評價 表。
第七節(jié) 數(shù)據(jù)分析知識要點：采集、分析數(shù)據(jù)。第八節(jié) 數(shù)據(jù)展示知識要點： 結(jié)果數(shù)據(jù)展示代碼。
（四）教學(xué)重點與難點
1.教學(xué)重點： 大數(shù)據(jù)系統(tǒng)的需求分析、Hbase 數(shù)據(jù)庫的建立、程序的設(shè)計 與實現(xiàn)。
2.教學(xué)難點： 程序的設(shè)計與實現(xiàn)。
五 、各教學(xué)環(huán)節(jié)學(xué)時分配
章節(jié)
教學(xué)內(nèi)容
各教學(xué)環(huán)節(jié)學(xué)時分配
合 計
講 授
練 習(xí)
研 討
在線
學(xué)習(xí)
課 外
其 它
第一講
大數(shù)據(jù)概論
1
1
第二講
大數(shù)據(jù)集群系統(tǒng)基礎(chǔ)
1
1
第三講
Hadoop 分布式系統(tǒng)
2
2
第四講
HDFS 分布式文件系統(tǒng)
1
1
2
第五講
MapReduce 分布式計算
1.5
0.5
2
第 6 講
醫(yī)藥大數(shù)據(jù)案例分析
1
3
4
合計
12
六 、教學(xué)手段與方法
1.教學(xué)手段 :本課程主要采用多媒體、課件演示、實驗實訓(xùn)等教學(xué)手段進行 教學(xué)。
2.教學(xué)方法 :本課程主要采用任務(wù)驅(qū)動、案例教學(xué)、講授與討論相結(jié)合等教 學(xué)方法進行教學(xué) 。課程內(nèi)容主要按大數(shù)據(jù)處理任務(wù)進行組織 ，因此可以按解決 相應(yīng)任務(wù)所需的方法技術(shù)進行教學(xué)組織和實踐 。在課程的授課過程中 ，對于學(xué) 生難以理解的方法技術(shù)都給與案例分析，完整展現(xiàn)相應(yīng)方法技術(shù)是如何實施和 應(yīng)用的 。另外 ，課程教學(xué)過程中 ，可以圍繞相關(guān)大數(shù)據(jù)處理的任務(wù)組織學(xué)生進 行討論，培養(yǎng)學(xué)生主動學(xué)習(xí)、解決問題的能力。
七 、考核方式 、考核內(nèi)容及成績評定
1.考核評價方式
1）過程性考核評價方式。本課程的過程性考核評價方式主要包括：考勤、 作業(yè)、討論、隨堂提問等。
2）結(jié)果性考核評價方式。本課程的結(jié)果性考核評價方式主要是期末考查（開 卷）。根據(jù)各章知識點，設(shè)計期末考查試卷。
八 、課程教材
[1]朝樂門.數(shù)據(jù)科學(xué)[M].北京：清華大學(xué)出版社,2020.
[2]朝樂門.數(shù)據(jù)科學(xué)理論與實踐[M].北京：清華大學(xué)出版社,2019.
[3]周蘇,王文.大數(shù)據(jù)導(dǎo)論[M].清華大學(xué)出版社,2020 第一版
[4]許晶華.管理信息系統(tǒng)[M].廣州:華南理工大學(xué)出版社,2015.
[5]黃梯云.管理信息系統(tǒng)[M].北京:高等教育出版社,2019.
[6]薛華成.管理信息系統(tǒng)[M].北京:清華大學(xué)出版社,2020.

李海良老師的其它課程