《大数据开发项目实战》教学大纲
《大数据开发项目实战》教学大纲
课程名称：大数据开发项目实战
课程类别：专业实践
适用专业：大数据技术类相关专业
总学时：64学时（其中理论18学时，实验46学时）
总学分：3.0学分
一、课程的性质
不断增长的数据量和多种多样的数据类型迫使各行各业从传统的数据技术应用转向大数据技术应用。为了解决海量数据的存储和处理问题，各行各业涌现了大量基于Hadoop生态圈等技术的大数据解决方案。目前，大部分互联网和金融行业搭建了基于Hadoop、Spark、Hive、Kafka等技术的技术栈，用于海量数据的离线分析和实时分析，满足数据采集、存储、处理、可视化等业务要求。为了推动我国大数据、云计算行业的发展，满足企业的大数据人才
需求，为社会输送具备大数据专业素养的人才，也为了让学生对大数据项目开发的流程有更加深刻的体会，特开设大数据开发项目实战专业实践课程。
二、课程的任务
通过本课程的学习，使学生了解大数据开发的技术应用，积攒大数据项目开发经验。本书通过实战项目，引导学生进行思考，使学生充分发挥主观能动性和创造性，本书将理论与实际相结合，便于学生把大数据技术掌握得更加牢固，为将来从事大数据分析、挖掘、开发奠定基础。
三、课程学时分配
序号
教学内容
理论学时
实验学时
其它
1
第1章 大数据项目概述
4
3
2
第2章 Hadoop生态组件基础
2
3
3
做梦梦见鱼第3章 广电大数据用户画像——需求分析
2
6
4
第4章 广电大数据用户画像——数据采集与预处理
2
8
5
第5章 广电大数据用户画像——实时统计订单信息
2
6
6
除锈的方法第6章 广电大数据用户画像——用户标签计算与可视化
2
8
7
第7章 广电大数据用户画像——任务调度实现
2
6
8
第8章 基于TipDM大数据挖掘
建模平台实现广电大数据
用户画像
2
6
总计
18
46
四、教学内容及学时安排
1.理论教学
公司 起名
序号
章节名称
主要内容
教学目标
学时
1
大数据项目概述
1. 了解企业大数据项目的数据处理流程开发
2. 掌握大数据开发项目的架构分析
3. 了解大数据开发项目的人员安排
4. 了解大数据开发项目的实战环境
5. 了解大数据开发项目涉及的技术及需掌握的能力
1. 了解企业大数据项目的数据处理流程与架构设计
2. 了解企业大数据项目各个阶段的人员安排
3. 熟悉本书项目所需的实战环境和涉及的技术
4. 熟悉Spark任务调用的实现和Spark任务提交到集并进行任务监控的过程
4
2
Hadoop生态组件基础
1. 了解Hadoop框架
2. 掌握Hadoop集安装与配置
3. 熟悉Hadoop框架的组成
4. 掌握Hadoop的应用实践
5. 了解Hive框架
6. 掌握Hive的安装与配置
7. 熟悉Hive的体系架构
8. 掌握Hive的应用实践
9. 了解Spark框架
10. 掌握Spark集的安装与配置
11. 熟悉Spark的集架构
12. 掌握Spark的应用实践
1. 了解Hadoop框架的发展历程、优点和生态系统常用组件
2. 熟悉Hadoop集、Hive和Spark的安装与配置
3. 熟悉Hadoop框架、Hive和Spark的架构组成
4. 掌握使用Hadoop、Hive、Spark进行简单的数据分析及存储操作的方法
2
3
广电大数据用户画像——
需求分析
1. 了解项目的背景
2. 了解项目的目标
3. 了解广电大数据的数据说明
4. 掌握对广电大数据的基础探索
5. 掌握对广电大数据的业务需求探索
6. 掌握广电大数据用户画像项目的技术选型
7. 熟悉广电大数据用户画像项目的系统架构
1. 了解广电大数据用户画像项目的前期工作内容
2. 了解广电大数据用户画像项目的项目背景和项目目标。
3. 熟悉项目需求探索的探索分析思路和过程
4. 掌握对数据的基础探索和业务需求探索分析，总结数据的清洗处理规则并对数据进行预处理。
5. 熟悉项目前期的项目整体结构和项目所需技术方案设计的过程
2
4
广电大数据用户画像——
数据采集与预处理
1. 了解生产数据来源
2. 掌握数据模拟产生的过程
3. 了解广电数据的存储与传输过程
4. 掌握将Elasticsearch数据传输到Hive
5. 掌握将用户画像标签结果保存到MySQL
6. 掌握基础数据的预处理
1. 熟悉使用Logstash进行数据采集，将CSV格式的数据采集到Elasticsearch中
2. 熟悉模拟数据产生的具体过程
3. 掌握Elasticsearch与Hive之间的数据传输的方法
4. 掌握使用Spark SQL技术将DataFrame类型的数据保存到MySQL数据库中的方法
5. 掌握根据数据处理规则实现广电大数据的预处理的方法
6. 掌握广电大数据预处理代码的封装实现的方法
2
5
广电大数据用户画像——
实时统计订单信息椅子像什么比喻句
1. 了解广电用户数据实时统计的目标
2. 掌握Kafka集的安装和配置
3. 掌握使用Kafka模拟订单实时数据流的产生
4. 掌握使用Spark Streaming技术实现实时统计订单信息
1. 熟悉CDH集中Kafka的安装和配置
2. 掌握使用Kafka模拟产生实时数据流的方法
3. 掌握使用Spark Streaming实现数据的实时流式处理的方法
2
6
广电大数据用户画像——
用户标签计算与可视化
1. 熟悉SVM预测用户是否值得挽留的实现过程
2. 了解SVM算法
3. 掌握特征列和标签列数据的构建
4. 掌握SVM模型的构建
5. 掌握SVM模型的模型评估
6. 掌握SVM模型的模型预测
7. 掌握预测用户是否值得挽留的整体实现及参数封装
8. 熟悉用户画像的实现流程
9. 了解用户画像概述
10. 掌握用户画像的标签计算
11. 掌握用户画像工程实现
12. 了解用户画像可视化
13. 掌握用户画像可视化工程的实现
14. 掌握用户画像可视化工程的结果展示
1. 了解用户画像的核心实现过程
2. 熟悉使用SVM算法预测用户是否值得挽留的实现过程
3. 熟悉用户画像标签的计算规则及对应的计算实现过程
4. 掌握使用SVM模型构建与预测的方法和用户画像计算的工程封装及测试的方法
5. 掌握简化版的用户画像可视化工程的实现的方法
2
7
广电大数据用户画像——
任务调度实现
1. 熟悉广电大数据用户画像项目任务调度策略的设计
2. 掌握广电大数据用户画像项目调度任务的配置与实现
1. 熟悉广电大数据用户画像项目中相关任务的调度策略的设计
2. 熟悉在XXL-JOB分布式任务调度平台上进行调度系统配置的过程
3. 掌握广电大数据用户画像系统的调度任务的配置及执行的方法
2
8
基于TipDM大数据挖掘建模平台
实现广电大数据用户画像
1. 了解TipDM大数据挖掘建模平台
2. 熟悉平台的模板
3. 熟悉TipDM大数据挖掘建模平台的“数据空间”版块
4. 熟悉TipDM大数据挖掘建模平台的“我的项目”版块
5. 熟悉TipDM大数据挖掘建模平台的“系统组件”和“个人组件”
6. 了解TipDM大数据挖掘建模平台的访问方式
7. 熟悉广电大数据用户画像在TipDM大数据挖掘建模平台的开发流程
8. 掌握数据源的配置
9. 掌握数据探索的开发过程
10. 掌握数据处理的开发过程
11. 掌握用户画像的开发过程
思想道德教育1. 了解TipDM大数据挖掘建模平台的相关概念和特点。
2. 熟悉使用TipDM大数据挖掘建模平台配置广电大数据用户画像的总体流程。
3. 掌握使用TipDM大数据挖掘建模平台获取数据的方法。
4. 掌握使用TipDM大数据挖掘建模平台进行数据探索的操作方法。
5. 掌握使用TipDM大数据挖掘建模平台进行数据去重、数据筛选、表连接等操作的方法。
6. 掌握使用TipDM大数据挖掘建模平台构建模型的方法。
2
学 时 合 计
18
2.实验教学
序号
实验项目名称
实验要求
学时
1
大数据开发项目实战环境搭建
1. 大数据开发项目所需实战环境的搭建
2. 掌握IntelliJ IDEA开发环境搭建；Maven插件、Scala插件的配置
3
2
Hadoop生态组件的环境搭建及组件使用
1. 搭建Hadoop、Hive、Spark基础集环境
2. 提交程序至Hadoop集运行
3. 基于Hive实现航空公司客户价值数据预处理及分析
4. 基于Spark实现单词词频统计
3
3
广电大数据用户画像需求分析与数据探索
1. 明确广电大数据项目需求探索的探索分析思路和过程
2. 掌握对广电大数据的基础探索和业务需求探索分析
3. 总结数据的清洗处理规则并对数据进行预处理
6
4
广电用户数据采集与预处理
1. 使用Logstash进行数据采集，将CSV格式的广电数据采集到Elasticsearch中
2. 掌握Elasticsearch集的安装配置
3. 掌握将Elasticsearch数据导入至Hive
4. 掌握使用Spark SQL技术将DataFrame数据保存到MySQL数据库中
5. 掌握广电用户数据的预处理
6. 掌握广电用户数据预处理代码的封装实现
8
5
订单实时数据流产生及订单信息实时统计
1. 掌握在CDH集中安装和配置Kafka集
2. 掌握使用Kafka生产者逐行读取订单数据文件，模拟产生实时数据流
3. 掌握使用Spark Streaming实现订单数据的实时统计
6
6
电动卷闸门遥控器配对广电用户画像的用户标签计算与可视化
1. 构建用户特征列和标签列数据的构建
2. 掌握SVM算法预测用户是否值得挽留的实现
3. 掌握用户画像计算的工程封装及测试
4. 掌握用户画像可视化工程的实现
8
7
广电大数据用户画像项目任务调度实现
1. 熟悉广电大数据用户画像项目中相关任务的调度策略的设计
2. 掌握在XXL-JOB分布式任务调度平台上进行调度系统配置
3. 掌握广电大数据用户画像系统的调度任务的配置及执行
6
8
基于TipDM大数据挖掘建模平台实现广电大数据用户画像
1. 掌握使用TipDM大数据挖掘建模平台获取数据
2. 掌握使用TipDM大数据挖掘建模平台进行数据探索
3. 掌握使用TipDM大数据挖掘建模平台进行数据去重、数据筛选、表连接等操作
4. 掌握使用TipDM大数据挖掘建模平台构建模型
6
学 时 合 计
48
五、考核方式

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。