大数据核心技术之数据挖掘与机器学习技术探索培训大纲
时间培训大纲内容
第一天上午
第一章
玻璃樽演员机器学习与数据挖掘
基础原理
1> 什么是机器学习?
2> 什么是数据挖掘?
3> 什么是大数据?
4> 典型应用
5> 机器学习基本思想与原理
a> 假设空间
b> 主要流派
<;机械学习/示教学习/类别学习/归纳学习>
c> 归纳学习<;有监督的学习/无监督的学习>
6> 机器学习应用的一般流程
<;收集数据/准备数据/分析数据/训练/测试/应用>
7> 大数据下机器学习算法的特点
8>基础知识
a> 常见文本处理流程
<;分词、词性标注、实体识别、句法分析、索引>
b> 向量空间模型
c> 高维数据降维
c> 相似度计算方法
d> 基本概率统计知识
9> 常用工具
第一天下午
第二章
机器学习与数据挖掘
常用技术
1)分类方法
a)特征选择与降维
b)朴素贝叶斯
c)决策树
d)回归分类器
第二天上午
第二章
机器学习与数据挖掘
常用技术
e)中心向量法
f)KNN
g)SVM
h)线性分类器
2)分类的研究进展与趋势
a)大数据下的分类算法
b)情感分析
c)众包标注
第二天下午
第二章
机器学习与数据挖掘
常用技术
3)常见聚类算法
a)k-Means
b)层次聚类
c)DBSCAN
4)聚类的研究进展与趋势
a)大数据下的聚类算法
网下申购b)Science上最新发表的聚类算法
c)社交网络中的社区发现
第三天上午
第二章
机器学习与数据挖掘
常用技术
5)回归算法
a)线性回归
b)Logistic回归
c)岭回归
d)Lasso回归
6)回归的研究进展与趋势
a)树回归
b)支持向量回归
第三天下午
1度电等于多少千瓦时
第二章
机器学习与数据挖掘
常用技术
7)推荐算法
a)基于内容的推荐
b)基于协同的推荐
8)推荐的研究进展与趋势
c)社交化推荐
第四天上午
第三章
数据挖掘实战1
大数据基础应用之
分类问题:垃圾过滤
1)实验环境
a)开发语言
b)软件包
2)问题定义
a)目标
b)可用数据
c)预期输出
3)算法分析
a)贝叶斯方法回顾
b)理论与应用结合
c)算法应用过程
4> 数据预处理
a)获取原始数据
b)查看数据样本
c)编写数据过滤程序
d)获取训练样本与测试样本
5> 特征提取
a)使用哪些特征?
b)使用什么类型的特征?
c)编写特征提取程序
6> 模型训练
a)一般过程
b)训练与测试
c)参数化模型选择
d)关于 overfitting 模型实验
e)回顾
第四天下午
第三章
数据挖掘实战2
永远的神话大数据基础应用之
回归问题:美国社区犯罪
率预测
1> 实验环境
2> 问题定义
a)目标
b)可用数据
c)预期输出
3> 算法分析
a)回归方法回顾
b)理论与应用结合
c)算法应用过程
4> 数据预处理
a)获取原始数据
b)查看数据样本
c)编写数据过滤程序
d)获取训练样本与测试样本
5> 模型训练
a)一般过程
b)训练与测试
c)参数化模型选择
d)关于 overfitting 模型实验
杭州市民卡查询e)回顾
第三章
数据挖掘实战3
分布式计算: 大数据基础
设施
有个人歌词
1)分布式环境简介
a)分布式环境的基石
b)Apache Hadoop生态环境
2)分布式计算举例
a)Mapreduce原理
b)WordCount: 基本案例
c)WordMedian: WordCount的深化
d)计算π值:统计学与大数据
e)分布式Naïve Bayes:从单机小数据到分布式大数

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。