第2章 项目架构
项目架构如图1所示

第3章 项目实现
系统环境:
表1
|
系统 |
版本 |
|
windows |
10 专业版 |
|
linux |
CentOS 6.8 |
开发工具:
表2
|
工具 |
版本 |
|
idea |
2017.2.5旗舰版 |
|
maven |
3.3.9 |
|
JDK |
1.8+ |
提示:idea2017.2.5必须使用maven3.3.9,不要使用maven3.5,有部分兼容性问题
集群环境:
表3
|
框架 |
版本 |
|
hadoop |
2.7.2 |
|
zookeeper |
3.4.10 |
|
hbase |
1.3.1 |
|
flume |
1.7.0 |
|
kafka |
2.11-0.11.0.0 |
硬件环境:
表4
|
|
hadoop102 |
hadoop103 |
hadoop104 |
|
内存 |
4G |
2G |
2G |
|
CPU |
2核 |
1核 |
1核 |
|
硬盘 |
50G |
50G |
50G |
3.1 数据生产
此情此景,对于该模块的业务,即数据生产过程,一般并不会让你来进行操作,数据生产是一套完整且严密的体系,这样可以保证数据的鲁棒性。但是如果涉及到项目的一体化方案的设计(数据的产生、存储、分析、展示),则必须清楚每一个环节是如何处理的,包括其中每个环境可能隐藏的问题;数据结构,数据内容可能出现的问题。
上一篇: 尚硅谷大数据技术之电信客服
下一篇: 尚硅谷大数据技术之电信客服

