对于刚从是大数据开发或者是像参加大叔培训的小伙伴，一定都会在培训学习中或者是开发过程中都会出现各种各样的问题，今天我们就分享一下数据挖掘中需要注意的错误，想要加入到大数据开发领域就一定要注意数据挖掘中的错误，接下来就为大家分享一下大数据培训中数据挖掘常见的错误。
1.只靠数据来说话
IDMer：“让数据说话”没有错，关键是还要记得另一句话：兼听则明，偏听则暗！如果数据＋工具就可以解决问题的话，还要人做什么呢？
4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。
4b.经过设计的实验：某些实验设计中掺杂了人为的成分，这样的实验结果也常常不可信
2、轻信预测
人们常常在经验不多的时候轻易得出一些结论。
即便发现了一些反例，人们也不太愿意放弃原先的想法。
维度咒语：在低维度上的直觉，放在高维度空间中，常常是毫无意义的。
解决方法：
进化论。没有正确的结论，只有越来越准确的结论。
3、试图回答所有问题
IDMer：有点像我爬山时鼓励自己的一句话“我不知道什么时候能登上山峰，但我知道爬一步就离终点近一步。”
“不知道”是一种有意义的模型结果。
模型也许无法100%准确回答问题，但至少可以帮我们估计出现某种结果的可能性。
4、随便的进行抽样
(1)降低抽样水平。例如，MD直邮公司进行响应预测分析，但发现数据集中的不响应客户占比太高。于是建模人员做了如下抽样：把所有响应者放入样本集，然后在所有不响应者中进行系统抽样，即每隔10人抽一个放入样本集，直到样本集达到10万人。但模型居然得出如下规则：凡是居住在Ketchikan、Wrangell和Ward Cove Alaska的人都会响应营销。这显然是有问题的结论。
解决方法：“喝前摇一摇”先打乱原始数据集中的顺序，从而保证抽样的随机性。
(2)提高抽样水平。例如，在信用评分中，因为违约客户的占比一般都非常低，所以在建模时常常会人为调高违约客户的占比(比如把这些违约客户的权重提高5倍)。建模中发现，随着模型越来越复杂，判别违约客户的准确率也越来越高，但对正常客户的误判率也随之升高。(问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了)
解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
5、太相信最佳模型
IDMer：还是那句老话-“没有最好，只有更好!”
可解释性并不一定总是必要的。看起来并不完全正确或者可以解释的模型，有时也会有用。
“最佳”模型中使用的一些变量，会分散人们太多的注意力。
一般来说，很多变量看起来彼此都很相似，而最佳模型的结构看上去也千差万别，无迹可循。但需注意的是，结构上相似并不意味着功能上也相似。
解决方法：把多个模型集装起来可能会带来更好更稳定的结果。
想要了解更多关于大数据开发方面内容的小伙伴，可以关注一下硅谷大数据培训，尤其是自学的小伙伴个到硅谷大数据培训下载相关的大数据教学视频，进行学习。
上一篇: 学习web前端报培训班好，还是网上买课自学好呢
下一篇: 大数据挖掘常见的分析处理工具
