![](https://iknow-base.cdn.bcebos.com/lxb/notice.png)
要学数据挖掘需要哪些基础
人工智能、机器学习、模式识别、统计学、数据库、可视化技术等。
数据挖掘从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息,数据挖掘主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,高度自动化地分析企业的数据;
作出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,作出正确的决策。
扩展资料
数据挖掘起源于“情报深加工”,前身为“知识发现”,其实质就是找寻出数据背后的“故事”。用好数据挖掘技术,就能破除信息化战场的“数据迷雾”,从而发现数字背后的奥秘,从战略、战役、战术各个层面准确掌握战场态势及对手作战特点。
信息化战争中,军事决策的正确、及时与否,直接决定战争行动的成败。数据挖掘技术的出现,可以帮助军事决策人员从海量战场数据中分析获取有价值信息,进而为作战筹划等军事决策提供有力支撑。
借助专家系统、遗传算法,可高效完成兵力区分、战术编组、队形配置等决策;借助关联算法、统计决策,可准确预判敌人的行动路线,对重要目标实施保护;借助“决策树”方法、人工神经网络以及可视化技术等,可进行目标火力分配。
数据挖掘还可以进行战场环境分析,实现战场态势的精确感知,为指挥员提供更加清晰的战场态势显示。
参考资料来源:百度百科--数据挖掘
参考资料来源:人民网--数据挖掘:帮你读懂未来战争
数据挖掘=业务知识+自然语言处理技术(NLP)+计算机视觉技术(CV)+机器学习/深度学习(ML/DL)
(1)其中业务知识具体指的是个性化推荐,计算广告,搜索,互联网金融等;NLP,CV分别是处理文本,图像视频数据的领域技术,可以理解为是将非结构化数据提取转换成结构化数据;最后的ml/dl技术则是属于模型学习理论;
(2)在选择岗位时,各个公司都没有一套标准的称呼,但是所做的事情无非2个大方向,一种是主要钻研某个领域的技术,比如自然语言处理工程师,计算机视觉工程师,机器学习工程师等;一种是将各种领域技术应用到业务场景中去解决业务需求,比如数据挖掘工程师,推荐系统工程师等;具体的称呼不重要,重要的是平时的工作内容;
PS:在互联网行业,数据挖掘相关技术应用比较成功的主要是推荐以及计算广告领域,而其中涉及到的数据主要也是文本,所以NLP技术相对来讲比较重要,至于CV技术主要还是在人工智能领域(无人车,人脸识别等)应用较多,本人了解有限,相关的描述会较少;
3.根据之前的分析,也可以看到该岗位所需要的3种基本能力分别是业务经验,算法能力与工程能力;
入门
1.工程能力
(1)编程基础:需要掌握一大一小两门语言,大的指C++或者JAVA,小的指python或者shell脚本;需要掌握基本的数据库语言;
建议:MySQL + python + C++;语言只是一种工具,看看语法就好;
(2)开发平台:Linux;
建议:掌握常见的命令,掌握Linux下的源码编译原理;
(3)数据结构与算法分析基础:掌握常见的数据结构以及操作(线性表,队,列,字符串,树,图等),掌握常见的计算机算法(排序算法,查找算法,动态规划,递归等);
建议:多敲代码,多上OJ平台刷题;
(4)海量数据处理平台:hadoop(mr计算模型,java开发)或者spark(rdd计算模型,scala开发),重点推荐后者;
建议:主要是会使用,有精力的话可以看看源码了解集群调度机制之类的;
2.算法能力
(1)数学基础:概率论,数理统计,线性代数,随机过程,最优化理论
建议:这些是必须要了解的,即使没法做到基础扎实,起码也要掌握每门学科的理论体系,涉及到相应知识点时通过查阅资料可以做到无障碍理解;
(2)机器学习/深度学习:掌握常见的机器学习模型(线性回归,逻辑回归,SVM,感知机;决策树,随机森林,GBDT,XGBoost;贝叶斯,KNN,K-means,EM等);掌握常见的机器学习理论(过拟合问题,交叉验证问题,模型选择问题,模型融合问题等);掌握常见的深度学习模型(CNN,RNN等);
建议:这里的掌握指的是能够熟悉推导公式并能知道模型的适用场景;
(3)自然语言处理:掌握常见的方法(tf-idf,word2vec,LDA);
3.业务经验
(1)了解推荐以及计算广告相关知识;
(2)通过参加数据挖掘竞赛熟悉相关业务场景,常见的比赛有Kaggle,阿里天池,datacastle等;
PS:以上都是一些入门级别的介绍,在长期的学习中,应该多看顶会paper,多读开源代码,多学习优秀解决方案;
1. 学好各项数学基础课,主要就是线性代数,概率论、统计学等。
2. 程序语言,比如 c++/java 和 python,再加个matlab之类的方便应用的语言。
3. 会一些机器学习的课程,了解这个领域具体在研究的东西,看点公开课或者书籍。
4. 英语基础好,基本读写能力可以。
5. 相关计算机方面知识梳理。
学好数学挖掘可以考取相关证书,比如CDA数据分析师,数据挖掘师等。CDA数据分析师”,是在数字经济大背景和人工智能从事数据的采集、清洗、处理、分析并能制作业务报告、提供决策的新型数据分析人才。
关于数据挖掘的相关学习,推荐CDA数据师的相关课程,CDA数据分析师课程以项目调动学员数据挖掘实用能力的场景式教学为主,在讲师设计的业务场景下由讲师不断提出业务问题,再由学员循序渐进思考并操作解决问题的过程中,帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。这种教学方式能够引发学员的独立思考及主观能动性,学员掌握的技能知识可以快速转化为自身能够灵活应用的技能,在面对不同场景时能够自由发挥。点击预约免费试听课。