Question

数据科学家需要具备什么能力

Answer 1

数学功底：微积分是严格要掌握的。不一定要掌握多元微积分，但一元微积分是必须要熟练掌握并使用的。另外线性代数一定要精通，特别是矩阵的运算、向量空间、秩等概念。当前机器学习框架中很多计算都需要用到矩阵的乘法、转置或是求逆。虽然很多框架都直接提供了这样的工具，但我们至少要了解内部的原型原理，比如如何高效判断一个矩阵是否存在逆矩阵并如何计算等。

数理统计：概率论和各种统计学方法要做到基本掌握，比如贝叶斯概率如何计算？概率分布是怎么回事？虽不要求精通，但对相关背景和术语一定要了解。

交互式数据分析框架：这里并不是指SQL或数据库查询，而是像Apache Hive或Apache Kylin这样的分析交互框架。开源社区中有很多这样类似的框架，可以使用传统的数据分析方式对大数据进行数据分析或数据挖掘。笔者有过使用经验的是Hive和Kylin。不过Hive特别是Hive1是基于MapReduce的，性能并非特别出色，而Kylin采用数据立方体的概念结合星型模型，可以做到很低延时的分析速度，况且Kylin是第一个研发团队主力是中国人的Apache孵化项目，因此日益受到广泛的关注。

机器学习框架：机器学习当前真是火爆宇宙了，人人都提机器学习和AI，但笔者一直认为机器学习恰似几年前的云计算一样，目前虽然火爆，但没有实际的落地项目，可能还需要几年的时间才能逐渐成熟。不过在现在就开始储备机器学习的知识总是没有坏处的。说到机器学习的框架，大家耳熟能详的有很多种, 信手拈来的就包括TensorFlow、Caffe8、Keras9、CNTK10、Torch711等，其中又以TensorFlow领衔。笔者当前建议大家选取其中的一个框架进行学习，但以我对这些框架的了解，这些框架大多很方便地封装了各种机器学习算法提供给用户使用，但对于底层算法的了解其实并没有太多可学习之处。因此笔者还是建议可以从机器学习算法的原理来进行学习。

Answer 2

数据科学家需要具备多种能力，包括：

• 数学和统计学知识：数据科学家需要具备数学和统计学知识，能够使用数学模型和统计方法来分析和理解数据。

• 编程能力：数据科学家需要具备编程能力，能够使用各种编程语言，如 Python、R、Java、Scala等，来清洗、整理和分析数据。

• 数据库知识：数据科学家需要具备数据库知识，能够使用 SQL 查询语言和 NoSQL 数据库来存储和检索数据。

• 机器学习知识：数据科学家需要具备机器学习知识，能够使用机器学习算法和模型来分析和预测数据。

• 可视化能力：数据科学家需要具备可视化能力，能够使用各种工具和技术来可视化数据，帮助其他人理解和洞察数据。

• 沟通能力：数据科学家需要具备良好的沟通能力，能够将复杂的数据分析结果清晰易懂地呈现给非专业人员，并能够与其他部门和团队协作。

其他需要具备的能力还包括：创新思维、学习能力、工具使用能力、问题解决能力等。

视频：数据科学家需要具备什么能力？