数据分析师常见面试题.老酱

1、成为一名数据分析师需要具备哪些技能要成为一名数据分析师，需要掌握丰富的报告软件包(BusinessObjects)，编程语言(XML，Javascript或ETL框架)，数据库(SQL，SQLite等);能够准确分析、组织、收集或传播数据;掌握数据库设计，数据模型，数据挖掘等方面的技术知识以及分析大型数据集(SAS，Excel，SPSS等)的统计软件包知识。

2、分析项目的各个步骤包括：

·问题定义·数据挖掘数据准备模型化数据认证实施跟踪

3、列出数据清理的最佳实践一些数据清理的最佳实践包括：按不同的属性排序数据。对于大数据集，逐步清理并改进数据，直到获得良好的数据质量。对大型数据集，可以先将其分解为小数据集，使用更少的数据将增加迭代速度。要处理常见的清理任务，请创建一组实用程序函数/工具/脚本。它可能包括基于CSV文件或SQL数据库重映射值，或者正则表达式搜索和替换，消除所有不匹配正则表达式的值。如果在数据清理方面存在问题，请按照估计的频率进行安排并解决问题分析每列的汇总统计数据(标准差，均值，缺失值的数量)，保持对每一个清理操作的跟踪，以便可以根据需要更改或删除操作。

5、用于处理分布式计算环境中应用程序大数据集的Apache框架有哪些Hadoop和MapReduce是由Apache开发的用于处理分布式计算环境中应用程序大数据集的编程框架。

6、解释KNN插补方法是什么在KNN插补中，通过使用与其值缺失的属性最相似的属性值来推断缺少的属性值。通过使用距离函数，确定两个属性的相似度。

7、数据分析师使用的数据验证方法是什么通常，数据分析师用于数据验证的方法是数据筛选和数据验证。

9、如何避免过拟合过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。其原因一般是模型过于复杂，过分得去拟合数据的噪声和outliers。常见的解决办法是正则化：增大数据集，正则化。

10、解释异常值是什么异常值是分析师使用的一个术语，指的是一个远远超出样本总体模式的值。有两种类型的异常值：UnivariateMultivariate

11、解释分层聚类算法是什么分层聚类算法结合并划分现有的组，创建分层结构并展示组划分或合并的顺序。

12、解释K均值算法是什么K均值是一种著名的分区方法。对象被分类为属于K个组中的一个，k是先验选择的。在K均值算法中：簇是球形的：簇中的数据点以该簇为中心簇的方差/扩展是相似的：每个数据点属于最接近的簇

13、数据分析师所需掌握的关键技能是什么数据科学家必须具备以下技能：数据库知识数据库管理数据混合数据查询数据操作预测分析基本描述性统计预测建模高级分析大数据知识大数据分析非结构化数据分析机器学习演示技巧数据可视化报告设计

14、解释协同过滤是什么协同过滤是一种基于用户行为数据创建推荐系统的简单算法。协同过滤最重要的组件是用户对项目的兴趣。协同过滤一个很好的例子就是购物网站上出现的类似“为您推荐”的模块，该模块通常会获取用户的浏览记录信息，以弹出用户可能喜欢或需要的商品。

15、大数据中通常会使用到哪些工具大数据中使用的工具包括：HadoopHivePigFlumeMahoutSqoop

16、解释什么是KPI，实验设计和80/20规则关键绩效指标(KPI)：它代表关键绩效指标(KeyPerformanceIndicator)，它是关于业务流程的报告或图表实验设计：这是用于分解数据，采样和建立数据以进行统计分析的初始过程80/20规则：这意味着你收入的80%来自客户的20%

17、解释MapReduce是什么Map-Reduce是一个处理大型数据集的框架，可以将它们分解成子集，在不同的服务器上处理每个子集，然后混合每个子集上获得的结果。

18、解释聚类是什么聚类算法的属性聚类是一种应用于数据的分类方法。聚类算法将数据集划分为自然组或集群。聚类算法的属性是：HierarchicalorflatIterativeHardandsoftDisjunctive

19、对数据分析师有用的统计方法是什么对数据科学家有用的统计方法是贝叶斯方法马尔科夫过程空间和集群进程统计数据，百分位数，异常值检测计算技巧等简单的算法数学优化

22、散列表是什么散列表冲突是什么如何避免在计算中，哈希表(散列表)是键值对的映射，这是一个用于实现关联数组的数据结构。它使用散列函数来计算一个时隙阵列的索引，从中可以获取所需的值。当两个不同的键散列到相同的值时，发生散列表冲突。两个数据不能存储在阵列的同一个插槽中。为了避免散列表碰撞，有很多技巧，这里列出两个：分离链接：它使用数据结构来存储散列到同一个插槽的多个项目。再探测：在找到查找位置的index的index-1，index+1位置查找，index-2，index+2查找，依次类推。这种方法称为线性再探测。

23、解释N-gram是什么N-gram是来自给定序列文本或语音的n个项目的连续序列。这是一种以(n-1)形式预测下一个项目的概率语言模型。