从互联网巨头数据挖掘类招聘笔试题目看我们还差多少知识 1 从阿里数据分析师笔试看职业要求 以下试题是来自阿里巴巴招募实习生的一次笔试题,从笔试题的几个要求我们一起来看看数据分析的职业要求。 一、异常值是指什么?请列举1 种识别连续型变量异常值的方法? 异常值(Outlier) 是指样本中的个别值,其数值明显偏离所属样本的其余观测值。在数理统计里一般是指一组观测值中与平均值的偏差超过两倍标准差的测定值。 Grubbs’ test(是以Frank E. Grubbs 命名的),又叫maximum normed residual test,是一种用于单变量数据集异常值识别的统计检测,它假定数据集来自正态分布的总体。 未知总体标准差σ,在五种检验法中,优劣次序为:t 检验法、格拉布斯检验法、峰度检验法、狄克逊检验法、偏度检验法。 点评:考察的内容是统计学基础功底。 二、什么是聚类分析?聚类算法有哪几种?请选择一种详细描述其计算原 理和 步骤 。 聚类分析(cluster analysis)是一组将 研 究 对 象 分为相 对 同 质 的群 组(clusters)的统计分析技 术 。 聚类分析也 叫分类分析(classification analysis)或 数值分类(numerical taxonomy)。聚类与分类的不 同 在于,聚类所要求划 分的类是未知的。 聚类分析计算方法主 要有:层 次的方法(hierarchical method)、划 分方法(partitioning method)、基于密 度的方法(density-based method)、基于网格的方法(grid-based method)、基于模 型的方法(model-based method)等 。其中,前 两种算法是利 用统计学定义 的距 离进 行 度量。 k-means 算法的工 作 过程 说 明如 下:首 先 从n 个数据对 象 任 意 选择 k 个对 象 作为初 始 聚类中心 ; 而 对 于所剩 下其它对 象 ,则 根 据它们与这 些 聚类中心 的相 似 度(距 离),分别将 它们分配 给 与其最 相 似 的(聚类中心 所代 表 的)聚类; 然 后再 计算每 个所获 新 聚类的聚类中心 (该 聚类中所有对 象 的均值); 不 断 重 复 这 一过程 直 到 标准测度函 数开 始 收 敛 为止 。一般都 采 用均方差(标准差)作 为标准测度函数. k 个聚类具有以下特点:各聚类本身尽可能的紧凑,而各聚类之间尽可能的分开。 其流程如下: (1)从 n 个数据对象任意选择 k 个对象作为初始聚类中心; (2)根据每个聚类对象...