下载后可任意编辑数据处理过程风险控制分析数据处理过程风险控制分析摘要：文章通过分析现阶段市场主流大数据处理方式，及该流程下易产生的数据失真原因和导致的后果，提出相应的有针对性的处理方式，从而讨论大数据处理过程中的风险控制可行性，并对未来用户数据隐私保护时代和海量数据背景下如何增强数据有效性收集提出部分设想。关键词：大数据挖掘；黑天鹅；样本免疫；血字数据1大数据处理现状目前行业内大数据常用的处理流程可以概括为四步，分别是数据采集、导入和预处理、统计分析以及挖掘。1.1数据采集。大数据的采集是通过多个数据库介质来接收发自客户端的数据（随着智能手机的普及，App端口采集已经成为主要来源），且数据采集者可以通过这些数据库来进行简单的查询和处理工作。在大数据的采集过程中，其主要特点和挑战是并发数高访问量在峰值时达到上百万或千万级别，如“天猫双11”和春运抢票以及各种网购平台促下载后可任意编辑销时的“秒杀”活动，都要求采集端部署大量数据库才能支撑，负载均衡和分片处理将是采集端设计的重点考量范围。1.2导入预处理。很多业内流行的做法是在采集端进行前端数据导入的大型分布式汇总，且在分布式储存群中进行数据的清洗和和预处理，甚至嵌入流式计算步骤。此步骤要注意的是百兆、千兆每秒的数据量处理难度较大。1.3统计分析。传统统计与分析的需求端运用EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright。实际运用过程中我们常遇到批处理，或者基于半结构化数据的需求，这点应当区分考虑，同时统计分析步骤涉及到的数据量十分巨大，近年来随着数据采集量的爆炸式增长，系统资源占用往往没有上线，这点硬件布局时应当充分考虑。1.4挖掘。市场上目前挖掘方式，主要是在现有数据根据客户需求进行基于各种算法的计算，从而起到预测的效果，高级别数据分析的需求，也往往是基于初级算法的嵌套性叠加。往年典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的NaiveBayes，使用工具有Python、Hadoop等，该过程的难点往往是精准把握用户数据需求，再基于需求的基础之上进行算法的调整。2大数据失真的危害及风险下载后可任意编辑在处理流程中，采集、导入预处理、统计分析，都可以通过预设数据库完成。而真正用于企业营销、战略、市场分析的核心数据挖掘阶段则是完全无法具体量化，可以说不同行业和不同市场阶段有着截然不同的数据库需求，假如我们挖掘和提炼数据的过程严重或者部分失效，则在数据分析的蝴蝶效应之下得出的结果一定与事实情况是天壤之别。2024年电影《黄金时代》和2024年电影《阿修罗》大数据端在票房和市场预测方面失算的案例充分说明大数据的推演失真所造成的结果是灾难性的。随着“关系链和数据流应成为企业估值的新核心指标”这一把数据价值提升到前所未有的理论诞生。各中商业资本开始疯狂的引入大数据概念，各种相对应所谓的数据分析公司应运而生。然而大数据真的那么奇妙吗？是否真的可以像宣传的那样奇妙到对目标无孔不入地分析？据资料统计《黄金时代》在百发有戏的发布会上,百度大数据部产品规划负责人祖峥介绍了百度票房预测产品,通过百度搜索数据、新浪微博数据以及10年来电影行业数据、同类电影数据等,以及电影受众分析,预测《黄金时代》票房将在2亿至2.3亿之间。由此可见其数据挖掘阶段的主要参数是“百度搜索”“新浪微博”“电影行业历史数据”等存量数据指标，虽然算法笔者个人不得而知。但作为一个软件行业从业人员从数下载后可任意编辑据源的角度分析：首先百度搜索和新浪微博等支流平台其收集的只是所谓关注度数据，我们无法将关注真正转化为票房；其次，中国电影在票房统计上有先天的缺陷，影院对票房的瞒报早已成为业内的潜规则，而21世纪初我国才开始建立票房统计制度，其时间周期不过10年左右。最后受众分析方面，发行方和百度数据利用所谓的问卷调查为依据样本，推演出数据结果殊不知这样的数据严重受制于“受众免疫”现象。（受众免疫：泛指调查样本在已知条件下对调查行为实行的与实际不符的行为方式，其结果会产生调查数据折射）。3大数据处理过程中的风险控制...
