听课笔记 大数据概论

大数据与社会科学概论刘涛雄大纲1.大数据概论2.大数据得主要技术手段3.数据分析技术:机器学习概论4.“大数据社会科学”何为大数据？(Big Data)特点:大。超过常用软件工具得收集、管理与处理数据得能力范围得数据集。但就是,也不就是简单地以规模论大,而就是相对得复杂程度。假如以现在计算机得能力:针对简单查询(如关键词查询),数据量为 TB 或 PB 就是即可称为大数据。针对复杂查询(如数据挖掘),数据量为 GB 至 TB 时即可称为大数据。大数据特性:4VVolume:体量巨大Velocity:速度极快Variety:模态多样Veracity:真伪难辨无所不在得数据生成源:1.全社会(发言、网状结构)、2.网络用户(浏览行为、搜索行为)、3.管理者(发票、医院记录、交通检测)、4.商业机构(手机记录、信用卡记录、保险记录、商场购物记录)、5.健康数据(电子医疗设备记录、医疗检测)、6.卫星信息系统(物联网)我们都有哪些数据？文本信息中文分词多媒体时间序列(高频数据)空间数据网页数据社会网络大数据与社会科学第一层次:基于数据得知识发现(Knowledge Discover in Database, KDD)有理论假设得好处:可以节约信息量,缩小搜寻范围。当数据猎取与处理能力足够强,KDD 也能体现其优势。例子:Hedonometrics and TwitterHow Obama’s Data Crunchers helped him win活跃领域:数据挖掘(data mining)政治学、经济学、社会学、心理学、管理学如:price index预测(forcasting)与现测(nowcasting)如:对 google trends 得利用社会计算(putational Social Sciences)putation about(of) the people:如社会情感putation for the people:如信任计算、风险计算putation by the people:如主体参加、群体智能大数据得主要技术手段关键技术Hadoop:分布式管理平台来自 Google 得设计思想:一个分布式文件系统与并行执行环境(HDFS 与 MapReduce)方便用户处理海量数据云计算机器学习计算机针对特定任务(Tasks)与效果评价指标(Performance Measurement),基于已有经验(Experiences),自动地不断改进算法,并随着 E 得扩大不断提高对 T 得执行效果(P)T:任务P:效果评价E:经验集(训练集)训练与预测最佳预测:Bias-Variance 平衡一般来说,模型越复杂,变量越多,Bias2越低,但 var(f(x))越大所以对于模型选择,一个很重要得准则就是降维。大数据对社会科学得机遇与挑战机遇数据来源极大拓展猎取信息速度大大加快计算能...