浅谈医学大数据分析研究 计算机科学与技术专业VIP免费

浅谈医学大数据陈遵秋和陈漪伊夫妇是美籍华人，现在美国定居。其二人是目前研究医疗大数据及生物样本大数据真正的专家。现将两位的文章进行公开发表，与大家一起探讨。现在无论国内外均出现了移动医疗热，所有的创业团队和投资公司均把商业模式指向了最后的医疗大数据分析。但是可以很负责任的说，90%以上的人都不知道医疗大数据分析是什么东西，因此这是一篇扫盲贴，但是仅供专业人士。文中分析了医疗大数据、它的维度、方法和成本，以及需要的专业人才。本文无论是对创业团队还是投资机构都是非常有指导意义的。大数据定义及其特征大数据顾名思义就是数量极其庞大的数据资料。从上世纪80年代开始，每隔40个月世界上储存的人均科技信息量就会翻倍(Hibert&Lopez,2011)。2012年，每天会有2.5EB量的数据产生(Andrew&Erik,2012)。现在，2014年，每天会有2.3ZB量的数据产生(IBM,2015)。这是一个什么概念？现在一般我们电脑的硬盘大小都以GB，或者TB为单位了。1GB的容量可以储存约5.4亿的汉字，或者170张普通数码相机拍摄的高精度照片，或者300-350首长度为5-6分钟的MP3歌曲。那GB和TB,EB，ZB的关系又是怎样？1ZB=1024EB=10242PB=10243TB=10244GB。如果你有一台1TB硬盘容量的电脑，那1ZB就是大致等于10亿台电脑的容量,远远超出了我们一般的想象。早期，IBM定义了大数据的特性有3个：大量性（Volume）,多样性（Variety）,快速性（Velocity）(Zikopoulos,Eaton,deRooos,Deutsch,&Lapis,2012)。后来又有学者把价值（Value）加到大数据的特性里。随着时间的推移和人们思考的进一步完善，又有三个大数据的特性被提出：易变性（Variability），准确性(Veracity)和复杂性(Complexity)。作者认为价值本质上是数据被分析后体现出来的有用信息知识的程度，和其他几个特性有根本区别。其他几个特性可以说是数据工作者具体实践中面临的挑战，而价值则是征服这些挑战后获得的回报。大数据的6个特性描述如下：大量性：一般在大数据里，单个文件大量性的级别至少为几十，几百GB以上，一调查(Russom,2013)显示相当多的机构拥有的数据总量在10到99TB之间。用我们传统的数据库软件，1GB已经可以储存千万条有着几百个变量的数据记录了。多样性：泛指数据类型及其来源的多样化(Troester,2012)，进一步可以把数据结构归纳为结构化(structured)，半结构化(semi-structured)，和非结构化(unstructured)(SAS,2014)。快速性：反映在数据的快速产生及数据变更的频率上。比如一份哈佛商学院的研究报告称在2012年时，谷歌每天就需要要处理20PB的数据(HarvardBusinessReview,2012)。易变性：伴随数据快速性的特征，数据流还呈现一种波动的特征。不稳定的数据流会随着日，季节，特定事件的触发出现周期性峰值(Troester,2012)。准确性：又称为数据保证(dataassurance)。不同方式，渠道收集到的数据在质量上会有很大差异。数据分析和输出结果的错误程度和可信度在很大程度上取决于收集到的数据质量的高低(W.Raghupathi&Raghupathi,2014)。所谓“垃圾进，垃圾出”。没有数据保证，大数据分析就毫无意义。复杂性：复杂性体现在数据的管理和操作上。IT时代，随着数据来源及数据量的爆发，各种不同渠道数据的大量涌现，数据的管理和操作已经变得原来越复杂。如何抽取，转换，加载，连接，关联以把握数据内蕴的有用信息已经变得越来越有挑战性。医疗大数据的爆发早期，大部分医疗相关数据是纸张化的形式存在，而非电子数据化存储，比如官方的医药记录，收费记录，护士医生手写的病例记录，处方药记录，X光片记录，磁共振成像（MRI）记录，CT影像记录等等。随着强大的数据存储，计算平台，及移动互联网的发展，现在的趋势是医疗数据的大量爆发及快速的电子数字化。以上提到的医疗数据都在不同程度上向数字化转化。有报告显示，2011年，单单美国的医疗健康系统数据量就达到了150EB。照目前的增长速度，ZB（约1021GB）和YB（约1021GB）的级别也会很快达到(IHTT,2013)。KaiserPermanente，一个在加州发展起来的医疗健康网络系统,就有9百万的会员，被认为拥有26.5到44PB的电子健康记录(IHTT,2013)。IT时代涌现的还有各种网络社交媒...