大数据治理系列,第一部分:大数据治理统一流程模型概述和明确元数据管理策略大数据治理的核心是为业务提供持续的、可度量的价值在各行各业中,随处可见因数量、速度、种类和准确性结合带来的大数据问题,为了更好地利用大数据,大数据治理逐渐提上日程。大数据治理的核心是为业务提供持续的、可度量的价值。本文主要介绍大数据治理的基本概念和大数据治理统一流程参考模型的前两步:“明确元数据管理策略”和“元数据集成体系结构"。大数据治理概述(狭义)大数据是指无法使用传统流程或工具在合理的时间和成本内处理或分析的信息,这些信息将用来帮助企业更智慧地经营和决策。而广义的大数据更是指企业需要处理的海量数据,包括传统数据以及狭义的大数据。(广义)大数据可以分为五个类型:Web 和社交媒体数据、机器对机器(M2M)数据、海量交易数据、生物计量学数据和人工生成的数据。•Web 和社交媒体数据:比如各种微博、博客、社交网站、购物网站中的数据和内容。•M2M 数据:也就是机器对机器的数据,比如 RFID 数据、GPS 数据、智能仪表、监控记录数据以及其他各种传感器、监控器的数据。•海量交易数据:是各种海量的交易记录以及交易相关的半结构化和非结构化数据,比如电信行业的 CDR、3G 上网记录等,金融行业的网上交易记录、corebanking 记录、理财记录等,保险行业的各种理赔等。•生物计量学数据:是指和人体识别相关的生物识别信息,如指纹、DNA、虹膜、视网膜、人脸、声音模式、笔迹等。•人工生成的数据:比如各种调查问卷、电子邮件、纸质文件、扫描件、录音和电子病历等。在各行各业中,随处可见因数量、速度、种类和准确性结合带来的大数据问题,为了更好地利用大数据,大数据治理逐渐提上日程。在传统系统中,数据需要先存储到关系型数据库/数据仓库后再进行各种查询和分析,这些数据我们称之为静态数据。而在大数据时代,除了静态数据以外,还有很多数据对实时性要求非常高,需要在采集数据时就进行相应的处理,处理吉果存入到关系型数据库/数据仓库、MPP 数据库、Hadoop 平台、各种 NoSQL 数据库等,这些数据我们称之为动态数据。比如高铁机车的关键零部件上装有成百上千的传感器,每时每刻都在生成设备状态信息,企业需要实时收集这些数据并进行分析,当发现设备可能出现问题时及时告警。再比如在电信行业,基于用户通信行为的精准营销、位置营销等都会实时的采集用户数据并根据业务模型进行相应的营销活动。大数据治...