数 据 分 析 系 统 方 案 1. 数 据 分 析 子 系 统 1.1. 概述 利用当前已有的数据库为基础,在该数据库上开发和完善数据库的库表结构,并在新的数据库表结构的基础上开发应用管理平台。 分析现有数据库的数据结构与原始数据,进行有效数据的清洗,清理无效(脏)数据,实现将旧数据库的数据迁移到新的数据库中。 1.2. 建设目标 平台实现对基础数据的展示,对基层提交的新的数据,可以录入到指定的数据库表中,如提交的数据为新数据,本地无数据表,系统将可以通过识别提交数据的数据结构,系统可自动数据关联,智能字段转义处理,自动创建相应的数据库数据表结构,实现数据智能转换录入。 平台对基础数据库与新建数据库的数据进行检索,检索结果可以导出相应报表。 平台可对数据库的所有数据进行统计分析,统计分析的报告可导出。 平台具有大数据智能分析功能,利用高性能的数据库计算引擎,以轻量级架构实现大体量数据的计算、分析、提取,对历史提交数据的智能分析管理与展示。 数据报表与统计报表,可以一键分发,依据权限实现多级授权共享报告。 平台具有权限管理功能,基于业务需求分类数据包,开放权限给指定用户,不同的用户拥有不同的权限,各级用户权限清晰明了,平台具备日记记录与查询功能,可轻松实现数据变更的追溯工作。 1.3. 系统架构 数据分析系统的功能性主要体现在采集和处理两方面,这是最难通过人工来完成的工作。数据分析系统架构如下图所示: 支撑软件:主要包括中间件、数据库和操作系统。 基础平台:基础平台贯穿整个系统,主要包括用户权限、数据查询检索、统计分析、备份恢复、日志、基础数据、数据字典等。 数据整合:平台支持对数据进行数据抽取、数据清洗、数据转换、数据调度、运行监控等。 数据建模:平台提供不同方式的主题表创建方式,并设置主题之间的关联联系。 分析展现:提供各种图表的设计展现,如:固定报表、DashBoard、看 板 等 , 并 支 持 系 统 管 理 辅 助 功 能 等 。 第 三 方 应 用 : 提 供 丰 富 的 第 三 方 开 发 接 口 用 于 实 现 项 目 实 施 过 程中 的 各 种 集 成 需 求 。 系 统 通 过 获 取 大 量 的 业 务 数 据 , 并 对 它 们 进 行 分 类 存 储 以 及 分 析 。系 统 对 原 始 数 据 进 行 处 理 转 换 , 并 存 ...