下载后可任意编辑民机运行支持数据湖设计讨论 摘要：随着大数据技术的进展，如何存储和处理各类民机运行支持数据，为企业用户提供所需数据，已成为主制造商企业进行数字化转型、洞察企业盈利和增值的关键因素之一。当前，主制造商数据采纳传统数据库或数据仓库的模式无法满足航空运行数据指数级增长的需求。同时，数据管理标准、格式差异较大，不同用户无法快速猎取有用信息，造成“企业数据孤岛”。鉴于此，本文提出了一种基于 Lambda 的运行支持数据湖系统设计方法。首先介绍了数据湖的概念和特点。然后，介绍了基于 Lambda 的运行支持数据湖系统的架构设计方 案 。 结 合 运 行 支 持 数 据 湖 的 服 务 需 求 对 系 统 功 能 进 行 设 计 。 基 于Angular、SpringBoot 等开发了民机运行支持数据湖系统，为主制造商开展集中式数据管理、挖掘数据应用价值，实现企业数字化转型提供支撑。 关键词：民机运行支持、数据湖、Lambda 随着数字化、大数据技术的进展，数据已成为驱动航空企业特别是民机主制造商企业创新、盈利、增值的关键要素之一。民机主制造商数据量、数据来源和数据格式日益增多[1]。企业需要一个能够存储各类原始数据的大型仓库，用于处理各类数据，以满足不同业务对数据的存储、处理、分析及传输需求，为挖掘数据价值提供高性能的服务支撑[2]。国外航空主制造商 GE 构建以Postgre+mongoDB+Redis+Blob(S3)的数据湖存储组合技术的大规模存储技术的民航数据湖生态系统，以满足不同数据集探究发现、分析、数据服务和报告及可视化服务的需求[3]。目前，国内民机主制造上大多采纳传统数仓模式进行数据管理，数据标准格式差异较大、应用端数据猎取不法律规范，导致数据质量不足，数据分析应用困难，造成数据孤岛和冗余现象 [4,5]。本文提出基于Lambda 模型的民机运行数据湖系统设计方法。数据收集、管理、业务分析用户可在系统中完成数据猎取、清洗、标准化转换以及定制、自助的数据服务等功能，形成数据资产目录，挖掘数据应用价值，助力民机主制造商企业和数据应用决策，实现以客户/服务为中心的数字化转型。 1 数据湖的概念及特点 1下载后可任意编辑 1.1 数据湖概念 数据湖是一个可以存储任何形式（包括结构化数据、半结构化数据和非结构化数据）、任意规模的原始数据仓库[6]。结合用户使用需求决定对哪些数据湖原始数据进行结构化处理。通过对数据的查询、处理、分析消费，帮助企业用...
