精品文档---下载后可任意编辑DTCC2024DM 针对大数据量环境下分析型应用的支持方案精品文档---下载后可任意编辑大纲·一个实际案例·挑战和解决方案·下一步工作规划DTCC2024精品文档---下载后可任意编辑DTCC2024一个实际案例精品文档---下载后可任意编辑案例简介DTCC2024· 海量数据· 基于已有硬件投资– 单效劳器节点– 操作库和分析库合并· 以查询分析为主，兼顾少量数据维护文本数据源数据精品文档---下载后可任意编辑硬件与拓扑千兆交换机DTCC2024应用效劳器数据汇总文本数据源文本 Excel数据数据清洗与入库数据库效劳器P550Cpu x 4Mem 32GBP550Cpu x 4Mem 32GB源源16 X 1TB SASRAID 5精品文档---下载后可任意编辑案例简介-数据DTCC2024· 以常规数据为主，主要为数值、字符串、时间类型· 日增长数据量为约 56G，3 亿条元组· 当前数据量 3TB· 最大单表为计费表，目前约 150 亿条记录· 数据保存 20 年后归档为历史数据· 在线数据规模将超过 400TB精品文档---下载后可任意编辑典型业务流程DTCC2024– 源数据清洗入库– 分析统计型查询· 第一步过滤的筛选条件不确定· 试错式的查询分析过程，成功后固化，一般包含 20 多个步骤· 大规模的连接查询、子查询、联合查询、数据分组与排序、临时结果集与临时表等· 复杂 SQL 不多，但 IO 非常大– 日常数据维护· 手工修改记录内容· 批量删除· 定期维护精品文档---下载后可任意编辑案例需求DTCC2024· 关键在查询性能– 第一个过滤步骤· 筛选字段由用户随机定义，因此无法使用索引· 一般会得到千万级别的结果集– 大量的多表连接查询· 数据装载性能· 初始入库 48 亿条，近 1T：限 48 小时，相当于 3 万条/s· 后续每 3 天入库一次，9 亿条，168G，限 10 小时内完成精品文档---下载后可任意编辑DTCC2024挑战-核心是性能精品文档---下载后可任意编辑原有产品难以支持分析型应用 DTCC2024·······只支持行式存储查询优化器比拟简陋虚拟机实现不尽合理物理存储设计有待优化日志系统过于复杂不能充分利用多机资源提升性能数据分片技术不完善于 2024 年开始新一代产品 DM7 的研制精品文档---下载后可任意编辑DTCC2024实验室原型技术积累阶段实现各类标准持续的技术积累引入物理操作符,虚拟机引入高级特性和 oracle 兼容特性5DM72024稳定性及功能与开源系统有差距34DM62024对 DM4-DM6 的技术总结融合列存储...
