下载后可任意编辑大数据分析的案例、方法与挑战中山大学海量数据与云计下载后可任意编辑算讨论中心 黄志洪2024.4DTCC2024下载后可任意编辑数据分析者面临的问题 数据日趋庞大,无论是入库和查询,都出现性能瓶颈 用户的应用和分析结果呈整合趋势,对实时性和响应时间要求越来越高 使用的模型越来越复杂,计算量指数级上升 传统技能无法应对大数据:R、SAS、SQL中山大学海量数据与云计算讨论中心 黄志洪下载后可任意编辑2024.4DTCC20242下载后可任意编辑场景介绍 信令监测是做什么的?中山大学海量数据与云计算讨论中心 黄志洪下载后可任意编辑2024.4DTCC2024下载后可任意编辑体系架构 数据库服务器:HP 小型机,128G 内存,48 颗 CPU,2 节点 RAC,其中一个节点用于入库,另外一个节点用于查询 存储:HP 虚拟化存储,>1000 个盘 入库节点 入库方式——常规路径 sqlldr 大量使用表分区设计 数据量:每小时写入 200G 左右数据磁盘物理写大约为 450G 每小时问题:1 入库瓶颈 2 查询瓶颈中山大学海量数据与云计算讨论中心 黄志洪下载后可任意编辑2024.4DTCC2024下载后可任意编辑数据库设计 物理上采纳 ASM 大表全部按时间分区,开始时按小时分区,但由于数据量庞大,后来改成 15 分钟分区,最后变成每分钟切换 1 个分区 采纳 sqlldr 方式入库中山大学海量数据与云计算讨论中心 黄志洪下载后可任意编辑2024.4DTCC20245下载后可任意编辑入库故障描述 由于数据量太大,不得不同时启用多个处理机,产生了多个入库节点 当入库节点分别增加到 2 节点和 4 节点以后,sqlldr 出现停顿现象中山大学海量数据与云计算讨论中心 黄志洪下载后可任意编辑2024.4DTCC2024下载后可任意编辑AWR 报告中山大学海量数据与云计算讨论中心 黄志洪下载后可任意编辑2024.4DTCC2024下载后可任意编辑AWR 报告中山大学海量数据与云计算讨论中心 黄志洪下载后可任意编辑2024.4DTCC2024下载后可任意编辑AWR 报告中山大学海量数据与云计算讨论中心 黄志洪下载后可任意编辑2024.4DTCC2024下载后可任意编辑关于 Buffer Cache中山大学海量数据与云计算讨论中心 黄志洪下载后可任意编辑2024.4DTCC2024下载后可任意编辑Latch中山大学海量数据与云计算讨论中心 黄志洪下载后可任意编辑2024.4DTCC2024下载后可任意编辑寻找 Buffer busy wait 的根源 Sqlldr 和 OCI 方式同时 in...