电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

海量影像数据集入库策略VIP免费

海量影像数据集入库策略_第1页
1/23
海量影像数据集入库策略_第2页
2/23
海量影像数据集入库策略_第3页
3/23
海量影像数据入库策略(oracle为例)栅格数据量越来越大,尤其是影像数据量激增。虽然随着影像数据量的激增,不建议影像数据本身存储到空间数据库(ArcSDE)中,但仍有用户为了解决多用户并发、数据安全性、便于备份与恢复等问题,要将海量的影像或栅格数据存储到空间数据库中。那么,如何更快、更高效的把海量的影像数据入到空间数据库中呢?需要考虑哪些因素?提前做哪些准备工作?海量影像数据入库主要做好以下三步工作。第一步:数据库和ArcSDE准备配置DBMS参数配置ArcSDE参数估算DBMS存储空间大小分配DBMS存储空间第二步:数据入库准备原始数据创建栅格数据存储对象创建DBMS统计值第三步:数据查看下面分别对上述内容进行详细介绍。第一步:数据库和ArcSDE准备配置DBMS参数1)设置checkpoint间隔:通过DBA设置初始化参数LOG_CHECKPOINT_INTERVAL和LOG_CHECKPOINT_TIMEOUT为0,实现在线redo日志组切换时,强制出现checkpoint。2)增加redo日志文件单个文件大小至少为1GB。3)增加数据块缓冲区大小DB_BUFFER_CACHE。4)创建数据块大小为8KB的Oracle数据库。8KB是存储blob数据最佳的块大小设置,已经成为ArcGIS二进制数据存储的默认存储类型。16KB或者32KB可能会导致blob存储空间的浪费。配置ArcSDE参数在ArcSDE客户端和服务器之间,ArcSDE使用“传输缓冲区”进行数据传输。在向空间数据库中写入数据时,当ArcSDE客户端数据缓冲区达到阈值,数据将被提交到ArcSDE服务器。当ArcSDE服务器处理数据时,客户端再将更多数据写入到缓冲区,达到阈值时,提交到ArcSDE服务器。依次循环往复。对于栅格数据,“传输缓冲区”的大小是被ArcSDE服务器参数RASTERBUFSIZE控制的。默认情况下,该参数大小为200KB。对于大多数栅格数据入库而言是足够的。在默认参数设置情况下,ArcSDE会为客户端和服务器端分配RASTERBUFSIZE两倍大小的内存,即如果默认参数设置为200KB,那么ArcSDE客户端将会被分配400KB大小的内存,服务器端同样会分配400KB大小的内存。除该参数外,ArcSDE在服务器端还提供了三个缓存区参数,用于从DBMS中读写数据。通过这三个参数,可将服务器端的内存分配增加到1000KB。如果使用直连directconnection方式(如下图所示),ArcSDE客户端和服务器端的操作都在客户机上执行,因此通过直连方式分配的内存是RASTERBUFSIZE参数指定大小的7倍。直连方式下,如果RASTERBUFSIZE参数指定的大小无法满足未压缩栅格块的大小,仅需修改RASTERBUFSIZE参数默认值的大小,与其他三个缓冲区参数无关。未压缩块大小计算方式:块高×块高×像素深度因子(pixel格式:sde@oradbdepth)。1)例如:128*128块,像素深度为32位,那么未压缩块大小=128*128*4(像素深度因子)=65536byte<200KB。2)再如:256*256分块,像素深度为32位,那么未压缩块大小=256*256*4=262144byte>200KB。像素深度与像素深度因子对照表:序号像素深度像素深度因子11bit0.12524bit0.2538bit1416bit2532bit4664bit8RASTERBUFSIZE参数大小设置:如果未压缩块大小大于默认RASTERBUFSIZE参数,那么必须要对RASTERBUFSIZE参数值进行修改,否则将会导致错误-SE_RASTER_BUFFER_TOO_SMALL(-294)。RASTERBUFSIZE参数修改方法:使用sdeconfig管理工具进行修改,修改后的结果写入SDE.SERVER_CONFIG表,具体命令参数如下SdeconfigoaltervRASTERBUFSIZE=10240000usdep––––sde。提醒:如块的大小未超出默认RASTERBUFSIZE参数大小,请尽量不要修改RASTERBUFSIZE参数值。因为RASTERBUFSIZE参数值过大将会影响整个系统的栅格数据流。估算DBMS存储空间大小为了在海量栅格入库之前,科学的分配和组织存储空间,优化ArcSDEDBTUNE参数(参见分配DBMS存储空间),需提前对栅格入库后的数据量进行评估。栅格数据主要存储在以下四个表:SDE_Aux_#/SDE_BLK_#/SDE_BND_#/SDE_RAS_#。其中SDE_BLK_#主要用于存储栅格数据,其数据量大小是其他表的近150倍。因此其他表忽略不计。估算DBMS存储空间大小主要有两种方法。1)方法一:加载小部分示例数据入库,基于示例数据推算整个数据入库后所占存储空间的大小。2)方法二:基于公式计算所需空间的大小。两种方法比较...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

海量影像数据集入库策略

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部