数据采集系统设计思路VIP免费

数据采集系统设计思路 基本功能 将各采集点，如医院，药店等数据库（或其它数据载体）中的数据按照一定的规则提取，生成适合传输和存贮的文件，通过互联网将文件上传到服务器，服务器对数据进行分析处理，并按照一定的配置条件进行数据告警处理，最后把数据存贮于数据库服务器中，提供给其它应用系统进行数据查阅。 基本架构 主要包括前端数据采集和后台数据存贮两大功能。前端采集负责把各种数据源中的数据按要求存为文件上传到后台服务器；后台服务主要将上传的文件进行分析和存贮，如下图。 采集结果存贮设备专用网络采集对象采集设备数据数据数据数据采集服务器数据查询InternetInternet便携电脑采集设备Web服务器采集设备采集设备 功能组成模块  前端采集系统功能模块： 前端采集系统主要包括配置服务、数据查询、文件上传、日志、错误处理、自动更新服务、安全服务、网络服务等模块，各模块主要功能如下： 1. 配置服务模块  配置模块至少提供二类接口，一是本地配置接口，本地可以通过配置界面进行相关参数设置；二是远程配置接口，远程服务器可以通过此接口下达配置命令，实现远程配置，方便以后前端系统的维护。  需要实现的基本配置项：  服务器相关，包括服务器地址，端口，使用长连接还是短连接等。  文件传输相关，自动上传时间；文件在服务器上存贮的相对位置；多个文件传输时使用单连接还是多连接传输。文件上传失败的重传间隔等。  数据库访问相关，数据库连接相关配置，包括数据库类型，连接串，用户名，密码；获得查询结果的相关 SQL查询语句和查询条件；数据定时采集的时间；多条采集命令的优先级等。  程序升级更新相关，包括手动还是自动更新，自动更新的时间等。  其它配置，包括是否记录日志文件，日志文件存放的路径，单个日志文件的大小，日志文件最长存放的时间，采集文件存放路径，是否删除已经上传的采集文件，是否对可用磁盘空间进行监控和剩余空间不足告警；登录相关配置等 注：招唤采集不提供单独的配置，招唤采集其实就是定时采集，由服务器下达一个优先级较高并立即执行的采集配置命令即可。  配置数据读取功能，读取配置数据，提供给其它模块使用。 2. 数据查询模块  针对不同的数据库，根据配置条件或接收的命令，查询数据库，生成查询结果记录集，系列化为二进制文件，使用高效压缩算法对文件进行压缩，按照文件命名规则存贮于指定位置。 3. 文件上传...