数据抽取策略

　　为了解决多数据源远程数据访问，支持各种异构数据源的数据抽取与自动转换，隔离数据逻辑和业务逻辑，保证系统具有良好的开放性及可扩展性，本方案提供一个对多种数据源实施统一访问的功能构件，实施对数据源抽取的集中管理。

　　统一数据访问构件的主体由客户接口、服务管理程序、数据库访问服务组成，客户接口、服务管理程序、数据库访问服务之间，通过符合CORBA标准的InforBus中间件进行通信。由于使用了这种松耦合的连接关系，一个客户端进程可以同时访问多个数据库访问服务，这些数据库访问服务可以访问相同的或者不同的数据源，且地理分布广泛；多个客户端进程也可以访问同一个数据库访问服务，由于在数据库访问服务做了数据库访问连接池的管理，可以连接复用，大大节省了数据库资源的开销。数据抽取遵循以下原则：

　　数据抽取策略：提供定时抽取、固定间隔和Rule-based Trigger等策略；
　
　　提供强有力的数据加工处理能力，包括数据过滤、转换、压缩、数据加密、签名、数据填充等；

　　支持自定义数据处理逻辑的即插即用；

　　数据复制：支持快照复制和增量复制等数据复制手段；

　　数据装载：支持数据的一致性检查和单子性（无重复性）。

　　处理流程是根据海事不同业务特点，对于各业务数据的抽取采用不同的方法。

1. 定时抽取：对于一些基础字典和静态类型数据采用该抽取策略，这类数据的特点是时效性不是很强，并且一般情况下数据的变动频率非常低。如码头、泊位、船舶登记信息、船员信息、船舶安检信息等。

2. 固定间隔：对于那些动态数据采用该抽取策略，这类数据的特点是可能会频繁变动，并且这类数据对于船舶安全和航道安全等非常重要。如船舶动态数据、风力、能见度、浪高等。

3. Rule-based Trigger：对于那些敏感数据采用该抽取策略。这类数据的特点是随时可能变动，且时效性非常强。如出现海上安全事故时，决策层需要出事水域附近的第一手资料（附近的船舶、海面状况、能见度、气度、水温、风速、浪高等搜救必需数据）。

内外网数据交换策略

　　对于内外网间数据交换的需求，本方案是通过网闸进行内外网的物理隔离，并进行数据传递。在网闸内侧放置数据交换平台服务器，完成数据抽取、数据存储和与网闸的交互任务。网闸外侧放置数据交换适配器，完成网闸与外间的交互。

 优势特点

1. “软总线+软构件”架构

　　本方案采用基于分布式对象中间件InforBus的“软总线+软构件”架构，软构件具有随时开发、随时部署、继承管理的特性，使系统构件的重用性、移植性和互操作性及拓展能力得到了很好的保障，总线连接分布系统中的各个构件，极大地提高分布、异构应用系统之间信息共享能力。

2. 灵活性配置部署

　　本方案易操作的配置部署界面，可以直接部署适配器、控制交换权限、数据格式、路由节点等。

3. 多种类型数据交换

　　针对各类需提交海事数据库的业务请求提供专有的适配组件，主要完成数据的接收解析，并负责写入海事业务数据库中。

　　支持批量数据交换、交互式数据交换。

　　支持数据库同步。

　　通过动态配置参数字典，支持点到点数据传输、数据转发、不同类型数据分发到不同节点等智能数据交换路由。

　　通过动态配置访问权限、访问频率等，进行流量控制、断点续传和队列管理的数据交换。

4. 透明性监控管理
　　
　　提供服务运行监控、日志管理与流量分析、多方式的故障报警等透明性监控管理功能。

　　对服务运行情况监控维护 监控对服务程序运行情况，是否正常持续稳定地运行，占用资源是否合理情况监控。

　　对数据交换的监控维护 每笔数据交换是否成功，通过错误日志分析错原因。

　　日志管理与流量分析 日志管理包括对系统操作和运行中所形成的所有日志文件的生成、转存、备份，操作日志可由具有相应权限的管理人员进行查询及统计。

　　系统记录了所有交换的所有操作，以保证对系统的修改有据可查。记录日志是为方便日志管理和流量分析而对操作进行的，业务系统操作日志提供操作员的各种操作统计报表。

5. 强有力数据处理

　　提供故障恢复能力，当数据处理失败时，提供重新处理功能，应用也可以建立自己的恢复处理过程；提供如数据压缩、数据加密和签名、数据填充、数据格式翻译消息过滤等；

　　数据交换资源管理中心提供了完备的存储服务，同时有较好的备份策略及访问控制策略，实现交换数据的集中存储和管理。

　　数据装载到资源管理中心数据库是根据系统配置，将经过数据交换平台的数据进行整理后，由一个通讯适配器和统一数据访问构件协同完成的。