谈农业信息资源共享交互平台需求
作者：admin 来源：未知 日期：2020-10-28 08:40人气：
摘要:信息化时代，农业数据繁多，覆盖面广泛，信息资源共享整合建设尤为重要。本文从业务流程、功能需求、性能需求3方面对农业信息资源共享交互平台的需求进行详细分析。
关键词:农业信息化;农业大数据;数据治理
为深入贯彻落实国务院、江苏省、常州市关于促进政务信息资源共享整合建设的要求，按照常州市2019年政府电子政务工作要点的要求，从深入推进“一网通办”、“智慧城市”、“数据共享”、“平台优化”和“智造产业”5大行动出发的指示精神，常州市将推进农业信息资源共享交互平台项目建设，以进一步规范全市政务信息资源管理工作，将信息资源共享在深化改革、转变职能及创新管理等方面全面渗透和应用，从而提升政务服务水平及行政效能。本文结合常州市农业信息化当前的实际情况，介绍了一种农业信息资源共享交互平台，并对该平台的业务流程、功能和性能需求进行分析。
1业务流程分析
1.1数据交换共享流程
目前，常州市涉农数据资源交换共享方式主要是人工报送的Excel、Word等格式数据文件，没有明确的流程。通过建设常州市农业信息资源共享交互平台农业数据共享交换系统，可对全市涉农数据资源的共享交换进行规划，建立标准规范，优化共享流程。本项目涉及2类数据交换共享，包括市局内部现有信息系统之间的数据共享交换以及市局与外部相关单位之间的数据共享交换。数据共享交换流程涉及数据资源订阅方、数据资源管理方、数据资源提供方3类用户角色，具体流程如图1所示。
1.2数据治理流程
通过数据交换共享方式汇聚的数据资源，需要经过数据治理，经过数据抽取、验证、清洗、集成、聚集、装载，将数据源转化为数据仓库需要的格式。数据加工处理工作由数据服务平台自动完成，同时由用户进行人为监控。数据治理流程如图2所示。
1.2.1数据抽取从数据源抽取涉农数据资源。数据源可以是通过业务平台数据汇聚形成的数据资源库，也可以是通过数据交换共享平台获取的涉农数据资源(市局内部和外部数据)。数据抽取包括增量抽取、增量加载及批量装载，可依据时间戳自动判断抽取增量数据。
1.2.2数据清洗通常情况抽取的数据资源中包含冗余数据、垃圾数据。数据在逻辑上冲突和数据定义冲突等问题十分常见，因此需要对数据资源进行清洗，发现残缺数据、错误数据、重复数据，在信息资源库进行数据补录、关联、去除，导入到数据仓库中。
1.2.3数据转换清洗之后的涉农数据资源需要转换为数据仓库的格式。
1.2.4数据装载经过格式转换的涉农数据资源需要装载到数据仓库，为数据建模和主题分析做准备。
1.3数据分析应用流程
数据分析应用不仅能够对经过加工处理后的涉农数据资源进行挖掘分析，还可以对信息资源目录、元数据、主数据进行管理。现以信息资源目录管理和数据分析应用流程为例进行阐述。
1.3.1信息资源目录管理经过梳理之后的涉农信息资源目录可为数据资源相关单位提供信息资源目录使用、查询等服务。数据资源相关单位可根据自身业务发展变化情况，利用需要更新信息资源目录，由数据资源管理方审核确认后发布，不断完善并形成可持续发展的全市涉农信息资源目录体系(图3)。
1.3.2主题分析应用主题分析应用以采集数据和共享交换数据为基础，通过汇聚存储于数据缓冲区，经过数据的ETL处理过程，包括数据抽取、验证、清洗、转换、装载等，按照面向主题的方式存入数据中心(ODS)，提供常规的数据查询统计分析。给予数据中心，经过ETL处理可建立面向农业、种植信息、畜牧养殖信息、测土配方施肥与土壤墒情、土地流转信息、农作物种类产量等不同(可进一步细分)的主题数据库，建立多维数据分析模型，为主题分析提供支持。在此基础上，通过理论(业务)模型的建立，包括播种态势模型、产量预测模型、农产品质量安全模型等，提供预测预警与决策指导等服务。主题分析应用流程如图4所示。
2功能需求分析
2.1数据交换共享
业务数据资源的采集，在本次项目建设中，数据交换共享是最重要的采集方式。通过平台的建设，可梳理出农口的统一数据共享交换标准和接口规范，并建立为平台与外部系统之间的数据共享提供指南和标准，市局与外部单位之间通过建立数据交换共享机制实现涉农数据资源的共享汇聚利用。
2.2数据加工处理
由于涉农数据资源一部分来自数据报送人员在线直报和自动采集，另一部分来源于市局现有信息系统和外部单位信息系统，数据格式、数据结构、数据类别、数据标识等经常不一致，因此需要进一步对源头数据进行加工处理。
2.3数据分析应用
建设数据共享交换系统将涉农数据汇聚之后，最为核心的工作是对数据进行挖掘分析应用。通过大数据分析手段挖掘掩藏在涉农数据资源表面的业务特点、规律，实现对农业农村工作的决策支持，提供数据监测、分析、预警、预测等服务。
2.4数据展现
通过一系列数据可视化展示方式将基础数据资源和分析数据资源直观地呈现给各级领导和各级工作人员，并定期提供数据分析报告全景展示常州市现代农业发展趋势和状况，满足用数据说话、用数据管理和用数据决策的工作需要。通过建设专题决策支撑系统，实现对全市农产品质量安全等专题数据的综合展示和相关工作的统一指挥调度。
3性能需求分析
3.1访问速度方面
页面打开速度小于3s，简单类查询速度小于3s，复杂类查询分析速度小于8s。
3.2稳定性方面
在利用本平台正常工作中，不应出现妨碍工作顺利进行的系统错误或意外中止的情况。
3.3资源利用方面
在进行海量数据的查询、统计、分析的过程中，允许CPU和内存的占用率提升及网络带宽占有量的加大，但在操作结束后，应该及时释放所占用的资源，以保证工作人员利用电脑顺利进行其它工作。
3.4系统处理能力方面
系统的用户较多，所以对系统的并发处理能力要求较高;支持数据采集应用并发数100，最长响应时间3s。
3.5使用灵活性方面
当系统与其它软件的接口发生变化，用户的操作方式、运行环境、对信息获取方式以及对期望获取的信息结果发生变化时，软件系统要做到易于调整，拥有高度的灵活性。
4信息量分析和预测
4.1农业数据量分析与预测
本项目农业信息资源交互平台建设的信息资源数据，包括了市县农业农村局现有数据(如农产品质量监管、农产品质量追溯、动监所执法、三农项目管理等)、部省相关数据(如三品一标、农业投入品等)、政府部门相关数据(如气象、环境、工商、防汛等)、机构改革后农办发改财政部门相关数据、其它下一步收集的数据(如休闲观光客源、土壤质地、森林植被等)，总计占用存储空间约20TB(其中，关系型数据约5TB，非结构化数据约15TB)。
4.2查询频度分析
查询频度与支持的系统数量、用户数量、系统建设情况有关。建设初期，由于访问系统的用户数和基于平台建设的系统少，查询用户少，访问频度较低。但随着信息系统建设的不断发展，信息内容的不断丰富和支持的应用系统增加，用户数也会不断攀升，系统访问频度将急剧增加。以常州市农业农村局农产品质量安全监管平台为例，目前用户数近1000人。平时有200个用户在线使用平台，通常用户并发数50个左右，高峰时并发用户数100个左右。
4.3数据流量分析与预测
本系统在B/S访问时，由于业务的要求需要传输视频图像或文件，每个访问点的传输速率至少保证5Mbps。
参考文献
［1］王文生，郭雷风．农业大数据及其应用展望［J］．江苏农业科学，2015，43(09):1－5．
［2］孟祥宝，谢秋波，刘海峰，等．农业大数据应用体系架构和平台建设［J］．广东农业科学，2014，41(14):173－178．
［3］温孚江．农业大数据研究的战略意义与协同机制［J］．高等农业教育，2013(11):3－6．
［4］亓开元，赵卓峰，房俊，等．针对高速数据流的大规模数据实时处理方法［J］．计算机学报，2012，35(03):477－490．
［5］方艾，徐雄，梁冰，等．主流大数据处理开源架构的分析及对比评测［J］．电信科学，2015，31(07):152－157．
［6］李贞强，陈康，武永卫，等．大数据处理模式———系统结构，方法以及发展趋势［J］．小型微型计算机系统，2015，36(04):641－647．
作者：薛彩霞 单位：常州大学
上一篇：地区农业科技扶贫现状及模式探析
下一篇：农业气象灾害风险评估分析
下一篇：农业气象灾害风险评估分析
