数据采集技术助推政府“大数据战略”建设

【摘要】随着互联网信息技术的飞速发展,政府数据采集、储存、分析、处理及其应用已变得很便捷,政府战略决策和危机处置正在朝数据驱动型的预测、发展和决策的方向发生转变。因此,未来应对竞争和危机的决策行为将基于对数据采集与分析,而并不是依靠经验和直觉判断的传统模式。

“大数据”时代真的来临?

进入21世纪,信息的爆炸式增长带了数据的海量化,面对规模日益庞大的数据量,全球知名咨询公司麦肯锡提出“大数据”时代说,麦肯锡称:数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素,人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。

有统计显示,互联网一天产生的全部数据内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多;发出的社区帖子达200万个,相当于《时代》杂志770年的文字量;卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万。2011年,全球产生的数量高达1.82ZB,相当于全球每人产生200GB以上的数据。而到目前为止,人类生产的所有印刷材料的数据量是200PB(1024TB=1PB),全人类历史上说过的所有话的数据量大约是5EB(1024PB=1EB)。

“大数据”的最早提出是基于经济领域的,而当下已发展至军事、通讯、金融、行政等各领域,全球正在超大数据时代迈进。近年来,互联网信息行业的发展使得“大数据战略”备受人们的关注,作为“大数据”战略基础的数据采集成为时下政府战略制定的一部分。

“大数据”时代给政府带来怎样的机遇与挑战?

随着互联网信息技术的飞速发展,政府数据采集、储存、分析、处理及其应用已变得很便捷,政府战略决策和危机处置正在朝数据驱动型的预测、发展和决策的方向发生转变。因此,未来应对竞争和危机的决策行为将基于对数据采集与分析,而并不是依靠经验和直觉判断的传统模式。

在信息数据时代,政府应成为社会数据信息的枢纽。正在到来的数据革命,已经成为启动透明政府、加速企业创新、引领社会变革的利器,日益深刻地影响着我们的生活。当我们渐渐步入大数据时代,生活的每个微小方面都需要这样的数据支撑。后工业时代,要将注意力转移到信息资源的开发上来。我们既是数据的生产者,又是数据的消费者,政府同样如此。

现今,数据的作用正在迅速膨胀并变大,它影响着政府工作战略的制定,虽然现在政府可能并没有意识到数据采集的不到位给自身工作带来的问题和隐患,但是随着时间的推移,人们将越来越多的意识到数据对政府的重要性。特别在网络舆情危机频发的网络信息环境下,面对海量的网络信息数据,依托数据采集的大数据战略建设是当下政府应对突发危机事件的重要手段。准确全面的数据采集,合理的数据分析可以帮助政府了解各种危机要素的发展动态,通过信息数据分析事件参与者的所思所想,依据数据分析结果做出正确的处置措施。

数据采集将如何推进 “大数据战略”建设?

数据承载事实、承载民意,在民众意见表达、监督方面,以及在政府政策的制定、实行方面或政府的盈利创新方面,都起到极大功能,并且是清晰有力的。相信数据、用数据来说话,是理性精神的一种表现。而建立“大数据战略”体系,其首要实现的是数据采集,因为政府对各类数据的分析解读与应用都必须是在采集到的数据上进行,只有通过对所需数据的全面准确采集,形成数据流规模,然后再对数据流进行分析,这样分析出的数据结果对决策行为才有指导性作用。

“大数据战略”的建设,对数据采集工作的要求主要涉及两个方面:

一、全面的数据采集。在这里,数据采集是指利用像乐思信息采集系统这样的采集软件,对各类网络媒介,如搜索引擎、新闻网站、论坛、微博、博客和其他各类型网页的各种页面信息通过要素采集、关键词抽取、全文索引等方式进行信息数据采集,主要有文本信息、URL、数字、日期和图片等,然后把采集的到的各类数据进行自动去重和分类归纳存储。足够的数据量是政府大数据战略建设的基础,就像做房子所需的给类建筑材料,这些建筑材料在大数据战略里就是数据信息。

二、准确的数据分析和使用。完成全面数据采集后,就应该有准确的分析和使用数据能力,透过对采集数据的深入分析,了解事件的事实真相和事件背后的社情民意,预判各种事件的发展走向,这些变动对整个大局会产生什么样的影响,影响是否会阻碍自身的健康发展,这认识得需要我们用数据来衡量,用数据放映出的事实来指导我们工作策略的制定,让我们的工作决策理性化而不是经验化。

盗用