科技数据采集科普成果漫步数据云端

导读一、大数据——未来的第四次产业革命之一一种技术引领一个时代。18世纪60年代，英国率先开展第一次工业革命，将世界带入蒸汽时代，英国也因此一举成为世界上第一个....

一、大数据——未来的第四次产业革命之一

一种技术引领一个时代。18世纪60年代，英国率先开展第一次工业革命，将世界带入蒸汽时代，英国也因此一举成为世界上第一个工业化国家，并带来了一系列社会变革。

19世纪中期，欧洲国家和美国、日本的资产阶级革命改革完成，促进了经济的发展。19世纪60年代后期，开始第二次工业革命，以交流电的大规模使用为契机，推动人类进入了新的“电气时代”。

20世纪50年代，开始了以原子能、电子计算机、空间技术和生物工程的发明和应用为标志的第三次工业革命。这也是一场涉及信息技术、新能源技术、新材料技术、生物技术、空间技术和海洋技术等诸多领域的信息控制技术革命。美国正是在完成第三次工业革命，也就是信息化革命的过程中逐渐稳固了世界霸主的地位。

21世纪以来，大数据、云计算、互联网、物联网等信息技术被普及应用，以深度神经网络为代表的人工智能技术飞速发展，大幅跨越了科学与应用之间的“技术鸿沟”。一场围绕云、大、物、智等新兴IT技术的第四次科技革命正在如火如荼的展开。人机对弈、无人驾驶、智慧社区等人工智能场景实现了从“不能用、不好用”到“可以用”的技术突破，智能技术改变了人们的生产和生活方式，人类进入了爆发式

增长的智能时代。一场技术拉开了一个新的时代，究竟谁能响应时代号召，成为时代的“弄潮儿”，正是我们值得思考的地方。

（一）大数据时代来临

在过去五年内，全球的数据信息呈现爆发式增长，物联网、云计算、手机、PC、平板电脑，以及各式各样的传感器网络，产生了海量数据，如何对海量数据中蕴含的价值进行挖掘成为了大数据时代的极大挑战。

数据显示，2019年我国大数据产业规模突破6000亿元；2020年达到了718.7亿元，增幅领跑全球数据市场；2021年突破了1.3万亿元，大数据产业链初步形成。在2022中国国际大数据产业博览会上，工信部部长肖亚庆表示，“十三五”时期我国大数据产业年均复合增长率超过30%，大数据体量呈现爆发式增长态势。目前，数据挖掘、机器学习、产业转型、数据资产管理、信息安全等大数据技术及应用领域已经实现新的发展突破，成为推动经济高质量发展的新动力。

（二）世界各国的大数据战略

2013年8月，澳大利亚政府信息管理办公室大数据工作组发布了《公共服务大数据战略》，旨在使澳大利亚在该领域跻身全球领先水平。

2013年10月，英国编制的《英国数据能力发展战略规划》发布，该战略旨在使英国成为大数据分析的世界领跑者。

2016年5 月，美国总统科技顾问委员会发布了NITRO编写的《联邦大数据研究和开发战略计划》，以确保国家在研发上的持续引导力，提高国家应对社会压力的能力，并通过研究和开发解决国家和世界面临的诸多问题。

2017年1月，欧盟委员会发布《打造欧洲数据经济》报告，对数据驱动型经济的潜力、面临的障碍、解决方案等进行了分析总结。报告指出，大数据是经济增长、就业和社会进步的重要资源，2015年欧盟数据经济的价值是2720亿欧元，接近于欧盟地区生产总值的1.9%。

2014年3月，大数据首次写入中国政府工作报告。2015年10月，党的十八届五中全会正式提出“实施国家大数据战略，推进数据资源开放共享”，标志着中国已将大数据视作战略资源并上升为国家战略，期望运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力。2017年12月，在中共中央政治局第二次集体学习时强调，审时度势精心谋划超前布局力争主动，实施国家大数据战略加快建设数字中国。2018年5月，在向中国国际大数据产业博览会的致辞中指出将秉持创新、协调、绿色、开放、共享的发展理念，围绕建设网络强国、数字中国、智慧社会，全面实施国家大数据战略，助力中国经济从高速增长转向高质量发展。

2018年8月，浙江省制定《浙江省数字化转型标准化建设方案(2018—2020年)》，要求构建数字政府标准体系框架,围绕大系统、大数据、大平台、大集成构建涵盖经济调节、市场监管、公共服务等领域的数字政府标准体系。立足互联网、物联网、大数据、人工智能等实施标准领航工程，制定实施团体标准30项以上，抢占数字经济高地。2021年1月，围绕乡村振兴国家战略，浙江省出台《浙江省数字乡村建设实施方案》，以开展国家数字乡村试点建设工作为牵引，提出了未来数字乡村建设的总体要求、总体框架、重点任务、保障措施等，为我省推动数字乡村建设提供重要的指导和遵循。

（三）大数据在蓬勃发展

我国人口总数居世界第一，网民总数也居世界之首。在人工智能时代，每天自动采集产生的数据量也位于世界前列。传统的数据管理模式已经远远无法满足现实的需求，大数据应运而生，并伴随着人们新的生产和生活方式蓬勃发展。

1.大数据蓝海成为企业竞争的新焦点

大数据所能带来的巨大商业价值，被认为将引领一场足以与20世纪计算机革命相匹敌的巨大变革。大数据正在对每个领域都造成影响，包括商业、经济、农业等领域。大数据正在催生新的蓝海，催生新的经济增长点，成为企业竞争的新焦点。

大数据挖掘成为商业分析的核心。大数据的重心从存储与传输已经逐步过渡到数据的挖掘与应用，这将深刻影响企业的商业模式，既可直接为企业带来盈利，也可以通过正反馈为企业带来难以复制的竞争优势。

一方面，大数据技术可以有效地帮助企业整合、挖掘、分析其所掌握的庞大数据信息，构建系统化的数据体系，完善企业自身的结构和管理机制。另一方面，伴随消费者个性化需求的增长，大数据在各个领域的应用逐步显现，已经开始并正在改变着大多数企业的发展途径及商业模式。

2.大数据成为信息技术应用的支撑点

大数据处理和分析已经成为新一代信息技术应用的支撑点。物联网、社交网、数字家庭、电子商务等新一代信息技术以大数据为节点，不断汇集产生信息，并通过对不同来源数据的统一性、综合性的处理、分析与优化，将结果反馈或交叉反馈到各种应用中，进一步改善用户的使用体验，创造出巨大的商业价值、经济价值和社会价值。

因此，大数据具有催生社会变革的能量，但是释放这种能量，需要更严谨的数据治理、富有洞见的数据分析和激发管理创新的环境。

与此同时，大数据的商业价值和市场需求成为推动信息产业持续增长的新引擎。随着行业用户对大数据价值认可程度的增加，市场需求将出现井喷，面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。

3.大数据催生了新的产业

围绕大数据，系列新的产业将如雨后春笋般被催生。比较典型的有大数据平台提供者、基础平台提供者、数据分析软件提供者、大数据应用软件提供者、数据服务提供者、系统开发与集成服务提供者以及数据驱动的企业和跨领域的创新者。他们或为企业构建大数据平台(私有云)或者提供第三方大数据平台服务(公用云)的厂商，或提供基础的大数据平台产品和技术（包括分布式计算系统、分布式文件系统、分布式数据库/数据库/数据仓库，数据采集工具、数据转换与清洗工具、数据湖工具、数据安全系统、数据管理系统等），或依托于数据的价值和衍生价值，以服务的形式为第三方提供服务。大数据时代和国家大数据战略落地的重要成果之一是将催生出大量数据驱动的企业和跨领域的创新者，他们最终成就空前繁荣的大数据时代。

大数据特别将为信息产业创建一个高增长的新市场。 如今，在硬件与集成设备领域，大数据面临的有效存储、快速读写、实时分析等挑战，将对芯片、存储产业产生重要影响。因此，将催生一体化数据存储处理服务器、内存计算机等市场。在软件与服务领域，因为大数据中蕴涵的巨大价值，带来对数据快速处理和分析的迫切需求，也将引发数据挖掘、商业智能市场的空前繁荣。

二、走进大数据

当淘宝网把你一年的消费情况一笔一笔全部都记录了下来，并加以分析成为你的专属消费账单时，你会不会大吃一惊？这份账单不仅告诉你主要买了什么，还能指出你的消费水平在全国处在什么水平段上……这一堆利用统计技术把大量数据串联起来并为我们所用，帮助我们在合理时间内管理、处理并整理的数据，就是我们所说的“大数据”。从硅谷到北京，大数据的话题正在被传播，特别是智能手机以及物联网技术的普及应用，我们的行为、位置，甚至身体变化都成为了被记录和分析的数据，以此为基础的新经济、商业模式逐步形成，一个大规模生产、分享和应用数据的时代正在开启。

百度每天需要处理100PB以上数据（相当于5000个国家图书馆的信息存量）；全球每秒钟发送几百万封电子邮件，微信每日发送消息400亿次以上；截至2020年6月，我国网络视听用户规模达9.01亿，短视频人均单日110分钟的使用时长。信息化资源与工具充斥着我们的生活、工作和学习，人们在使用过程中产生了大量的数据，这些数据也往往成为了大数据分析与应用的来源。

（一）大数据的四大特征

大数据的特征可以概括为4V，即Volume(大量)、Variety(多样)、Velocity(高速)、Value(价值)。在大数据时代，数据存储成本的大幅下降以及并行计算能力的提升可以帮助我们从数据中快速获得高价值信息，通过搭建合理的数据模型了解消费者的偏好，发现隐藏在冰山下的问题，从而把握新的商机，为企业的战略布局提供可参考的依据！

1．数据量大

人类进入信息社会以后，数据以自然方式增长，其产生不以人的意志为转移。从1986年开始到2010年的20多年时间里，全球的数据量增长了100倍，今后的数据量增长速度将更快，我们正生活在一个“数据爆炸”的时代。今天，世界上只有25%的设备是联网的，大约80%的上网设备是计算机和手机，而在不远的将来，将有更多的用户成为网民，汽车、电视、家用电器、生产电器等各种设备也将接入互联网。随着Web2.0和移动互联网的快速发展，人们已经可以随时随地、随心所欲发布包括博客、微博、微信等在内的各种信息。随着物联网的推广和普及，各种传感器和摄像头将遍布工作和生活的各个角落，这些设备每时每刻都在自动产生大量数据。

综上所述，人类社会正经历第二次“数据爆炸”。各种数据产生速度之快，产生数量之大，已经远远超出人类可以控制的范围，“数据爆炸”成为大数据时代的鲜明特征。

根据著名咨询机构IDC（Internet Data Center）做出的估测，人类社会产生的数据一直都在以每年50%的速度增长，也就是说，每两年就增加一倍，这被称为“大数据摩尔定律”，意味着人类在最近两年产生的数据量相当于之前产生的全部数据量之和。