4、大数据的挑战
5、大数据的应用

4、大数据的挑战

大数据时代已经到来，悲观者深为数据的管理和维护而忧虑，乐观者则看到了大数据的大价值。大数据是海量的非结构化数据，特点是数据量很大，数据的形式多样化。如何存储这些快速增长的海量数据？如何对大数据进行分析处理，挖掘出其价值？这些问题成为几乎所有企业面临的共同挑战。
大数据时代的挑战包括：如何实现高效、智能的大数据存储？非结构化数据正在呈海量增长趋势，如何对其进行有效的管理和应用？现有数据保护与文档归档机制能否应对日益增长的海量数据？如何攻克移动数据管理的难点？如何在复杂的数据环境下实现可靠的数据安全？这些正逐渐成为大数据所面临的共同挑战。
但是我们发现，这些来自大数据的挑战，归纳起来主要只有两点：
其一，管理好大数据，包括大数据的产生、存储、保护、归档，到安全维护等各个方面。从根本上讲，这属于IT管理维护范畴，只不过数据量超出常规管理范围后，管理、维护的难度大幅度提高。
其二，应用好大数据。这是企业数据管理的最终目标。大数据即意味着大价值，数据与数据、数据与人、数据与业务的关联性能给企业带来巨大的价值。大数据应用的挑战既有应对数据的流动性、关联性、智能化所带来的挑战，也有基于大数据进行深度挖掘所带来的挑战。

5、大数据的应用

一年前，大数据技术的一些主要用户是大型Web企业，例如Facebook和雅虎，它们需要分析点击流数据；但现在，大数据技术已经超出了Web的范围，凡是有大量数据需要处理的企业都有可能用到它，如银行、公用事业机构、情报部门等都在使用大数据技术。实际上，一些大数据技术已经被一些拥有很前卫技术的企业在使用了，比如受社交媒体推动而需要创建相应Web服务的企业，它们对于大数据项目的贡献非常重要。而在其他垂直行业中，有些企业正在意识到，它们基于信息服务的价值定位要比它们先前想象的大得多，所以大数据技术很快就吸引了这些企业的注意。再加上硬件和软件成本的下降，这些企业发现，它们已经处在了一场企业大转型机遇的完美风暴中。
大数据热潮产生于新一代信息技术融合发展之时,同时,对大数据的处理和分析又成为这种融合发展的核心支撑。物联网、移动互联网、数字家庭、社会化网络等都是新一代信息技术具体的应用形态，大数据伴随这些应用不断增长，云计算则为这些海量的、多样化的大数据提供存储和运算的支撑平台。据估算，全球可统计的数据存储量在2011年约为1.8ZB，2012年将达到2.7ZB，2015年将超过8ZB；其中，结构化数据的增长速度约为32%，而非结构化数据还要快一倍，约为63%。反过来，对大数据的分析、优化结果反馈到物联网等应用中，又进一步改善使用体验，并创造出巨大的商业价值、经济价值和社会价值。
对大数据的利用将成为企业提高核心竞争力、抢占市场先机的关键。在未来3到5年，我们将看到那些真正理解大数据并能利用大数据进行价值挖掘的企业，与对大数据价值挖掘重视程度不够的企业之间的差距。真正能够利用好大数据，并将其价值转化成生产力的企业将具备强劲的竞争优势，从而成为行业的领导者。
在零售领域，对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对。沃尔玛已经开始利用各个连锁店不断产生的海量销售数据，并结合天气数据、经济学、人口统计学进行分析，从而在特定的连锁店中选择合适的上架产品，并判定商品减价的时机。
在互联网领域，对大数据的分析可以为商家制定更加精准有效的营销策略提供决策支持。Facebook、eBay等网站正在对海量的社交网络数据与在线交易数据进行分析和挖掘，从而提供点对点的个性化广告投放。甚至在公共事业领域，大数据也开始发挥不可小觑的重要作用。欧洲多个城市通过分析实时采集的交通流量数据，指导驾车出行者选择最佳路径，从而改善城市交通状况。联合国也推出了名为“全球脉动”（Global Pulse）的新项目，希望利用“大数据”来促进全球经济发展。
大数据因其巨大的商业价值和市场需求正成为推动信息产业变革的新引擎。
下面介绍两个大数据成功运应用的实例。
(1) NOAA海啸预警

2012年3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局（NOAA）就发布了详细的海啸预警。随即，NOAA通过对海洋传感器获得的实时数据进行计算机模拟，制作的海啸影响模型出现在YouTube等网站上。
NOAA的快速反应得益于其全球范围内庞大的海洋传感器网络。通过这些置于海面和海底的传感器，NOAA源源不断地获取全球范围的海洋信息，并将这些信息存储在位于美国新泽西州的数据中心。NOAA的数据中心存储着超过20Pb（1024Tb）的数据，是美国政府最大的数据库之一。
NOAA海啸研究中心首席科学家Vasily Titov事后向外界表示，“虽然预警系统发挥了很大价值，但是还没有快到足以帮助到日本仙台沿海的居民及时躲避海啸”。为了在更短时间内分析出准确的海啸活动趋势，NOAA一直在努力提升其对大数据进行处理的能力——这一机构每年的IT预算高达10亿美元。虽然花费巨大，NOAA却对此乐此不疲，因为数据关乎生命。
（2） 沃尔玛的商业数据分析
沃尔玛是最早通过利用大数据而受益的企业之一，一度拥有世界上最大的数据仓库系统。通过对消费者的购物行为等非结构化数据进行分析，沃尔玛成为最了解顾客购物习惯的零售商，并创造了“啤酒与尿布”的经典商业案例。早在2007年，沃尔玛就建立了一个超大的数据中心，其存储能力高达4Pb以上。《经济学人》在2010年的一篇报道中指出，沃尔玛的数据量已经是美国国会图书馆的167倍。

对于任何企业来说，数据都是其商业皇冠上最为耀眼夺目的那颗宝石。伴随着传统的商业智能系统向纵深应用的拓展，商业决策已经越来越依赖于数据。
像沃尔玛一样, 同样专注于大数据投入的还有很多商业机构，比如eBay、中国移动等。他们大都希望从海量的大数据中，挖掘更多的商业价值，这关系到这些企业能否在大数据时代继续保持基业常青。企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合。
IDC 在其关于大数据的报告中，阐述了利用大数据的商业价值：领军企业与其他企业之间最大的显著差别在于新数据类型的引入。那些没有引入新的分析技术和新的数据类型的企业，不太可能成为其行业的领军者。
虽然企业的决策者已经意识到“大数据”中蕴含的价值，但对于大多数企业来说，真正实现其中的价值还难以做到。这时候IT就派上了用场，它可以帮助决策者在储存的海量信息中挖掘出需要的信息，并且对这些信息进行分析，从而发现重要的趋势信息。换句话讲，IT已经成为“大数据”发挥作用的催化剂。
在服务领域，“大数据”的重要性和价值越发明显地得到证明。与美国海洋和大气局(NOAA)、美国宇航局(NASA)这些机构一样，一些制药企业和众多能源企业同样累积了大量的数据信息，现在这些企业想要将这些日常积累下来的数据转化为一种“大数据科技”，希望这些数据能够带来额外的价值。
美国海洋和大气局尝试利用大数据业务协助进行对气候、环境、天气的研究和商业性探索，美国宇航局利用大数据业务进行航天和其他领域的探索。制药企业和能源企业则借助大数据业务进行更多实实在在的研发，例如药品实验和地球物理分析。《纽约时报》将“大数据”作为一种工具，进行文本分析和网络开发。迪斯尼公司利用它对店面、主题公园和网络资产中的数据进行分析，研究消费习惯的相关性。

外贸大数据及其挑战