目录:
在2000年代初期，很明显，在数据方面有很大的创新需求。 公司对数据处理方式的限制使高管感到沮丧，并极大地降低了效率。 许多公司存储了大量信息，但根本无法管理，分析或操纵它们以发挥自己的优势。 正是这种不断增长的压力让位于大数据领域。
2003年，Google创建了MapReduce，这是一个数据应用程序，它使公司可以在短时间内跨数千个服务器处理和分析有关其搜索查询的信息。 该程序具有可扩展性和适应性，它允许Google在短短几分钟内执行数千个数据任务，从而提高了生产率，并重新定义了有关数据处理方式的可理解界限。 近十年后，大数据已成为信息技术的中心宗旨。 它的广泛范围和能力从根本上改变了工作场所中的数据管理。 但是，是什么促使这种发展的呢？大数据将如何精确地影响未来？ 我们以为你永远不会问。 （有关大数据的背景知识，请查看大数据：如何捕获，处理和用于制定业务决策。）
寻找大数据问题的答案
MapReduce的优点在于它简化了高度复杂的任务。 可以跨机器管理通信，可以解决系统故障，可以自动组织输入数据，这一过程可以由不再需要高技能的个人来监督。 通过使数据处理不仅可行而且可访问，Google激发了数据管理的文化转变。 不久之后，成千上万的大型公司都在使用MapReduce来存储数据。
但是有一个问题：MapReduce只是一个编程模型。 尽管它促进了数据处理的基础，但它本身并不能解决现有数据缺陷。 这只是朝着正确方向迈出的急需的一步。 公司仍然需要一种可以满足其独特数据需求并超越数据管理的基本要求的系统。 简而言之，技术需要发展。
输入Hadoop
输入Hadoop，这是由包括Doug Cutting在内的数位程序员创建的开源框架软件。 在MapReduce基本而广泛的地方，Hadoop提供了令人耳目一新的特性。 公司可以设计自己的量身定制的应用程序，以其他软件无法满足的方式满足数据需求，并且该程序通常与其他文件系统兼容。 一个拥有优秀程序员的公司可以设计一个文件系统，该文件系统将使用以前似乎无法访问的数据来完成独特的任务。 可能最好的部分是，开发人员可以彼此共享可以详细说明和完善的应用程序和程序。
通过使如此重要的资源民主化，Hadoop成为一种趋势。 毕竟，许多大型公司，尤其是搜索引擎公司，感觉他们几十年来一直需要它！ 不久之后，诸如Yahoo之类的搜索引擎巨头宣布实施大型Hadoop应用程序，该应用程序生成用于Web搜索查询的数据。 似乎是一波热潮，包括Facebook，Amazon，Fox，Apple，eBay和FourSquare在内的几家知名公司宣布将这项技术用于其庞大的数据库。 Hadoop为数据处理设定了新标准。
大数据，大问题
尽管数据技术的进步重塑了公司对待数据的方式，但许多高管仍然发现它们无法满足所需的全部任务。 2012年7月，Oracle发布了针对300多位C级高管的调查，他们透露，尽管36％的公司依靠IT来管理和分析数据，但其中29％的公司认为其系统缺乏足够的能力来满足公司的需求。需要。 这项研究最惊人的发现可能是93％的受访者认为他们的公司由于无法使用收集的数据而损失了多达14％的收入。 那笔收入可以用来生产更好的产品和雇用更多的工人。 在公司努力保持盈利的时代，必须改善数据以使公司能够盈利。 调查表明，尽管有人认为大数据对商业的影响已经过去，但它所拥有的增长和发展的机会尚未充分实现。大数据的未来
好消息是Hadoop和MapReduce启发了许多其他数据管理工具。 许多新公司正在创建可在Hadoop上运行的广泛数据平台，但它们提供了广泛的分析功能并简化了系统集成。 看来公司已经投入了大量资源来解决数据问题，数据公司的财务成功证明了这一点。 2010年，数据公司的零售额估计为32亿美元。 许多专家估计，到2015年，这一数字将增长到170亿美元。 对于一些最大的技术公司来说，这一事实并没有丢失。 在过去的几个月中，IBM和Oracle都花费了数十亿美元来收购数据公司。 在未来几年中，许多其他公司将继续采取类似措施，以争夺竞争性的市场份额。大数据前沿
收集的数据量继续呈指数增长，这使一些人感到担忧，而另一些人则感到兴奋。 有利的一面是，随着我们通过数据分析了解有关世界的新事物，人类将继续变得更有生产力和适应能力。 不利的一面是，海量数据如此之多，以至于许多人担心我们无法正确存储所有数据，而对其进行妥善管理，以致所有需要它的人都无法使用。
也就是说，大数据的进步可以为解决与数据有关的紧急问题提供前所未有的机会。 例如，专家建议，如果正确实施大数据，并着重于效率和质量，仅在医疗保健支出上，每年就有可能节省约3000亿美元。 零售商可以提高营业利润率，公共部门可以提供更好的服务，大型企业可以节省数十亿美元。 因此，似乎不仅在公司董事会中而且在各个地方都需要解决我们的数据问题。 这说明了关于大数据的未来的美好事物-也许还有我们的未来。
