发展趋势 现有数据仓库环境如何最好地扩展以满足大数据分析的需求?

现有数据仓库环境如何最好地扩展以满足大数据分析的需求?

Anonim

问:

现有数据仓库环境如何最好地扩展以满足大数据分析的需求?

A:

个别数据仓库项目需要根据具体情况进行评估。 通常,在尝试扩展现有数据仓库设计以更好地处理大数据分析时,存在一个核心流程来确定需要做什么。 IT专业人员可以称其为“向上扩展”或“向外扩展”。

网络研讨会:大铁,见大数据:使用Hadoop和Spark释放大型机数据

在这里注册

扩大规模通常涉及寻找足够的处理能力,获得足够的内存量以及容纳更强大的服务器活动以处理企业将要处理的所有较大数据集。 相比之下,向外扩展可能意味着收集服务器硬件群集并将它们联网在一起以存储大数据。

一些IT专家建议,使用Apache Hadoop和其他流行的大数据工具和平台的更常见方法是横向扩展并群集硬件以达到所需的效果。 但是,其他人则指出,利用当今的技术,数据仓库可以使用向服务器添加资源的采购策略来扩大规模,例如通过获得更多数量的处理核心以及更大数量的RAM。

无论是扩展还是扩展,数据仓库都需要其他物理硬件资产,才能处理更大的数据工作负载。 他们还需要额外的人工管理,这意味着内部团队需要接受更多培训。 为了使大型数据工作负载适应现有的旧系统,需要进行大量规划,以确定大型数据工作负载将给新的大数据生态系统带来什么样的压力和压力。 一个大问题是存储瓶颈,这需要升级存储中心,以及其他类型的性能瓶颈,如果不解决这些问题,可能会阻碍新生系统。

现有数据仓库环境如何最好地扩展以满足大数据分析的需求?