发展趋势 健康检查:保持企业健康

健康检查:保持企业健康

Anonim

通过Techopedia Staff,2017年3月29日

总结:主持人Eric Kavanagh与Robin Bloor博士和IDERA的Stan Geiger讨论了商业智能。

您目前尚未登录。请登录或注册以观看视频。

埃里克·卡瓦纳(Eric Kavanagh):女士们,先生们,再次欢迎您,东部时间是星期三4:00,在过去的几年中,这意味着现在是Hot Technologies的时候了,的确如此。 我叫Eric Kavanagh,我将主持您今天的表演。 我喜欢这个主题:“健康检查:维护健康的企业BI”,这就是我们今天要讨论的内容。 确实有一个关于您的地方。

因此,今年很热-真正设计了Hot Technologies是为了定义特定种类的技术,并且您可以想象在企业软件领域中有很多销售各种不同产品的供应商,并且正在发生什么事情?这些流行语最终被越来越多的供应商所使用和混淆。 因此,本次展会的目的实际上是为了帮助我们的供应商朋友,并帮助我们的观众确定并振作起来,确切地了解特定的技术种类以及当您直言不讳时这些词的含义。

因此,我将成为今天的分析师之一,我们也有Robin Bloor博士和IDERA的Stan Geiger。 让我们快速地谈论一下商业智能和分析的重要性。 如果您愿意的话,这是一个基本的决策树,或者只是一种流程图,它只是关于您如何处理公司中的问题的讨论,就不同的主题进行讨论,将建议放在一起,然后您就会发现人们的想法。 他们同意吗? 他们不同意吗? 如果有共识,这是什么共识?如何完成该过程?

好吧,这显然是非常通用的,但这很好地提醒了我们在公司中提出想法,做出决定然后继续前进的过程。 最重要的是,这些组件中的每个组件都需要数据。 如今,在大数据世界中,情况更是如此,因为,当然,大数据就像那里的巨型真理引擎一样。 大数据确实正在发生。 它代表了谁在哪里,他们在做什么,他们在买什么,他们的社交媒体处理了什么(例如发推文)。 当然,所有这些东西都可以被黑客入侵-您必须提防这一点-但重点是,数据是现实的参考体系结构。

因此,您需要在此决策过程中的每个点都获得数据。 现在,共识很重要。 如果您想要快乐的用户,有时老板可能不得不违背每个人想要的东西。 在此网络广播开始之前,我们只是在谈论史蒂夫·乔布斯,他为这种事情而臭名昭著。 他有个著名的名言,他建议人们淹没周围听到的噪音,如果知道自己在做的事是对的,则坚持自己的愿景。 因此,您并不总是需要共识,但是通常这是一个很好的主意。 但是,此幻灯片和本评论的总体目的是让我们认识到,我们想基于数据(不仅是基于直觉)做出决策的重要性,尽管直觉通常真的很擅长于帮助您知道要去哪里,然后您确实希望通过数据来验证或无效。 我想说的是,不要害怕回头看一下,就像一个很好的小标记,或者提醒您,当您偶尔回头看时,至少可以得到一些参考框架并了解您去过的地方来自并诚实对待您所犯的错误。 我们都犯了错误,它发生了。

因此,如果您在商务智能系统中遇到性能问题,那么,现在可以告诉您的是老式的“耐心是一种美德”,而不是在IT领域。 如果用户等待很长时间才能返回查询,或者他们没有得到报告,则会削弱信任度,而当信任消失时,很难将其恢复。 因此,我在这里加了一行-这几天大约40秒,在很多情况下就像40分钟-如果查询要花40秒,人们会忘记他们在说什么,在问什么数据。 试想一下,在对话中,如果您问某人,比方说您的老板,您说:“嘿,我想知道为什么我们要走这条路。”您必须在对话中等待40秒得到答案? 你会走出房间! 您会以为您的老板失去了理智。 因此,在某些信息系统中,当存在性能问题时,这种延迟将截断分析过程,分析流程或某些人所说的与数据之间的对话。 您需要加快这些系统的速度,而要做到做到这一点所需要做的一切,而我们今天要谈论的就是那,您需要做的,因为没有来回流动的想法,您就可以确实破坏了整个分析过程。 因此,我再次抛弃此评论:缺乏信任是沉默的杀手。 如果不信任您,人们不会真的举手过分,但是他们只会侧眼看着您,想知道发生了什么。 一旦这种信任消失了,您将很难再找回它。

因此,人工智能,以及我们不断听到的有关机器学习和AI的信息,以及“哦,这难道不是要解决所有这些问题吗?”罗宾和我现在已经听到了很多年有关自调整数据库和所有这些有趣的东西的信息–其中有一些正在发生,但请问自己一个问题:Siri多久为您量身定制一个? Siri意外跳出并走了多少次,“对不起,我没听懂。”那是因为我没有问你什么。 我只是不小心按下了该死的按钮。 因此,仍然存在许多缺陷,顺便说一句,那是Apple Newton的ASIC芯片-还记得几年前的那只小狗吗? 那是最早的智能设备之一,而且是很久以前的事,就像我想说的90年代初或90年代中期。 牛顿出来了,虽然不是很好,但是它有远见。 他们知道他们要去的地方,但是即使到现在,借助iPhone AI和机器学习,这些都是被误解的概念。

当然,对于机器学习而言,它可能非常有用,并且实际上可以用在其中一些环境中,在这些环境中您试图了解复杂信息体系结构到底是怎么回事。 在这种情况下,机器学习可能会非常有价值,但前提是必须以非常敏锐的方式加以应用。 因此,实际上,我只是在加利福尼亚州举行的一次大型活动中,一个大型Hadoop发行商Cloudera举行了他们的分析师峰会,而我正在与他们的首席战略官交谈,并说:“您知道,在我看来,真正的机器学习只会做两件事:细分和完善。”这意味着它将为您提供不同的细分或活动集群,包括异常,这将是一个细分。 它不断完善,这意味着它可以帮助您改善某种决策。 例如,您听到的经典示例是这张照片中有人。 因此,这是机器学习可以做的事情,在谈论疑难解答时,它在某些情况下很有用,因为您可以查找CPU使用率,内存使用率,磁盘速度以及磁盘在做什么方面的行为模式。 ,以及所有有趣的东西。 因此它可能很有用,但实际上必须非常专注于产生任何价值。

因此,我最喜欢谈论的一件事–我认为,当我们今天从IDERA进行演示时,我们会看到一些类似的东西–我认为人类仍在许多方面学习硅语言。 所有这一切背后都有一门物质科学,对于那些已经完成了故障排除工作并真的认真研究了复杂的信息体系结构的人来说,当您试图了解正在发生的事情时,即使像Hadoop集群一样,您通常只是在查看直方图。 然后,您必须关联这些不同的直方图在特定时间的含义,这需要智能。 需要人类的智慧和经验。 因此,我完全不担心机器学习,机器学习或AI很快就会在这个世界上夺走太多工作。 我认为,总会有人类需要,他们坦率地知道他们在说什么,以帮助我们实现这一目标。

因此,让我们继续前进。 那么,如果您不是由数据驱动的,会发生什么? 这是一幅著名的画作,“盲人引领盲人” –伙计们,这不是您想要的。 您不需要组织中的这种环境。 因此,我们想要的是我们希望决策由数据驱动,我们希望决策由良好的数据,高质量的数据驱动,并且只有当您收集正确的数据(如果数据干净整洁,并且如果您的系统运行正常,如果您的BI系统运行正常,则分析系统运行正常,并且用户可以及时获得所需的信息。

因此,我将总结一下并交给独一无二的Robin Bloor。 罗宾,把它拿走。

罗宾·布卢尔(Robin Bloor):好的,谢谢您将球传给我。 我当时在想,Eric,我只是在考虑BI,我最近参加了一个供应商演示,当时有人评论说,在特定的供应商中,在大型,不良数据仓库中运行特定的系统,给定的时间点可以进行7万笔BI交易,从而导致信息呈现给很多人。 我确实想到,如果实际上您有这样的工作量,甚至在执行软件方面浪费了几秒钟,那么它实际上将非常昂贵,而如果浪费几分钟,则将变得非常昂贵。 然后我想起世界上有很多电子表格运行–我认为它们被称为“影子系统”,不是吗? 首先,人们只需要使用电子表格和电子邮件将系统组合在一起,然后他们就能完成事情,因为IT部门无法为每个人构建应用程序,因此他们可以做到这一点。 无论如何,我认为很多BI都参与了这样的系统。

无论如何,让我们继续谈论我将要谈论的内容。 BI是企业系统的反馈回路,它的复杂性取决于它在组织中所扮演的确切角色。 但是,如果我们看一下这是大约四年前的图表,那时候我们正以一种或另一种方式尝试理解分析方面正在发生的事情。 但是,几乎所有事后看来,回顾以前发生的事情,而就系统工作方式而言,所有事后监督都倾向于是BI。 可以预见的是,预测分析并不是BI的情况,但实际上情况正变得如此。 埃里克(Eric)提到了机器学习,实际上很多机器学习可以以一种或另一种方式针对数据流运行,并且可以在接下来的五分钟甚至几乎实时地为您提供预测性分析,因此您可以响应客户,了解实际情况。

但是,此图的中心是内部分析。 通常发生的情况是,各种分析活动都针对特定的数据集合,并且学到了一些新知识,也学到了有关业务的知识。 然后,这些知识就被束缚到可以从中获得的业务流程中。 通常,它以一种或另一种方式表现为BI警报的出现,或者只是各种东西被放置在仪表板上,依此类推等等。 当我们实际执行此操作时,这里有四个术语,它们恰好以“ sight”一词结尾。 但是实际上,这并不是人们想要做的事情的全部,还有优化的问题,而优化不能产生简单的分析。 这是一个非常复杂的问题,并且许多优化问题不是唯一可以解决的。 您只能拥有好的解决方案,不能证明您有更好的解决方案。 这是一个活动领域,正在进行活动,但是比大多数其他分析领域要少。 因此,人们说我们生活在分析时代-好吧,与十年前相比,我们确实做到了,但是它可以走得更远。

因此,BI的产生,对知识的渴望导致用户的请求,分析项目获得,而分析项目产生数据湖,而数据湖加上分析则获得洞察力,而洞察力则产生BI。 我刚才讲的是这个故事。 我只是以为我会写出来。 我的意思是,本幻灯片和实际上大多数其他幻灯片的重点仅在于实际上强调商业智能世界的复杂程度。 这不是一件简单的事情,我可以使这个特殊的幻灯片比实际的要复杂得多,但是您在这里的底部,拥有外部数据和内部数据,它们将以某种方式放入暂存器中。区域,如今,虽然不是每个人都有数据湖,但如今这已成为数据湖的东西。 而那些不一定拥有成功人士的人。 然后,在实际使用数据之前,需要对数据进行摄取清理活动和管理活动。 然后,您将这些数据存储起来,然后就可以对其进行报告或进行分析,然后分析就可以采取行动。

而且,如果您实际查看存在的各种分析,这是一个非常长的列表,但这不一定是一个完整的列表,这只是我在实际创建此幻灯片时要写下的内容。 因此,BI环境中发生了很多事情,其中​​包括可视化,OLAP,性能管理,记分卡,仪表板,各种预测,数据湖,文本挖掘,视频挖掘,预测性东西,其中有很多东西实际继续。 如果您以不同的方式(企业现实)来看待它,基本上,这实际上与上一张图相似,只是以不同的方式完成。 我将您所谓的BI分开是因为它是常规的,并且知道需要什么,这并不意味着实际发生的事情是有效的,但至少您会在其中发生常规的事情,比如说Tableau,Click或in Cognos,有一个主题源,依此类推,各种常规报告或功能将继续进行。 然后,您有了分析应用程序,并且它们有所不同。 因为分析应用程序实际上是关于探索数据的,所以在我看来,这相当于研发。 然后便有了工作流程。 在工作流下,如果需要的话,将您的内容与运营应用程序和Office应用程序混合在一起-这就是我所看到的公司现实-尽管在大多数组织中,它的组织性并不那么好。

因此,BI中断,这只是一件事,使BI变得比以前更难,因为旧的BI世界主要由相当干净的数据集组成,这些数据集以一种或另一种方式捕获,可能是从数据仓库中获取的,并被馈送到特定的BI软件。 在那些日子里,我确实是在谈论五,十年前的事,但是在那些日子里,数据量并没有扩大,数据源是已知的。 数据到达的速度是已知的,尽管通常某些BI的发生速度不足以满足某些用户的喜好。 没有任何非结构化数据,几乎没有社交数据,当然也没有物联网数据,您根本不在乎数据来源。 计算机的价值在基础架构方面没有并行性,以便能够以一种或多种方式快速完成工作。 您没有机器学习,并且分析工作负载的数量很少。 所有这些都改变了,数据量现在可以大大增加。 它不断增加的数据源数量。 是的,数据流的到达速度非常快,很多非结构化数据,当然还有需要清理的社交数据,但是其他可能需要清理的数据,当然是物联网数据,现在就成了交易。

数据来源是一个问题,我们对此很在意。 那里的计算机功能很强大,很整洁,因为这使各种事情变得可行,并且您现在已经有了机器学习,这是一种现象,可以导致创建更多的BI功能和新的分析工作负载来完成相同的工作。 因此,BI并不是一成不变的情况,在我将其交给Stan之前,我想这是我要说的最后一件事。 哦,不,不是,还有别的东西。 未来的BI景观,物联网,事件驱动的架构,实时的一切都可以。 对于用户来说,对于用户而言,这足以满足用户的BI需求。 数据流性能的及时性,数据覆盖范围,数据清理,数据访问技能,可视化,可共享性和可操作性。

因此,现在我可以将其传递给Stan,除非BI服务可靠且及时,否则它不是一项服务。 斯坦?

埃里克·卡瓦纳(Eric Kavanagh):好吧,斯坦,我给你球,把它拿走。

Stan Geiger:好的。 所以,我要谈论的只是我的背景。 我是IDERA产品管理的高级经理,我的职责之一是提供商业智能产品。 因此,我将进一步介绍Robin的话题,并讨论商业智能监控平台运行状况的关键领域。 就像他说的那样,现在它曾经是我们拥有所有这些数据的地方,需要花费数周的时间进行分析,然后我们才能返回报告和事物。 但是BI领域正在发生变化,因此我们现在越来越接近几乎实时的分析。 在很多情况下,还包括实际的实时分析。 因此,我只谈谈这张幻灯片,这只是一种概述–完全披露的是,我将从Microsoft的角度进行讨论,但是所有这些概念都会影响您的BI平台在Oracle中,或者您正在使用Informatica和Oracle,或者仅在混合模式下混合环境。 我将参考Microsoft环境使用,但这是非常标准的。

Robin在其中有一张幻灯片涉及到这一点,那就是您拥有源系统,所有数据都存放在这里,现在曾经是所有这些都在诸如此类的关系数据库和数据存储中,但是现在,我们有了Hadoop,互联网和其他所有东西,所有这些非结构化数据都摆在那里,我们现在可以将它们带入BI架构中。 因此,中间层讨论的是聚合中的数据存储。 在这里我们可以提取数据,可以清理数据,可以对数据进行重组,然后放入某种类型的数据存储中,然后在其上放置表示层,然后这就是您的用户可以访问的地方。 我们正在对这些数据存储中的数据进行分析,并且正在做仪表板,并且Tableau就坐在那儿,报告服务之类的事情。 我总是笑,因为当我是BA架构师时,我们总是对Excel笑,因为让我们面对现实,Excel仍然是大众的BI工具。

因此,这里只提供了一些概述,但是只是在谈论平台架构的种类时,您已经拥有了源数据,而我在多个数据存储中都谈到了它。 然后,我在Microsoft世界中聚合了存储,您将拥有您的SQL Server数据库,也许您的数据仓库在哪里,也许您的数据仓库在云中,并作为您的数据仓库。 您拥有分析服务,这是您的OLAP管,用于进行聚合的事物以及围绕多个维度的事物以及诸如此类的事物。 然后,您已经有了表示层,在这些数据存储和聚合之上,我简要地谈到了所有这些东西。 我一直喜欢这样的名言:“你不知道你不知道什么”,这是真的。 如果您没有监视并且没有查看正在发生的情况,那么在BI平台的所有这些区域中,除了用户开始向您发送讨厌的电子邮件和电话启动之外,您如何知道何时遇到问题?为什么我的报告没有运行? 为什么一切都要花这么长时间?

因此,按照这种方式,您必须要做的是,您必须能够监视从中服务商业智能的平台。 我基本上将其分为三个区域:您具有可用性,性能和利用率。 可用性意味着资源是否可用:是可用还是可用? 那里很简单。 但同时查看一下您何时拥有,可能已经有平台可用,但是那里可能存在问题,因此您必须能够进行根本原因识别; 您必须能够发出警报,并在情况达到临界状态之前让别人知道发生了什么。 这也涉及性能方面,您从服务器,服务或BI服务或BI平台所在的服务器的性能指标级别获得了好处。 您具有资源级的性能,例如,我可能正在从SAN访问数据。 SAN是资源,网络资源,您需要能够监控所有这些资源的性能,能够识别瓶颈并使用户满意,并且如果您所处的环境中,时间分析,您需要能够在瓶颈或问题开始发生之前对其进行识别。

最后一个理论是利用率:用户在做什么? 谁连接到我的BI源? 谁在跑什么? 他们正在运行哪些查询? 他们正在运行哪些报告? 例如,了解此信息有助于确定并进行容量规划。 它还显示了BI环境中正在使用的内容。 我们有一个客户,他们只是想要我们的BI监视产品,以便他们知道他们正在利用BI环境的哪些部分,以便可以转移资源。 例如,如果他们没有使用某些报告或某些分析服务多维数据集,那么他们会将资源从那些资源转移到其他利用率很高的领域。 我喜欢另一个引语,我喜欢真正的电影,例如“ Tremors”,所以告诉你我的电影,所以我喜欢迈克尔·格罗斯(Michael Gross)饰演的伯特·古默(Burt Gummer)的那句话,他是一个生存主义者的枪手,他说,他出现后,他掏出这把巨大的50口径狙击步枪,其中一个人说:“该死,伯特。”他回答说:“当您需要它而没有时,您会唱另一首曲子。换句话说,你知道吗? 他为任何事情做好了准备,为任何事情做好了准备,所以我的意思是,如果您没有从资源和利用率以及我刚才谈到的事情来监视BI环境,那么您就不会意识到需要工具或正在监视它的环境或结构,直到您没有它为止。 然后您意识到我确实确实需要向前发展,而这正是我们许多客户的习惯。

因此,话虽如此,我们将进入,我们将看看我们在IDERA正在进行的工作,以解决其中的一些问题。 和-

埃里克·卡瓦那(Eric Kavanagh):好的,你去了,我明白了。

Stan Geiger:看到了吗? 好的。 因此,我们这里是BI Manager产品。 而且我们监控,IDERA传统上一直是SQL Server,Microsoft SQL Server环境中的公司。 然后我们在Embarcadero购买了产品,因此现在我们已经扩展到其他平台,但是我们的BI产品通常会在Microsoft环境中监视BI堆栈。 那将是用于多维和表格分析的分析服务,报告服务,报告工具,然后是集成服务,这是一个ETL平台,类似于Informatica。

通过我们的产品,您可以通过一种产品监视所有这三个环境,而您在这里看到的是整个仪表板,这里要注意的是当我谈到警报时,监视是一回事,但这还不够–您需要一个警报机制。 换句话说,我需要能够在事情达到关键状态之前得到通知。 因此,我们在这里所做的事情是,我们捕获了一整套可配置的指标,因为根据您的环境,某些阈值,您在环境中读取30毫秒的时间可能还可以。 在其他环境中,降低该阈值可能更关键,因此,不仅要具有警报,而且具有可配置的警报也很重要,因为环境因资源而异。

因此,基本上,这是此处监视的所有环境的概述,在这里我有三个实例:一个用于分析服务,一个用于集成服务,一个用于报告服务。 而且您看到我这里有一些警报。 而且由于这些是红色,因此告诉我这些是至关重要的,因为我有多个级别可以设置这些警报,并且可以将警报通过电子邮件发送给负责调查问题的人员。 因此,仅简要介绍一下,我将返回警报,因此我们可以进入分析服务部分,现在可以确定它正在等待加载。 基本上,我们所做的就是收集数据。 它会定期走到那儿,然后走到那儿,并收集和快照您的环境在做什么。 因此,我每六分钟设置一次矿井,因此每六分钟将矿井排到那里并调查环境。 我的VM睡眠了一段时间,因此需要一秒钟的时间才能恢复。 好了

因此,我们看一下分析服务部分,因此我将在这里单击我的实例,并记住我谈到了我们要监视的一件事是服务器级别的性能,因为很多人都有很多事情在他们的服务器上运行。 例如,我的服务器上可能运行着一个数据库以及分析服务。 因此,如果数据库中发生了某些事情,或者我在服务器级别遇到了问题,那么它将影响数据库中正在运行的任何内容。 因此,我们将在服务器级别监视整个服务器上的内容,例如磁盘性能如何,您可以看到我们捕获了所有这些指标。 所有这些都是可配置的。 然后,我一次又一次地查看CPU方面的情况,这是在服务器级别,而不是在我的示例中的分析服务级别。 但实际上是在服务器级别。

我可以看一下什么是内存,例如内存的总体使用情况,可用的内容? 现在,我了解了服务器本身的运行状况。 然后,我们可以开始研究特定于分析服务的情况。 例如,我可以查看并查看我的多维数据集处理的过程,这可以使我了解健康状况。 如果我开始发现处理花费的时间更长,或者不是行的写入速度没有那么快,那么我就可以开始看一下–这涉及到我认为Robin所说的相关性部分,仍然需要一个人才能完成所有这一切。 我们谈论的是AI,机器学习,但仍然需要人工才能将这些事件与事物相关联。 我们可以看一下诸如查询到目前为止正在发生什么,正在运行哪些查询以及它们需要花费多长时间之类的事情? 我可以进行排序,因此可以开始了解哪些查询花费了最长的时间。 您可以在这里查看经过的时间,我可以查看并确定,那是什么查询,当时谁在运行该查询?

因此,当我开始看到事情开始激增时,我就可以开始讲这个故事了,我可以回头看看当时的用户情况。 您会看到我们要做的一件事情,就是将这个时间选择器放在这里,以便您选择时间范围。 因此,例如,我可以返回到这些警报,它实际上是我单击的那些警报的链接,并且需要花费我该警报发生的时间点。 然后,我可以开始将故事拼凑起来,我可以看到,哦,磁盘读取增加了,或者出现了内存问题等等,然后我可以在同一时间跳过查询活动,然后我就可以真正开始了关联谁正在运行哪些查询,这些查询可能导致那里的峰值。 然后,您可以开始执行类似我可以开始进行调优的工作,这就是我开始调优的时候。 这就像一辆汽车,如果您制造赛车,然后放下引擎,然后启动引擎可能会启动的钥匙,但是如果我每小时必须走180英里才能获胜,我需要知道引擎可以运行100每小时一英里,我需要进入那里并开始调试引擎,以便能够到达那里。 这就是使您能够做的,是能够为您提供足够的信息来开始调整环境,增加该环境的运行状况和生产以及效率。

然后,在这种情况下,我们跨内存监视特定于分析服务的内容。 在这里,您开始看到事物可能开始出现问题的地方,当您开始看到事物在内存限制之间达到峰值时,诸如此类。 值得一看的另一件事是,无论何时运行任何类型的查询,您都希望缓存数据,因为缓存数据时,它就在内存中,而不必从磁盘读取,这要多得多比必须从磁盘读取数据更有效率。 因此,您可以开始看一下正在发生的事情,例如,在数据缓存中。 我有很多查询在前面运行,以获取这些数据,您可以看到我大部分时间都在缓存命中和查找重叠,这很好。 但是我在此期间的命中率比查找的命中率要低很多,这表明我正在进行的操作占用大量内存,因此缓存的刷新速度更快,因此必须从磁盘读取。 当我们查看存储引擎时,可以看到这一点。 这是与其他图表相同的时间点,您可以在此处看到峰值,在此期间,来自文件的查询实际上跃升了。 这意味着正在从磁盘读取数据。 现在,我可以返回,然后将其与正在运行的查询相关联,而不会让人流血,但是在分析服务中,它使用一种称为MDX的语言,可以更有效地编写查询,因此可以使用缓存效率更高,存储空间更少。 因此,有一个调整引擎的示例,并为您提供了使之关联所需的所有组件。

很快,我们也可以用另一种方式翻转它,当我们查看查询时,我们现在可以查看会话,此时谁真正连接了这些会话,它们在运行什么? 因此,这种方式为您提供了与查询以及谁在运行查询相反的视图。 这是连接的人,然后我可以看到他们当前正在运行什么。 另一件事是,为了快速浏览,您可以看到多维MOLAP多维数据集中的所有对象。 我可以获得有关的信息。 因此,例如,我可以按此读取列进行排序,并且可以看到使用最多的对象是时间维度,而使用第二多的对象是客户维度。 这可以帮助开发和构建事物的人更有效地构建多维数据集。 我可能想更改数据的分区策略,例如,在多维数据集中的这些利用率很高的维度上,因此,这将提高查询的性能。 这可能会降低处理多维数据集的性能,因为现在我有了更多的分区,但是从用户角度来看,它将调整该引擎,以便更有效地利用这些对象。

接下来,继续讨论集成服务。 我提到过,集成服务是Microsoft环境中的ETL平台。 我们在这里所做的工作-这是一致的-我们监视服务器性能,并且这些与我们查看的指标相同,因为我的所有服务都在同一服务器上运行。 但是,这再次概述了服务器上正在发生的事情。 然后,我可以查看集成服务的活动,我的ETL流程。 因此,我可以了解这些流程何时运行,无论它们是否成功,我都可以突出显示ETL流程的特定运行,然后向我展示该ETL流程中各个步骤的细目分类,无论是否成功是否需要花多长时间

现在,如果我的ETL程序包失败了,我可以详细了解错误消息,它会向我显示该ETL程序失败的程序包中的哪个步骤,以及与此相关的所有消息。 所以,这就是给我的,如果失败,我可以收到警报,因此,如果收到警报,我可以进入此处,查看,转到该警报,查看包故障,并查看步骤,查看失败的地方,查看错误消息,我立即知道要解决此问题:重新部署它,然后重新开始。 因此,这使您可以做的是,我们称之为缩短在问题识别和问题解决之间的窗口。 因此,在以前的生活中,当我负责这种事情时,我们有ETL流程会在晚上运行,以加载数据仓库。 如果我有这些信息,当我进来时是第一件事,如果有什么失败,那么我可以快速解决该问题并恢复该过程,以确保在用户使用时数据仓库已启动并正在运行并刷新进入并开始访问报告。

另一件事是我有两个正在运行的流程,即查看并查看其如何随着时间运行。 这很重要,因为如果我开始看到这些过程(例如,花费更长的时间,看到这些时间增加),那么我可能需要查看例如维护窗口,该服务器上可能正在运行。 以备份为例; 我可能正在进行备份,这导致我的过程要等到完成为止。 我可能需要重新安排或调整我的流程,以解决开始影响ETL的事情。

最后一部分是报告服务。 报告服务是Microsoft的,基本上是他们的企业报告工具。 再说一遍,我们可以在服务器级别查看某些内容,我们可以查看整个报表服务器,报表服务服务器本身的内容。 我在这里没有很多东西可以跑。 我有一些订阅每隔15分钟运行一次,以运行报告。 因此,您不会看到很多活动的连接,因为它可以启动,连接,运行报告,断开连接并将其发送出去。

但是在需要进行大量报告的高事务性环境中,能够监视这些事情是关键。 因此,您可以看到我在这里发生的事情,因此它使您对实际的服务和平台级别的情况有了一个很好的了解。 然后,正如我在幻灯片中提到的那样,是谁在运行什么,他们在做什么? 我们的一位客户购买此产品正是出于此目的,因为他们想知道人们正在运行哪些报告,以及谁在运行这些报告。 因此,这是此报表执行中的一件事,您可以在此处看到。 我可以看到什么报告,可以看到该报告中的任何参数,可以看到正在运行的人,可以看到报告的格式。 然后,我掌握了所有这些指标,因此,如果再进行一次,我可以对这些事情进行排名,例如,哪个报告花费了最长的时间来检索数据,然后我可以直接查看那个报告。 再说一次,这一切都给了我数据,以便再次调整该引擎。 现在,我可以开始调整报告环境了。

最后,我可以看看用户活动,谁又与当前连接,他们在做什么? 实际上,在有多个用户的环境中,我可以对它们进行排序,因此我可以进行排名,可以看到谁最充分地利用了环境。 因此,只是为了快速返回并查看那些警报。 这是警报。 我可以在此处单击此链接,它将带我到该时间点的图表,并向我显示哪个处于警报状态。 因此,您可以在这里看到,这是因为它是写(例如,读写)的平均毫秒数。 因此,再次尝试仅找出问题所在。 而且,拥有一个整体工具非常重要,不仅是要看一件事的东西,因为人类必须进入这里并关联正在发生的事件,因此您需要能够了解正在发生的事情跨该环境的多个区域的时间点,这是我们通过此时间选择器执行的操作之一。

埃里克·卡瓦那(Eric Kavanagh):是的,这是埃里克(Eric),这里有一个简单的问题,因为我想您可能打在了头上,这就是我在最忙的时候所说的,必须要有人来并得出不同环境之间的这些关联。 我很好奇,你们是否可以分享一些教育材料,或者您是否与人们进行某种互动以帮助他们确定其中的一些模式? 就像您在一分钟前有一个非常好的示例一样,关于其中一个何时出现尖峰,它告诉您内存中正在发生某些事情,因为它一直试图转储内存。 它为您提供了一条线索,但是人们如何针对现实问题映射这些统计数据,才是真正的问题。

Stan Geiger:是的,这是一个很好的观点,而我刚才所说的事情之一是该产品的路线图,今年晚些时候我们将发布一个版本,并且其中一项我们将开始添加对这些图表中的每个图表,都描述了该图表的含义以及您为什么要关心它,以及它的影响。 因此,可以单击此图表上的问号或其他内容,然后打开一个窗口,该窗口将为您提供很多信息,并告诉您这些是可能的原因,这些是受影响的领域,并可以进行指导。就像您说的那样,您朝着这种情况的方向发展,这就是高峰,根据我的个人经验,这意味着什么。 然后,我可以开始并开始深入研究某个区域并找到根本原因。

现在,实际上,在我们用于SQL Server的诊断管理器产品中,对于实际的数据库,我们有很多东西。 在这样的产品中,我们拥有许多此类功能,并且我们还向诊断管理器提供了一些分析附加功能,可帮助您更快地找到线索。 这就是我们要使用此产品的方向。

埃里克·卡瓦纳(Eric Kavanagh):我想某些活动有签名。 此工具是否可让您识别某种事件的发生时间并进行分类,以便随着时间的流逝将逐渐识别出类似的模式,并帮助您确定是否是新用户,例如,使用相同的工具? 帮助您了解,哦,是因为这些服务器出现故障还是因为该区域出现故障? 有没有什么方法可以对问题的签名进行分类,以便以后可以轻松地识别它们?

Stan Geiger:不,实际上,但这实际上是一个有趣的概念,因为它几乎是什么,我想是主成分分析,您可以在其中识别模式并记录这些模式,因此,如果再次看到它们,您可以返回知道了,这就是当时的原因。 是的,那不是在路线图上,而是我从产品管理的角度考虑的东西。

埃里克·卡瓦纳(Eric Kavanagh):我可以想象。 哦,继续吧。

Stan Geiger:不,我要说的是-我们收到了很多请求,因为我不知道您的经验是什么-但是我们发现DBA知道数据库就像他们的后手,但是BI的东西是在平台运行状况方面有点像黑匣子。 而且没有,他们没有太多的知识基础。 我只是做了五年到十年而已,对吗? 但是负责查找这些内容或获取警报并弄清发生情况的典型人员,对他们来说就像一个黑匣子。

埃里克·卡瓦纳(Eric Kavanagh):是的,我可以想象。 我也很想知道,所以您在一个屏幕上显示了如何查看所有正在查询的查询,运行它们花了多长时间以及是谁生成的。 您还能看到SQL查询本身的实际结构,并对此进行一些分析吗? 就像有时候人们将一些大而又麻烦的SQL查询组合在一起,而不是真正将一个很好的紧密查询组合在一起的主人。 您可以通过此工具将其可视化,然后帮助您解决问题吗?

斯坦·盖格(Stan Geiger):是的,因此,您可以做的就是像我在这里所做的那样,就像我在这里所做的那样。 因此,我可以看到花费时间最长的文本,然后我得到了文本,但还是取决于或多或少是主题专家的人才能看得出来,“哦,好,这就是为什么花这么长时间的原因”。这就是我们要进行的工作量分析,我们称其为数据库方面的SQL Workload Analyzer,我一直在鬼混,可能会提出类似的想法,以便于确定这些查询,然后为您提供有关如何优化这些查询的建议。 但是问题之一是,此MDX查询是一种非常专业的语言。

埃里克·卡瓦纳(Eric Kavanagh):是的,我可以想象。 但是,例如,您可以看到这些人是谁,因此找出一个人,一个人是否负责十个最长的过程查询并不是一件容易的事,如果没有其他事情,您可以打电话给他或打电话给他他的经理或某人说:“嘿,这个家伙正在消耗大量带宽”,也许事实证明,这是对企业最有价值的查询,对吧? 您必须将其放在查询本身的业务价值的上下文中,这不仅仅是清晰的数字游戏,对吗? 可以发现,这个人是我们的超级用户,而他是改变业务的人,对吗?

Stan Geiger:不,您完全正确。 我的意思是,这是客户使用此功能的一种方式。 就像您说的那样,您可能会发现一个领域,因为我一直在谈论Excel,但是您可以连接到Excel中的分析服务并从OLAP运行数据透视表,从而生成自己的查询,并且发送它们,有时它们不是最好的形式,因此您可以回过头来识别它们,并实际上将它们重写并提供给用户,然后让他们在外面运行,这样一来半小时他们返回他们的数据透视表。

埃里克·卡瓦纳(Eric Kavanagh):确实如此。 当我们谈论查询时,你们涵盖了查询的全部范围,因此您提到了MDX,其他一些查询(例如DAX查询)还是其他一些呢?

Stan Geiger:是的,我们涵盖了所有DAX和MDX。 因此,我没有提到或可能做过的一件事,但是我们确实支持Microsoft和DAX中的表格和OLAP,因为我认为您和我在不久前谈到了这一点–我们看到了很多现在比我们的OLAP更具表格格式。 因为打开表格模型和类似的东西会更容易,所以您将很明显地看到DAX查询,但我们也会对此进行挑选。

埃里克·卡瓦纳(Eric Kavanagh):是的,这很有趣。 您是否了解发生这种情况的原因? 可能是因为越来越多的人开始使用这种东西,并且因为OLAP当然不是什么新鲜事物,至少已有30多年的历史了?

斯坦·盖格(Stan Geiger):是的 ,这是一种结合,设计多维数据集的一件事是一门艺术。 并且建立了多维数据集以预聚合数据,因此取出数据确实非常快,但是处理多维数据集需要一段时间,因为必须进行所有这些聚合。 然后,硬件变得更便宜,内存也变得更便宜,然后每个人都涌现出列式存储和内存数据库。 而且表格形式可能是最接近传统关系数据库的地方,建立表格模型比使用OLAP容易得多,而且更快。 但是缺点是它驻留在内存中,整个对象驻留在内存中,因此它占用大量内存,并且只有在您请求时数据才会聚合。 因此,尽管说了这么多,我们开始看到更多的表格。

埃里克·卡瓦纳(Eric Kavanagh):这很有趣。 也可能是因为该行业有点扁平化,我的意思是说,我们吸引了越来越多的人与数据进行交互并使用各种工具,当然当您谈论Microsoft时,我认为绝对是这样的情况,您有许多更多的中小企业用户,甚至是一些大型组织,他们正在研究这些东西,可以使用工具,运行查询,而他们可能并不熟悉整个过程以及围绕构建多维数据集的技术,对您来说正确吗? 因为这确实需要一些思考,而且也很昂贵,对吗? 除非您正在使用某些较新的技术,否则构建这些多维数据集需要花费时间和精力。 例如,我们已经与Snowflake等公司进行过交谈,例如,它正在做非常有趣的事情,但是我认为您确实有更多的人在使用这些东西,并且他们可能会使用您刚才描述的内容,即表格格式,而不是正式建立立方体,对吗?

斯坦·盖格(Stan Geiger):是的,我是说,我想是Excel –我相信它是什么时候出现的,Power Pivot –如果您看一下,它实际上是表格形式。 这是构建表格模型的方式。 然后,下一次迭代是,我可以告诉您我建立的表格模型,并将其部署到SQL Server,以便可以与其他人共享。 因此,几乎是Excel的自然扩展。

埃里克·卡瓦纳(Eric Kavanagh):是的,这很重要。 我想说,过去五到七年来我们所看到的仅仅是这些技术用途的巨大扩展,对吗? 坦率地说,微软是其中的先驱,它确实通过分析服务和Power Pivot使电源数据民主化,对吗? 我的意思是,这是该行业的游戏规则改变者,对吗?

Stan Geiger:是的,不,您说的很对。 我的意思是,当我给出更长的演示文稿时,我会有一张幻灯片,该幻灯片展示了从语义模型(即OLAP)到表格的转变。 我想引用微软的话。 他们希望将数据掌握在用户手中,而不仅仅是在IT商店的墙上,他们希望将更多数据掌握在使用它的人们手中。

埃里克·卡瓦纳(Eric Kavanagh):这可以追溯到我展示的第一张非常简单的幻灯片,这是任何组织的基本决策过程,现在-我认为这是一件好事-我们吸引了越来越多的人从组织的整个层次结构中关注事件的发生,将他们的故事放到桌面上,然后使用数据来完成,这就是底线,我的意思是,您可以使用其他方法,但是如果您使用数据来备份故事,你会比那些没有的人有更强的论点,对吗?

Stan Geiger:是的,是的。 是的,那是完全正确的。 我的意思是,这就是现在的原因,以前是“嘿,我需要这份报告”,所以现在我必须通过报告请求,然后再通过这里并获得我的报告,现在我可以坐下来了就在我的办公桌旁,实际上,我可以访问生成的数据,制定业务决策。

埃里克·卡瓦纳(Eric Kavanagh):是的。 您知道,我上周刚从一次会议回来时,有人为商店Target运行相当大的BI环境的家伙发表了歇斯底里的评论,他指的是自助服务分析和自助服务BI,显然如今这是一个大问题。 我确定这是你们IDERA的工作推动着很多活动的原因,因为当您要推出自助服务时,首先最好拥有一个健康的BI环境,对吗? 如果您要让各种各样的人以各种方式提出各种问题,那么您将希望在这里拥有类似此工具的功能,以便能够了解谁在问哪个问题以及在哪里。 正如您所说,我将在这里抛出一些有趣的话:“自助式BI和您自己去F之间有一条很好的界限。”

Stan Geiger:是的。

埃里克·卡瓦纳(Eric Kavanagh):我认为这有点歇斯底里。 但是,您是否看到自助服务趋势确实引起了人们对使用该技术所做的很多了解?

Stan Geiger:是的,因为就像您说的那样,如果您要允许自助式BI,那么您可能会遇到一些性能问题,原因仅在于:A)访问量,参与人数B)格式不正确的查询数量以及您拥有的查询方式。 因此,您确实需要监控环境,以使每个人都可以满意地尝试使用数据,对吧?

埃里克·卡瓦纳(Eric Kavanagh):是的,我认为完全正确。 这是一种祝福和诅咒:人们尝试使用这些东西是件好事,但是再次提醒您,如果您当时没有合适的工具,那么您将成为一个不高兴的露营者,因为在没有这种工具的情况下进行自助服务,在我看来,这只是在寻求麻烦。

Stan Geiger:是的,我的意思是,这类似于我在构建数据仓库时的情况,这就像如果您没有正确设置维度和事实表,然后将其放宽以进行临时报告时,您可能希望爬到岩石。

埃里克·卡瓦纳(Eric Kavanagh):太好了。 是的,再次,这是一个好消息,人们正在使用这些东西,但是我认为我必须相信自助服务将为您所做的事情带来很多活动,因为您正在谈论逐渐增加的活动将这些系统上的张力和压力增加几个数量级。 不仅仅是一个或两个数量级的问题,这就是您真正想拥有一些可见性,并且希望能够看到谁在做什么,在何时何地,如何做以及为什么做。 提出这些问题,然后就如何监视和更改环境以及更改谁有权访问哪些内容的策略做出一些决定,对吗?

Stan Geiger:对。 而且,您也知道,利用也可以使您进入那里,并且就像我提到多维数据集内的对象一样,我可以做些事情来改善这一点,就我构建和设计的方式而言的东西。 因此,不仅要查看事物的性能,还必须能够查看方案和设计在该级别的性能,以便能够对其进行调整,这一点非常重要。 而且它会变得越来越大,因为与Microsoft相比,像Power BI这样的大事现在已经很重要了,所以现在我可以构建自己的仪表板,小部件和其他东西,而不必成为BI开发人员。

埃里克·卡瓦纳(Eric Kavanagh):是的。 是的,它是好东西,无处不在,但是您将需要某种方式来管理该环境,否则将使用户感到不快。 这会导致不愉快的管理,从而导致人们被解雇。 当事情开始下降时,有一个非常明显的多米诺效应,但这是很棒的东西。

所以我有点想念这里的最后五分钟。 罗宾,你有什么问题吗?

罗宾·布卢尔(Robin Bloor):嗯,老实说,我认为这很有趣。 我想到了这样一个事实,我们的环境非常有限,自助服务实际上正在改变世界,而实际上发生了很多事情,实际上是因为进入环境的数据比以前多得多。 唯一的问题是,“因为我们没有太多时间,但是我想问的唯一问题是,您正在解释这样的方式–因为我认为这是一个很好的演示– BI监控工作。 我想知道没有这种东西的人实际上会做什么? 因为这一定是非常困难的,所以您可以在很多方面有所作为,根本原因很好,您不一定总能找到根本原因,但是您可以通过某些事情来找到根本原因您正在看的时候,当您说很多人购买该工具只是为了知道谁在运行什么,并且我的想法在旋转时,因为这就像您不知道谁在运行什么,那么东西失控了。 那么,环境失去控制时会是什么样?

Stan Geiger:我的意思是,您可以自己获得工具中所有的信息,但是您必须编写一堆本地脚本,并且“使数据全部存在,只是您必须知道在哪里得到它,这需要一定的专业知识,对吗? 因此,在没有专门知识水平的环境中,基本上,您会得到的是,嘿,它是上升还是下降? 我真的不知道它是否有效运行,但是它正常了吗? 然后我开始接到电话或打来电话,“嘿,我的报告不在我的收件箱中,怎么回事?”或“我刚刚通过报告服务提交了此报告”,或者他们可能正在分析服务中查询,但花了大约半个小时,而过去只花了30秒,这是怎么回事? 好吧,现在您必须进行消防演习并尝试找出答案,而没有工具的话,这将变得非常困难。

Robin Bloor:好的,对,这对我来说正变得越来越明显,因为您演示了这里实际所用的各个方面。 另一方面,这就像是非常非常原始的级别,如果您没有警报来告诉您发生了问题,那就太昂贵了,您陷入了一个昂贵的境地,试图治愈所发生的事情,因为您直到东西开始严重倒塌才发现,对吧?

斯坦·盖格(Stan Geiger):对,您不知道不知道什么。

埃里克·卡瓦纳(Eric Kavanagh):知道了。 好吧,伙计们,我们已经花了一个小时并在这里进行了更改。 非常感谢我们自己的Robin Bloor,当然还要感谢IDERA Software的朋友Stan Geiger。 他们将进入企业数据世界,实际上,如果你们中有人去那儿,那么您的人也确实会在亚特兰大。 我们的好朋友托尼·肖(Tony Shaw)在举办该会议的四年中做得很好,嘿,旧的又是新的。 都是热门的东西。 希望我们能在那里见到您,如果没有,下周再与我们联系,我们还有很多其他的网络广播。

如果您有任何疑问或建议,或者想在Hot Technologies中学习其他技术,请随时对您的想法感到好奇,并发送电子邮件至,这很适合我。 这样,伙计们,您将告别您。 再次感谢您加入我们,下次我们会与您联系。 照顾自己。 再见。

健康检查:保持企业健康