拥有知识图谱,成就智能运维

早早发表于:2020年01月02日 10:58:08更新于:2020年01月03日 14:44:45

2012年,Google 公司正式提出“知识图谱”这一概念,旨在帮助用户能够更快更简单地发现新的信息和知识。自此以后,“知识图谱”这个词汇频繁出现在江湖之上,或者掀起学术鸿儒相聚一堂的讨论热潮,或者推翻历经几十载的行业理念给予重新定义。人们各抒己见,高谈阔论,一时百家争鸣。

0015e0ee2ae9f19e19f89f36da8e6cd


什么是知识图谱:


为了解决语义理解的困难,Tim Berners-Lee 等人于2001年提出了语义网的概念,由此打开了世界范围内语义网研究的序幕。知识图谱在发展历程中,被人们称为语义网真正意义上的一款杀手级应有产品,极大地推动了语义网、自然语言处理、数据库等相关技术的发展。可以说,语义网的迅猛发展,与知识图谱的诞生,具备着相辅相成的关系。

●知识的数据化:

在互联网时代,人类在与自然和社会的交互中生产了异常庞大的数据,这些数据中包含了大量描述自然界和人类社会客观规律的有用信息,这些信息以图片、声音、文字、视频等各种载体表示和存储。知识便这样蕴含在了数据之中。

●数据的知识化:

 虽然大量的信息都存储在互联网中了,但是它们都是以非结构化的形式存储和传播的,为了让计算机能够处理这些信息,就需要理解这些非结构化形式数据蕴含的语义,分析其中的语义单元之间的关系,从而将其转换成结构化形式。当数据得到系统的结构化后,便转变成了结构化的知识。

0015e0ee2ae9ac392fbb4456e421270

●“两化”构成知识图谱:

通过科学研究发现,图是一种能有效表示数据之间结构的表达形式,因此,把数据中蕴含的知识用图的结构进行形式化表示。数据的结构化与已有的结构化数据进行并和关联,就构成了知识图谱。



知识图谱有什么作用?


知识图谱的先天性优点:

●语义表达能力丰富,能够支持很多知识服务应用任务。知识图谱源于语义网络,是一阶谓词逻辑的简化形式,并在实际应用中通过定义大量的概念和关系类型丰富了语义网络的内涵。一方面,它能够描述概念、事实、规则等各个层次的认知知识;另一方面,它也能够有效组织和描述人类在自然环境和社会活动中形成的海量数据,从而为各类人工智能应用系统奠定知识基础。

●描述形式统一,便于不同类型知识的集成与融合。知识图谱以语义网的资源描述框架规范形式对知识体系和实例数据进行统一表示,并可以通过对齐、匹配等操作对异构知识进行集成和融合,从而支撑更丰富。更灵活的知识服务。

●表示方法对计算机友好,支持高效推理。推理是知识表示的重要目标,传统方法在进行知识推理时复杂度很高,难以快速有效地处理。知识图谱的表示形式以图结构为基础,结合图论相关算法的前沿技术,利用对节点和路径的遍历搜索,可以有效提高推理效率,极大降低计算机处理成本。

●基于图结构的数据格式,便于计算机系统的存储与检索。知识图谱以三元组为基础,使得在数据的标准化方面更容易推广,相应的工具更便于统一。结合图数据库技术以及语义网描述体系、标准和工具,为计算机系统对大规模知识系统的存储与检索提供技术保障。

我们不难发现,知识图谱对于知识服务有重要的支撑作用,能够将传统基于浅层语义分析的信息服务范式提升到基于深层语义的知识服务。因此,学术界和工业界都给予知识图谱高度关注,将其作为新一代人工智能的基础设施。

 

0015e0ee2ae7ebf9aecfd5c78744f8b



智能运维需要知识图谱吗?

 

众所周知,智能运维( Artificial Intelligence for IT Operations,以下简称 AIOps )是 Gartner 在2016年提出的一个运维理念,通过融合 IT 数据,打破数据信息孤岛、对监控、自动化、服务台进行支持,使得 IT 能够更好地支撑业务,利用大数据技术以及机器学习技术,回答以前很多单从业务口径,或者单从 IT 口径无法回答的问题。如对于运营商而言,哪种用户转化率较高。AIOps 以创造商业价值为导向,对 IT 运营以及业务运营产生持续洞察,为 DevOps 提供持续反馈,加快企业在竞争日趋激烈市场环境中,数字化转型的步伐。

0015e0ee2ae82a37293310b82e3c28b

智能运维需要依托人工智能技术,那么身为人工智能基础设施的知识图谱自然不可或缺。我们通过实体举例,来一窥其中究竟。

从全球AIOps厂商来看,目前主要有两大最热门的流派:

1. 时序指标流派:选择这个路线的前身大多都是做监控系统的,比如国外的 Appdynamic 、Newrelic 、Datadog,国内的 OneAPM 、听云、云智慧等,他们利用时序数据作为 AIOps 的数据源,落地的场景多为单指标时序预测、多指标时序预测、单指标异常检测、多指标异常检测。

2.事件流派:选择这个路线的厂商前身大多都是做日志分析的,比如国外的 Splunk 、国内的日志易、擎创等。他们采用文本型数据作为 AIOps 平台的数据源,落地场景集中在事件降噪、事件发现、事件抑制等领域。当然也会尝试做一些高级功能,例如事件根因分析,异常事件发现、事件解决方案推荐等。

我们可以看出无论采用哪种方式做 AIOps,随着落地场景的不断深入,就会遇到一些瓶颈。比如对于用时序指标来做 AIOps 的厂商而言,由于用户的数据种类繁多,特征各异,是不可能只使用某种单一算法来解决的。因此我们可以利用知识图谱描述形式统一,便于不同类型知识的集成与融合的特点,在实际生产中,快捷地将时序指标和算法精准地结合起来,大幅提升效率。

再比如对于日志分析厂商来说,一个典型场景是通过日志数据流来做事件根因分析,知识图谱基于图结构的数据格式,便于计算机系统的存储与检索,能够快速提供生产系统里面应用和组件之间的关联和承载关系,使出来的结果数据更加精确,更为精准。

因为知识图谱丰富的语义表达能力,和对计算机友好的表示方法,我们可以建立企业自己的知识图谱,帮助企业不断收集基于实际生产环境的运维知识沉淀,例如硬件属性信息,应用拓扑关系,系统配置信息等。进一步看到数据背后的真实含义和相互关系。

0015e0ee2ae7b560e49f9a66d7b6173

因此,所有智能运维服务商,都应该在现在,或者未来搭建自己的知识图谱。

没有知识图谱,智能运维之路事倍功半,难有建树;拥有知识图谱,既能完善现有体系,又能百尺竿头、更进一步。

基础设施的搭建,可早不可晚,愿业内同仁早早瞩目,抓住时代机遇,抢占智能运维先机,共筑AIOps的辉煌之路。