30分钟全方位了解阿里云Elasticsearch(附公开课完整视频)

  • 时间:
  • 浏览:2

摘要:

阿里云Elasticsearch提供100%兼容开源Elasticsearch的功能,以及Security、Machine Learning、Graph、APM等商业功能,致力于数据分析、数据搜索等场景服务。与开源社区眼前 商业公司Elastic战略企业相互合作,为客户提供企业级权限管控、安全监控告警、自动报表生成等场景服务。本文中,阿里云产品专家沐泽为亲戚亲戚朋友介绍了阿里云Elasticsearch产品的相关情况报告。

数据会从RDS等数据存储中过来,通过Flume、EMR、MaxCompute等下游计算引擎进行加工和除理,完成画像机会标签的工作,最后索引到Elasticsearch中去。阿里云Elasticsearch是兼容整个大数据生态的,然后 能助 够无缝地对接整个阿里云的产品生态,进而非常方便地完成数据的除理工作。此外,还还能能助 通过Kibana还能能助 帮助用户更好地实现数据的可视化管理。

阿里云Elasticsearch提供了全托管的Elasticsearch服务,然后 100%兼容开源版本,然后 对于内核进行了针对性优化,提供了商业功能(原‘X-Pack’),即开即用,高可用服务,弹性伸缩,按需付费。在下图中,在阿里云Elasticsearch的可靠性、安全性、系统托管等方面与友商的产品进行了对比。在可靠性方面,阿里云Elasticsearch具有99.9%的数据可靠性,然后 会定时地向OSS进行数据备份,方便用户在数据跳出 大问题的前一天进行恢复。此外,通过同城多活,提供了较强的容灾能力。在开源差异要素,阿里云Elasticsearch也做了少许的工作。在内核性能优化要素,不仅做了存储与计算分离,还提供了ECS有一种的调优。在Index Build服务要素,Elasticsearch有一种支持高并发的数据写入加速,曾经会使得数据的写入和查询相互影响,阿里云Elasticsearch则通过Index Build服务离线地构建索引,并将原生索引切加进比较小的片并与线上索引进行Merge,曾经就除理了用户线上集群的I/O开销,在一定场景下保障了高并发写入场景下的查询服务的稳定性。在智能运维方面,阿里云Elasticsearch提供了EU智能运维系统,能助 帮助用户运维和监控集群然后 进行智能分析,方便用户更好地了解集群的健康情况报告,然后 还提供了预警以及改进建议等功能。此外,阿里云Elasticsearch近期还集成了阿里达摩院的NLP分词器和分析器,能助 更好地完成业务的分析和检索任务。在商业插件要素,X-Pack服务有一种集成在Elasticsearch和Kibana中间的。以往曾经的商业版插件包对于用户而言,前要付费使用,阿里云Elasticsearch通过曾经的法律措施为用户提供了或多或少或多或少功能,如认证授权、权限管理、报表可视化以及机器学习等。总体来看,相比友商的ES方案以及用户自建ES,阿里云Elasticsearch的价格也具有较强的优势,然后 具有更加富足的产品能力,同去也具有比较高的性价比。

这里介绍一个实际案例,这是阿里云为一家信用卡结算公司设计的金融持久化数据库审计方案。该客户处于金融数据监管需求,然后 数据前要存储的时间较长,然后 造成数据量非常大。然后 ,阿里云提供了金融持久化数据库审计方案中为用户提供了一个三层的数据存储方案,用户近期的Hot Data会在第一层ECS存储要花费一个月的时间,当变成Warm Data机会更老的数据前一天,就会存储到下层的ECS机会OSS之上,曾经一方面保障了用户在使用阿里云Elasticsearch时的数据查询时效性,使得其不需要被大数据量所影响,另外一方面也大大降低了用户的存储成本。

2019年阿里云云栖大会上,Elasticsearch眼前 的商业公司Elastic与阿里云Elasticsearch取舍战略企业相互合作升级,在100%兼容开源的基础上,完成了ELK的完整版生态云上闭环,欢迎开通使用。

日志数据的来源有或多或少或多或少,比如日志文件、数据库、传感器以及Web API等,而利用哪些地方地方日志数据实现日志搜索和日志分析会处于或多或少或多或少常见的需求,主要包括五点,即集中分发与存储、日志搜索、分析聚合及可视化、安全、角色管理以及可伸缩性。

对于阿里云Elasticsearch产品的输出形式而言,主要在公共云和专有云这俩个多方面。在公共云上,阿里云Elasticsearch支持了金融云、零售云以及菜鸟云,然后 在日本站和国际站进行了售卖。在专有云方面,8月底的前一天阿里云Elasticsearch也提供了轻量PaaS独立输出,然后 还能能助 在企业版On ECS和企业版On物理机上进行部署。

这里针对于日志分析场景进行更进一步的介绍。在日志分析方面,会分发用户在网站/游戏/应用内的行为日志数据,分为离线和在线一个要素分别投递给Hadoop及Elasticsearch,以满足用户(离线要素)标签、画像的加工,和(在线要素)用户行为实时统计和情况报告查询。阿里云Elasticsearch在日志分析场景下提供了或多或少或多或少对应的能力,面向日志分析场景,提供聚合搜索、实时查询、增量数据快速索引归档等分析必备能力。除此之外,阿里云Elasticsearch基于X-Pack服务提供了基于LBS的地理位置搜索、可视化分析报表、数据可视化展现等高级分析能力。进一步还能能助 实现用户留存分析,浏览路径分析,基于地理围栏的用户画像,用户标签体系等数据查询、统计以及分析场景。

除此之外,在保证容灾方面,用户的数据节点会定时地向OSS做快照备份,当用户的数据跳出 大问题的前一天,还能能助 快速地通过OSS实现数据恢复。整体的数据存储类型支持高效云盘、SSD云盘以及本地磁盘。在存储计算分离方面,阿里云Elasticsearch近期也在内核方面进行了优化。有一种Elasticsearch索引为了方便存储前要做分片,为了提升查询强度,每个分片会有多个副本,然后 曾经属于用空间换时间的法律措施,然后 会造成少许的数据冗余,为用户带来很高的存储成本。另外一方面,为了提升查询强度,用户在写入数据的前一天,就会增加更多的内存开销,进而造成写入强度较慢。在曾经的背景之下,阿里云Elasticsearch做了存储与计算分离的内核优化,将用户数据的多个副本进行分片映射到同一块的物理介质之上,与原生的ES相比,阿里云Elasticsearch的存储成本降低要花费100%,数据写入实时性能提升70%,Replica/Shard变更性能提升99%,以上哪些地方地方能力有的是开源版本的ES所不具备的。

目前,阿里云Elasticsearch除了美东、英国和迪拜一个区域还这样 部署售卖之外,在全球范围内的或多或少阿里云数据中心都机会部署售卖了,未来也会在更多的区域进行开放。

在产品架构要素,阿里云Elasticsearch部署在ECS网段,要花费购买了少许的ECS服务器拉起了ES镜像。对用户而言,还能能助 购买或多或少或多或少的ES集群,每个ES集群中不会有或多或少或多或少的Node,每个Node或多或少或多或少一台ECS。整个ECS部署在系统方VPC内,然后 支持跨可用区的同城容灾能力,也或多或少或多或少说在同一个区域下面,还能能助 在不同的可用区内部内部结构署服务,通过阿里云VPC和用户VPC之间的IP映射使得每个集群的Node分布在不同的可用区之内。

基于以上的目标能力,阿里云Elasticsearch也具有非常富足的目标场景,主要集中在IT运维、信息检索以及日志分析等方面。在IT运维方面,用户还能能助 做Metric监控、网络日志分析等相关工作。信息检索方面,不仅支持APP检索,能助 能助 用于数据库加速以及聚合搜索等场景。在日志分析方面,还能能助 用于Web日志分析、风控/审计/分析、用户行为分析/用户画像以及BI分析和Ad-hoc等场景下。最后,阿里云Elasticsearch的主要购买法律措施或多或少或多或少包年包月预付费和按量后付费有一种。

Elasticsearch(简称ES)是2010年推出的一款开源产品,本质上是一个实时的分布式实时搜索与分析引擎。随着哪些地方地方年来Elasticsearch生态的演进,逐渐发展成为ELK即Elasticsearch、Logstash、Kibana的生态。Elasticsearch属于搜索引擎,Logstash负责数据的分发、转化以及输出,Kibana则提供了强大的数据可视化功能。对于Elasticsearch而言,其在DB-Engines中的开源数据库排行榜中位列第一。还能能助 看出,Elasticsearch受到了广泛的认可,然后 有的是少许的开发者正在使用。

点击《100分钟全方位了解阿里云Elasticsearch》观都看整视频