Alibaba Cloud Elasticsearch Optimization and Application Practices

11月16日 Elastic 中文社区深圳 Meetup 上，欧阳楚才将为大家分享 阿里云Elasticsearch内核优化与应用实践。借此机会，我们邀请到他聊聊选ES在阿里云实践过程中遇到的最大业务挑战和解决方案，以及他在高并发架构设计方面的心得。

分享嘉宾

欧阳楚才

搜索技术专家 @阿里巴巴

在阿里巴巴负责Elasticsearch云服务研发工作，有比较丰富的搜索引擎研发经验，熟悉Lucene、Elasticsearch等开源技术，擅长高并发系统架构设计。

Q1、ES 在阿里云实践中遇到最大的业务挑战是什么？如何解决的？

A： 阿里云Elasticsearch最大的业务挑战是保障线上服务稳定。通过支持多可用区部署，避免单机房异常导致服务不可用。通过ECS本地盘、ESSD云盘提供高IOPS的存储，避免IO瓶颈导致查询响应慢，使用ECS本地盘也可以降低存储成本。通过ElasticFlow离线构建索引，避免写入和查询争抢资源导致查询响应变慢。通过智能诊断服务Eyou定期检查Elasticsearch服务健康状况，及时发现系统存在的隐患。

Q2、您在高并发系统架构设计方面有哪些心得为大家分享？

A： 结合业务场景做容量规划，评估系统需要支撑的写入TPS、查询QPS、最大响应延迟时间。对于Elasticsearch而言，通常最大的瓶颈在磁盘IO，尽量使用SSD盘高性能存储设备。为了系统稳定，单个节点Elasticsearch的JVM内存尽量不要超过32G，单节点存储数据量尽量不要超过5TB，高并发搜索场景推荐单节点配置16核CPU、64G内存、2TB SSD盘。Elasticsearch集群节点数不要超过300个，数据量大的集群根据业务拆分多个集群，配置跨集群搜索。系统上线前做全链路压测，找到系统瓶颈。生产环境开启慢查询日志，分析bad case。

Q3、结合您的实践经历，对 ES 目前的生态发展、应用以及未来有什么样的看法？

A： Elasticsearch是开源的分布式搜索和分析引擎，开箱即用、弹性扩展方便。从早期的ELK到现在的Elastic技术栈，版本迭代持续加速，Elasticsearch的性能、扩展性、相关性不断优化。Elasticsearch最开始设计用于搜索引擎，后来不断被应用到日志分析、数据库加速、安全风控等领域，通过插件扩展机制可以用于图像、视频等非结构化数据分析。

Q4、您对本次技术沙龙活动的主题分享有什么期待？

A： 期待能看到更多Elasticsearch应用案例，跟大家一起交流最佳实践。

Q5、您对 Elastic 中文社区发展有什么意见或建议呢？

A： Elastic中文社区之前组织过翻译《Elasticsearch权威指南》中文文档，当时的Elasticsearch版本为2.x，现在的Elasticsearch7.x版本在API、功能方面已经有很大变化，建议组织志愿者更新文档。

11月16日 Elastic 中文社区深圳 Meetup 火热报名中

主题分享： 《阿里云Elasticsearch内核优化与应用实践》欧阳楚才

主题摘要： Elasticsearch在阿里云上服务了大量的客户，同时也面临着巨大的业务挑战。阿里云ES在内核引擎、中文分词、向量检索、容器化部署等方面做了一系列开发工作，应用于文档、日志、图像、视频的检索与分析。