1. 软市首页
  2. 行业观察

ElasticSearch 个人笔记

• 行业观察

文章目录

  • ElasticSearch
    • **聊聊Doug Cutting**
    • 一、ElasticSearch概述
      • 1、ElasticSearch简介
      • 2、Solr简介
      • 3、Lucene简介
      • 4、ElasticSearch与Solr比较
    • 二、ElasticSearch安装
      • 2.1、Windows下安装
      • 2.2、安装可视化界面
      • 2.3、了解ELK
      • 2.4、安装kibana
    • 三、ElasticSearch核心概念
      • 3.1、概述
      • 3.2、文档
      • 3.3、类型
      • 3.4、索引
      • 3.5、倒排索引
    • 四、IK分词器(elasticsearch插件)
      • 4.1、IK分词器
    • 五、Rest风格说明
      • 5.1、基本Rest命令说明：
      • 5.2、关于索引的基本操作
      • 5.3、关于文档的基本操作（重点）
        • 基本操作
        • 复杂操作
    • 六、Springboot集成
      • 6.1、导入依赖
      • 6.2、找对象
      • 6.3、分析这个类中的方法
      • 6.4、索引的增、删、是否存在
      • 6.5、文档的操作
    • 七、实战
      • 7.1、搭建项目
      • 7.2、爬虫
      • 7.3、前后端分离
      • 7.4、搜索高亮

ElasticSearch

参考视频：https://www.bilibili.com/video/BV17a4y1x7zq

聊聊Doug Cutting

1998年9月4日，Google公司在美国硅谷成立。正如大家所知，它是一家做搜索引擎起家的公司。

ElasticSearch 个人笔记

Lucene是用JAVA写成的，目标是为各种中小型应用软件加入全文检索功能。因为好用而且开源（代码公开），非常受程序员们的欢迎。

早期的时候，这个项目被发布在Doug Cutting的个人网站和SourceForge（一个开源软件网站）。后来，2001年底，Lucene成为Apache软件基金会jakarta项目的一个子项目。

ElasticSearch 个人笔记

Nutch是一个建立在Lucene核心之上的网页搜索应用程序，可以下载下来直接使用。它在Lucene的基础上加了网络爬虫和一些网页相关的功能，目的就是从一个简单的站内检索推广到全球网络的搜索上，就像Google一样。

Nutch在业界的影响力比Lucene更大。

大批网站采用了Nutch平台，大大降低了技术门槛，使低成本的普通计算机取代高价的Web服务器成为可能。甚至有一段时间，在硅谷有了一股用Nutch低成本创业的潮流。（大数据！）

随着时间的推移，无论是Google还是Nutch，都面临搜索对象“体积”不断增大的问题。

尤其是Google，作为互联网搜索引擎，需要存储大量的网页，并不断优化自己的搜索算法，提升搜索效率。

ElasticSearch 个人笔记

还是2004年，Google又发表了一篇技术学术论文，介绍自己的MapReduce编程模型。这个编程模型，用于大规模数据集（大于1TB）的并行分析运算。

第二年（2005年），Doug?Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。

ElasticSearch 个人笔记

这里要补充说明一下雅虎招安Doug的背景：2004年之前，作为互联网开拓者的雅虎，是使用Google搜索引擎作为自家搜索服务的。在2004年开始，雅虎放弃了Google，开始自己研发搜索引擎。所以。。。

加盟Yahoo之后，Doug?Cutting将NDFS和MapReduce进行了升级改造，并重新命名为Hadoop（NDFS也改名为HDFS，Hadoop Distributed File?System）。

这个，就是后来大名鼎鼎的大数据框架系统——Hadoop的由来。而Doug?Cutting，则被人们称为Hadoop之父。

ElasticSearch 个人笔记

我们继续往下说。

还是2006年，Google又发论文了。

这次，它们介绍了自己的BigTable。这是一种分布式数据存储系统，一种用来处理海量数据的非关系型数据库。

Doug?Cutting当然没有放过，在自己的hadoop系统里面，引入了BigTable，并命名为HBase。

ElasticSearch 个人笔记

2008年1月，Hadoop成功上位，正式成为Apache基金会的顶级项目。

同年2月，Yahoo宣布建成了一个拥有1万个内核的Hadoop集群，并将自己的搜索引擎产品部署在上面。

7月，Hadoop打破世界纪录，成为最快排序1TB数据的系统，用时209秒。

回到主题

在学习ElasticSearch之前，先简单了解一下Lucene：

  • Doug Cutting开发

  • 是apache软件基金会4 jakarta项目组的一个子项目

  • 是一个开放源代码的全文检索引擎工具包

  • 不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）

  • 当前以及最近几年最受欢迎的免费Java信息检索程序库。

Lucene和ElasticSearch的关系：

  • ElasticSearch是基于Lucene 做了一下封装和增强

一、ElasticSearch概述

Elaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据;本身扩展性很好，可以扩展到上百台服务器，处理PB级别(大数据时代）的数据。es也使用java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是 通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单 。

据国际权威的数据库产品评测机构DB Engines的统计，在2016年1月，ElasticSearch已超过Solr等，成为排名第一的搜索引擎类应用。

历史

多年前，一个叫做Shay Banon的刚结婚不久的失业开发者，由于妻子要去伦敦学习厨师，他便跟着也去了。在他找工作的过程中，为了给妻子构建一个食谱的搜索引擎，他开始构建一个早期版本的Lucene。

直接基于Lucene工作会比较困难，所以Shay开始抽象Lucene代码以便lava程序员可以在应用中添加搜索功能。他发布了他的第一个开源项目，叫做“Compass”。

后来Shay找到一份工作，这份工作处在高性能和内存数据网格的分布式环境中，因此高性能的、实时的、分布式的搜索引擎也是理所当然需要的。然后他决定重写Compass库使其成为一个独立的服务叫做Elasticsearch。

第一个公开版本出现在2010年2月，在那之后Elasticsearch已经成为Github上最受欢迎的项目之一，代码贡献者超过300人。一家主营Elasticsearch的公司就此成立，他们一边提供商业支持一边开发新功能，不过Elasticsearch将永远开源且对所有人可用。

Shay的妻子依旧等待着她的食谱搜索……

谁在使用：

1、维基百科，类似百度百科，全文检索，高亮，搜索推荐/2（权重，百度！）

2、The Guardian (国外新闻网站) ，类似搜狐新闻，用户行为日志(点击，浏览，收藏，评论) +社交网络数据(对某某新闻的相关看法) ，数据分析，给到每篇新闻文章的作者，让他知道他的文章的公众反馈(好，坏，热门，垃圾，鄙视，崇拜)

3、Stack Overflow (国外的程序异常讨论论坛) ，，IT问题，程序的报错，提交上去，有人会跟你讨论和回答，全文检索，搜索相关问题和答案，程序报错了，就会将报错信息粘贴到里面去，搜索有没有对应的答案

4、GitHub (开源代码管理)，搜索 上千亿行代码

5、电商网站，检索商品

6、日志数据分析，logstash采集日志，ES进行复杂的数据分析，ELK技术，elasticsearch+logstash+kibana

7、商品价格监控网站，用户设定某商品的价格阈值，当低于该阈值的时候，发送通知消息给用户，比如说订阅牙膏的监控，如果高露洁牙膏的家庭套装低于50块钱，就通知我，我就去买

8、BI系统，商业智能， Business Intelligence。比如说有个大型商场集团，BI ，分析一下某某区域最近3年的用户消费 金额的趋势以及用户群体的组成构成，产出相关的数张报表， **区，最近3年，每年消费金额呈现100%的增长，而且用户群体85%是高级白领，开一个新商场。ES执行数据分析和挖掘， Kibana进行数据可视化

9、国内:站内搜索(电商，招聘，门户，等等)，IT系统搜索(OA，CRM，ERP，等等)，数据分析(ES热门的一一个使用场景)

ES和 solr 的差别

1、ElasticSearch简介

Elasticsearch是一个实时分布式搜索和分析引擎。 它让你以前所未有的速度处理大数据成为可能。

它用于 全文搜索、结构化搜索、分析以及将这三者混合使用:

维基百科使用Elasticsearch提供全文搜索并高亮关键字，以及输入实时搜索(search-asyou-type)和搜索纠错(did-you-mean)等搜索建议功能。

英国卫报使用Elasticsearch结合用户日志和社交网络数据提供给他们的编辑以实时的反馈，以便及时了解公众对新发表的文章的回应。

StackOverflow结合全文搜索与地理位置查询，以及more-like-this功能来找到相关的问题和答案。

Github使用Elasticsearch检索1300亿行的代码。

但是Elasticsearch不仅用于大型企业，它还让像DataDog以及Klout这样的创业公司将最初的想法变成可扩展的解决方案。

Elasticsearch可以在你的笔记本上运行，也可以在数以百计的服务器上处理PB级别的数据。

Elasticsearch是一个基于Apache Lucene?的开源搜索引擎。无论在开源还是专有领域， Lucene可被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。

但是， Lucene只是一个库。 想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是， Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。

Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。

2、Solr简介

Solr是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化

Solr可以独立运行，运行在letty. Tomcat等这些Selrvlet容器中 ， Solr 索引的实现方法很简单，用POST方法向Solr服务器发送一个描述Field及其内容的XML文档， Solr根据xml文档添加、删除、更新索引。Solr 搜索只需要发送HTTP GET请求，然后对Solr返回xml、json等格式的查询结果进行解析，组织页面布局。

Solr不提供构建UI的功能， Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。

solr是基于lucene开发企业级搜索服务器，实际上就是封装了lucene.

Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交-定格式的文件，生成索引;也可以通过提出查找请求，并得到返回结果。

3、Lucene简介

Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言)。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在Java开发环境里Lucene是一个成熟的免费开源工具。就其本身而言，Lucene是当前以及最近几年最受欢迎的免费java信息检索程序库。人们经常提到信息检索程序库，虽然与搜索引擎有关，但不应该将信息检索程序库与搜索引擎相混淆。

Lucene是一个全文检索引擎的架构。那什么是全文搜索引擎/p>

全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等，国内著名的有百度(Baidu )。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主)而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，因此他们是真正的搜索引擎。

从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序( Indexer )，俗称”蜘蛛” ( Spider )程序或”机器人” ( Robot )程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的7家引擎;另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。

4、ElasticSearch与Solr比较

  1. 当单纯的对已有数据进行搜索时，Solr更快

ElasticSearch 个人笔记
  1. 随着数据量的增加，Solr的搜索效率会变得更低，而ElasticSearch却没有明显的变化

加粗样式

ElasticSearch vs Solr 总结

1、es基本是开箱即用(解压就可以用!) ，非常简单。Solr安装略微复杂一丢丢!

2、Solr 利用Zookeeper进行分布式管理，而Elasticsearch 自身带有分布式协调管理功能 。

3、Solr 支持更多格式的数据，比如JSON、XML、 CSV ，而Elasticsearch仅支持json文件格式。

4、Solr 官方提供的功能更多，而Elasticsearch本身更注重于核心功能，高级功能多有第三方插件提供，例如图形化界面需要kibana友好支撑

5、 Solr 查询快，但更新索引时慢(即插入删除慢) ，用于电商等查询多的应用;

  • ES建立索引快(即查询慢) ，即实时性查询快，用于facebook新浪等搜索。

  • Solr是传统搜索应用的有力解决方案，但Elasticsearch更适用于新兴的实时搜索应用。

6、Solr比较成熟，有一个更大，更成熟的用户、开发和贡献者社区，而Elasticsearch相对开发维护者较少，更新太快，学习使用成本较高。

二、ElasticSearch安装

官网：https://www.elastic.co/cn/elasticsearch/

JDK8，最低要求

使用Java开发，必须保证ElasticSearch的版本与Java的核心jar包版本对应！（Java环境保证没错）

ElasticSearch 个人笔记

下载地址：https://www.elastic.co/cn/downloads/elasticsearch

历史版本下载：https://www.elastic.co/cn/downloads/past-releases/

官网下载巨慢，可以使用华为云镜像

  • ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/=N&O=D
  • logstash: https://mirrors.huaweicloud.com/logstash/=N&O=D
  • kibana: https://mirrors.huaweicloud.com/kibana/=N&O=D
  • elasticsearch-analysis-ik: https://github.com/medcl/elasticsearch-analysis-ik/releases
  • cerebro: https://github.com/lmenezes/cerebro/releases

2.1、Windows下安装

1、解压即可（尽量将ElasticSearch相关工具放在统一目录下）

ElasticSearch 个人笔记

双击启动

注意：如果启动后闪退，可能是文件目录有中午或者空格造成的

ElasticSearch 个人笔记

2.2、安装可视化界面

elasticsearch-head

使用前提：需要安装nodejs

下载地址：https://github.com/mobz/elasticsearch-head

ElasticSearch 个人笔记

发现存在跨域问题

开启跨域（在elasticsearch解压目录config下elasticsearch.yml中添加）

注意配置文件中不要带注释，可能会闪退

重启elasticsearch

ElasticSearch 个人笔记

ElasticSearch 个人笔记

ElasticSearch 个人笔记

2.4、安装kibana

Kibana是一个针对ElasticSearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana ，可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板( dashboard )实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编码或者额外的基础架构，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

官网：https://www.elastic.co/cn/kibana/

ElasticSearch 个人笔记

版本需要与ElasticSearch版本对应

华为云镜像： https://mirrors.huaweicloud.com/kibana/=N&O=D

安装

解压即可（尽量将ElasticSearch相关工具放在统一目录下）

启动

进入到 kibanabin 目录下，双击启动

ElasticSearch 个人笔记

开发工具

（Postman、curl、head、谷歌浏览器插件）

ElasticSearch 个人笔记

重启kibana

汉化成功

ElasticSearch 个人笔记

物理设计：

elasticsearch在后台把每个索引划分成多个分片。每个分片可以在集群中的不同服务器间迁移

一个人就是一个集群! ，即启动的ElasticSearch服务，默认就是一个集群，且默认集群名为elasticsearch

ElasticSearch 个人笔记

一个集群至少有一 个节点，而一个节点就是一-个elasricsearch进程 ，节点可以有多个索引默认的，如果你创建索引，那么索引将会有个5个分片( primary shard ，又称主分片)构成的，每一个主分片会有-一个副本( replica shard ，又称复制分片）

ElasticSearch 个人笔记

如果要搜索含有python标签的文章，那相对于查找所有原始数据而言，查找倒排索引后的数据将会快的多。只需要查看标签这一栏，然后获取相关的文章ID即可。完全过滤掉无关的所有数据，提高效率!

elasticsearch的索引和Lucene的索引对比

在elasticsearch中，索引(库)这个词被频繁使用，这就是术语的使用。在elasticsearch中 ，索引被分为多个分片，每份分片是-个Lucene的索引。所以一个elasticsearch索引是由多 个Lucene索引组成的。别问为什么，谁让elasticsearch使用Lucene作为底层呢!如无特指，说起索引都是指elasticsearch的索引。

接下来的一切操作都在kibana中Dev Tools下的Console里完成。基础操作!

四、IK分词器(elasticsearch插件)

4.1、IK分词器

中文分词器

分词：即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一一个匹配操作，默认的中文分词是将每个字看成一个词（不使用用IK分词器的情况下），比如“我爱狂神”会被分为”我”，”爱”，”狂”，”神” ，这显然是不符合要求的，所以我们需要安装中文分词器ik来解决这个问题。

IK提供了两个分词算法: (ik_smart和ik_max_word )，其中ik_smart为最少切分，ik_max_word为最细粒度划分!

1、下载

版本要与ElasticSearch版本对应

下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

2、安装

ik文件夹是自己创建的

解压放入到es对应的plugins下即可

3、重启观察ES，发现ik插件被加载了

ElasticSearch 个人笔记

5、使用kibana测试

查看不同的分词效果

ik_smart：最少切分

来源：渣渣苏

声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！

上一篇 2022年7月21日
下一篇 2022年7月21日

相关推荐

首页
软件超市
企服市场
会员中心