【ES】1.ElasticSearch 介绍与基本查询

作者: 小王爱写BUG | 来源:发表于2020-07-21 08:37 被阅读0次

Day102-ELK-ES集群
ElasticSearch 查询基本概念
elk日志系统-安装配置
Elasticsearch-6.2.4 安装（2）-配置
ES7学习笔记（十一）与SpringBoot结合
16.ES的查询
Elasticsearch SQL查询 --- 2022-04-
Elasticsearch安装和使用
ElasticSearch介绍和基本概念
golang elasticsearch 查询教程 --- 20

1.什么是全文检索

全文检索是计算机程序通过扫描文章中每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时根据建立的索引查找，类似于通过字典的检索字表查字的过程。
特点：

只处理文本，不处理语义
搜索英文不区分大小写
结果列表有相关度排序

2.什么是ElasticSearch

基于Luence的全文检索服务器。但是Lucene的API相对复杂，很难集成到实际的应用中，但是ES提供了简单易用的RestFul的API，开发者可以使用简单的RestFul API
开发相关的搜索功能，从而避免lucene的复杂性。

3.应用场景

ES主要是以轻量级JSON为数据存储格式，与MongoDB类似，但是读写性能更优，同时也支持地理位置查询，还方便地理位置和文本的混合查询，在统计、日志类数据存储和分析、可视化这方面是引领者。
国外：维基百科，Stack Overflow，GitHub
国内：百度，阿里巴巴，腾讯等
ELK（ElasticSearch，Logstash，kibana）

4.ES安装

# 环境准备
centos7
jdk1.8
elasticsearch

centos安装JDK
【Linux】Linux基础入门

# 防火墙关闭命令
systemctl stop firewalld
systemctl disable firewalld
# 创建组，创建用户改密码
groupadd es
useradd wzd -g es
passwd wzd
# 新建ssh连接 用户名wzd
# 登录后上传es压缩包
tar -zxvf elasticsearch-
# cd 到bin目录下执行
./elasticsearch
# 克隆新窗口 执行
curl http://127.0.0.1:9200

# cd config 开启远程连接权限
vim elasticsearch.yml
# 开启远程连接
network.host:0.0.0.0
# es7 需要开启节点等多个注释
port hosts nodes等
#重启错误解决三个错误，使用root用户修改
vim /etc/security/limits.conf
# 文件的最后添加：
* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096
# exit登出，重新登录测试配置是否生效
 ulimit -Hn
 ulimit -Sn
 ulimit -Hu
 ulimit -Su
# 修改第二个配置文件，将`*`改成登录的用户名`es`
vim /etc/security/limits.d/20-nproc.conf
# 修改第三个配置文件
vim /etc/sysctl.conf
# 加入：
vm.max_map_count=655360
# 验证：sysctl -p
# 将es和root退出重新登录。成功

es在线安装.png

5.ES中的基本概念

索引index
类型type(es 6.x)
文档document
映射mapping

对比Solr和ES
实时搜索ES较好，是一个接近实时的搜索平台
类比SQL数据库：
index索引库=>type类型表=>document文档=>field字段

数据库与ES分布式索引库的类比以及版本差别

6.安装kibana

7.索引相关操作

创建索引(不能有大写字母)
PUT /users
PUT /12users
查看索引(?v显示索引的标题名)
GET /_cat/indices?v
health yellow:有可能表示副本为多个但是都在一台机器上
删除索引
DELETE /users
DELETE /*

7.类型操作

7.1创建索引时创建类型

mappng type：text，keyword，date，integer，long，double，boolean，ip

PUT users/_doc/1
{
    "mappings" :{
            "properties" : {
                "id" : {
                    "type" : "keyword"
                },
                "name" : {
                    "type" : "text"
                },
                "age" : {
                    "type" : "integer"
                }
            }
     }
}

插入.png

7.2 查看索引映射信息

GET /users/_mapping

7.3 插入document

# 插入数据
PUT /users/user/1
{
  "id": 1,
  "name" : "xiaowang",  
  "age" : "20"
}
# 插入数据，不指定id返回_id
POST /users/user/1
{
  "name" : "xiaowang",  
  "age" : "20"
}
#根据id查看插入的数据：
GET /users/user/1
#根据id删除的数据：
DELETE /users/user/1

7.4 更新文档信息

7.4.1 不保留原始数据

POST /users/user/1
{
    "name" : "xiaoyang"
}

7.4.2 保留原始数据

POST /users/user/1/_update
{
  "doc" : {
    "name" : "xiaoyang",
    "age" : 18,
    "school" : "sdnu"
  }
}

school会动态的生成类型

7.4.3 脚本更新script

POST /users/user/1/_update
{
  "script" : "ctx._source.age += 1"
}
# ctx:context

8.批量操作

PUT /user/_bulk
{"index":{"_id":"5"}}
    {"name":"王小王"，"age":20,"bir":"2000-12-12","content":"今天又是认真工作的一天，好开心！"}
{"delete":{"_id":"4"}}
{"update":{"_id":"1"}}
    {"doc":{"name":"小王吧"}}

# 有操作出错不影响其他操作
# 弱化事务
# es默认分词器
GET /_analyze
{
    "text":"hello world!"
}

9.ES中的高级检索(Query)

ES提供两种检索方式：通过URL参数进行搜索，通过DSL(Domain Specified Language)进行搜索。
GET /index/type/_search
GET /index/type/_search{}

9.1 第一种方式Query String的方式

查询所有文档：
GET /index/type/_search?q=*
查询所有文档按年龄排序分页5查第3页：
GET /index/type/_search?q=*&sort=age:desc&size=5&from=2
分页5查第3页查询指定参数：
GET /index/type/_search?q=*&sort=age:desc&size=5&from=2&_source=name

http://服务器ip:9200/op_m*/_search?q=ip:终端ip AND index:6&sort=timestamp:desc

9.2 DSL查询

查询所有

GET /users/user/_sear/ch
{
  "query" : {
      "match_all" : {}
  }
}

查询所有并排序 sort，分页

GET /users/user/_search
{
  "query" : {
      "match_all" : {}
  },
  "size" : 5,
  "from" : 2,
  "sort" : [
  {
       "age" : {
          "order" : "desc"
      }
  },
  {
       "id" : {
          "order" : "desc"
      }
  },
  ]
}

注意排序字段不能为text类型，因为text首先会被分词。keyword支持排序

查询所有指定字段 _source

GET /users/user/_search
{
  "query" : {
      "match_all" : {}
  },
  "_source" : ["name","age"]
}

查询结果解释

查询 term (以下使用es7.x语法，忽略了type)

GET /user/_search
{
  "query" : {
    "term" : {
        "name" : {
            "value" : "xiaowang"
        }
  }
}

范围查询 range gte大于等于，gt大于

GET /user/_search
{
  "query" : {
    "range" : {
      "age" : {
          "gte" : 20,
          "lte" : 30 
       }
    }
  }
}

前缀查询 perfix

GET /user/_search
{
  "query" : {
    "perfix" : {
        "name" : {
            "value" : "xiao"
        }
    }
  }
}

通配符查询 wildcard ?匹配1，*匹配0到任意多个

GET /user/_search
{
  "query" : {
    "wildcard" : {
        "name" : {
            "value" : "*"
        }
    }
  }
}

多id查询 ids[]

GET /user/_search
{
  "query" : {
    "ids" : {
      "value" : ["","",""]
    }
  }
}

模糊查询 fuzzy 模糊错误在(0-2)，同时也与关键词长度有关

GET /user/_search
{
  "query" : {
    "fuzzy" : {
        "name" :  "xaio"
    }
  }
}

查询bool

must，should，must_not

GET /user/_search
{
  "query" : {
    "bool" : {
      "must" : [
      {
          "term" : {
              "name" : {
                  "value" : "xiaowang"
               }
           } 
       },
     {
          "term" : {
              "age" : {
                  "value" : "23"
               }
           } 
       }
      ]
    }
  }
}

高亮渲染查询结果 highlight

GET /user/_search
{
  "query" : {
    "term" : {
        "name" : {
            "value" : "xiaowang"
        }
  }   ,
  "highlight" : {
    "pre_tags" : ["<span style='color:red'>"],
    "post_tags" : ["</span>"],
     "fields" : {
        "*" : {}      
    }
}
}

多字段查询 multi_match

GET /user/_search
{
  "query" : {
    "multi_match" : {
        "query" : "xiaowang",
        "fields" : ["content","name"]
     }
  }
}

先对query进行分词在搜索

多字段分词查询 query_string

GET /user/_search
{
  "query" : {
    "query_string" : {
       "query" : "xiaowang",     
       "analyzer" : "ik_max_word",
        "fields" :  ["content","name"]
     }
  }
}

curl -XGET -uelastic:123ABCdef* http://10.28.1.15:9200/op_m*/_search -H 'Content-Type:application/json' -d'{"from": 0,"size": 1000,"query": {"bool": {"filter": [{"bool": {"must": [{"bool": {"must": [{"match_phrase": {"ip": {"query": "10.22.2.11","slop": 0,"zero_terms_query": "NONE","boost": 1}}},{"match_phrase": {"src_type": {"query": "zyj","slop": 0,"zero_terms_query": "NONE","boost": 1}}}],"adjust_pure_negative": true,"boost": 1}}],"adjust_pure_negative": true,"boost": 1}}],"adjust_pure_negative": true,"boost": 1}}}'

Day102-ELK-ES集群
1.ElasticSearch基本使用2.ES单机安装:3.ES索引基本操作4.ES集群环境搭建5.cerebro...
ElasticSearch 查询基本概念
前言本文Elastic Search版本为6.7，将介绍ES的查询的基本概念和用法。 Query 和 Filte...
elk日志系统-安装配置
一、elk介绍 1.ElasticSearch：节点（Node）：节点是一个ES的实例，一般一台主机上部署一个节...
Elasticsearch-6.2.4 安装（2）-配置
由于安装的单机版，所以本篇只介绍Elasticsearch一些基本配置 1.Elasticsearch配置配置文...
ES7学习笔记（十一）与SpringBoot结合
在前面的章节中，我们把ES的基本功能都给大家介绍完了，从ES的搭建、创建索引、分词器、到数据的查询，大家发现，我们...
16.ES的查询
查询 ES是功能非常强大的搜索引擎，使用它的目的就是为了快速的查询到需要的数据查询分类：基本查询：使用ES内置的查...
Elasticsearch SQL查询 --- 2022-04-
ES SQL查询的用法跟MYSQL基本一样，熟悉MYSQL的同学，可以直接通过SQL查询ES数据。 1.SQL语法...
Elasticsearch安装和使用
1.Elasticsearch简介 es是一个基于lucene的全文搜索引擎，本文主要演示了es再mac环境的...
ElasticSearch介绍和基本概念
1.Elasticsearch的概述 Elasticsearch（ES）是一个基于Lucene构建的开源、分布式、...
golang elasticsearch 查询教程 --- 20
elasticsearch的查询语法比较丰富，下面分别介绍golang 的各种查询用法。如果对ES的查询语法和概...