美文网首页
ELK实现全文检索

ELK实现全文检索

作者: kafeimao | 来源:发表于2020-12-27 15:45 被阅读0次

版本:7.8.0

下载好elasticsearch,logstash,kibana,ik分词器

https://www.elastic.co/cn/downloads/elasticsearch
https://www.elastic.co/cn/downloads/logstash
https://www.elastic.co/cn/downloads/kibana
https://github.com/medcl/elasticsearch-analysis-ik/releases

image.png

启动elasticsearch

解压后直接点击bin目录下elasticsearch.bat文件,在浏览器访问localhost:9200


image.png

使用curl命令操作es

创建索引


image.png

新增数据


image.png

查询数据


image.png

启动kibana

解压后直接点击bin目录下kibana.bat,在kibana.yml可以看到默认配置elasticsearch.host :http://localhost:9200
浏览器访问localhost:5601

image.png

在kibana上操作es

点击devtools


image.png

查询


image.png
删除索引
image.png

创建索引


image.png

新增数据


image.png

安装ik分词器

在es的plugins的文件夹下创建了一个ik文件夹
将ik分词器的压缩包解压后的所有文件放到ik文件夹下
然后 重启es


image.png

使用es默认的分词器查询


image.png

使用ik_smart分词器查询


image.png
使用ik_max_word分词器查询
image.png

使用logstash同步mysql数据到elasticsearch

1、解压后,在config文件夹下创建用来同步mysql的配置文件mysql.conf


image.png

配置文件内容

input {
  jdbc {
    jdbc_driver_library => "C:\\soft\\logstash-7.8.0\\mysql-connector-java-8.0.21.jar"
    jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTC"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_user => "root"
    jdbc_password => "root"
    schedule => "* * * * * *"
    clean_run => true
    statement => "select * from blog where update_time>=:sql_last_value and update_time < now() order by update_time DESC;"
  }
}

output {
  elasticsearch {
    hosts => ["127.0.0.1:9200"]
    index => "blog"
    document_id => "%{id}"
  }
}

创建表

CREATE TABLE `blog` (
  `id` int NOT NULL AUTO_INCREMENT,
  `title` varchar(255) COLLATE utf8mb4_croatian_ci DEFAULT NULL,
  `content` varchar(255) COLLATE utf8mb4_croatian_ci DEFAULT NULL,
  `update_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=8 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_croatian_ci;

启动logstash
bin/logstash -f ../config/mysql.conf
数据库插入一条数据,查看kibana


image.png
image.png

logstash重启遇到的问题

在终端,ctrl+c发现并不能退出logstash,但是直接关闭窗口,再启动的时候会提示已经启动了,不能再启动,这个时候把data文件夹下面的.lock删除就可以了


image.png

使用java客户端elasticsearch-rest-high-level-client操作es,实现全文检索

引入maven依赖

<dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>7.8.0</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-client</artifactId>
            <version>7.8.0</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>7.8.0</version>
        </dependency>

利用spring的便利,创建springbean注入到spring容器中

@Configuration
public class EsConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        HttpHost httpHost = new HttpHost("localhost", 9200, "http");
        RestClientBuilder builder = RestClient.builder(httpHost);
        return new RestHighLevelClient(builder);
    }
}

Blog.java

@Data
public class Blog {
    private Integer id;
    private String title;
    private String content;
}

EsBlogManager.java

@Service
public class EsBlogManager {
    @Autowired
    private RestHighLevelClient restHighLevelClient;

    public List<Blog> searchByKeyWord(String keyWord){
        List<Blog> biogs = new ArrayList<>();

        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
        boolQueryBuilder.should(QueryBuilders.matchPhraseQuery("title",keyWord));
        boolQueryBuilder.should(QueryBuilders.matchPhraseQuery("content",keyWord));
        sourceBuilder.query(boolQueryBuilder);

        try {
            SearchResponse search = restHighLevelClient.search(searchRequest(sourceBuilder), RequestOptions.DEFAULT);
            SearchHit[] hits = search.getHits().getHits();
            for (SearchHit hit:hits) {
                Map<String, Object> sourceAsMap = hit.getSourceAsMap();
                String jsonString = JSON.toJSONString(sourceAsMap);
                Blog blog = JSON.parseObject(jsonString,Blog.class);
                biogs.add(blog);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        return biogs;
    }

    private SearchRequest searchRequest(SearchSourceBuilder sourceBuilder){
        SearchRequest searchRequest = new SearchRequest("blog");
        searchRequest.source(sourceBuilder);
        return searchRequest;
    }
}

相关文章

  • ELK实现全文检索

    版本:7.8.0 下载好elasticsearch,logstash,kibana,ik分词器 https://w...

  • 全文检索--ELK(六)

    一、ELK简介   ELK是当下流行的日志监控系统。ELK是Elasticsearch、Logstash、Kiba...

  • lucene实例与源码解析

    lucene是什么? 全文检索的引擎工具包,实现了全文检索的类库。全文检索,将查询的目标对象提取出来构造一套索引,...

  • Lucene—全文检索

    1. 案例分析:什么时全文检索,如何实现全文检索   1.1 案例   实现一个文件的搜索功能,通过关键字搜索文件...

  • Django+haystack+whoosh+jieba全文检索

    简介 全文检索主要用在大数据量时多字段模糊检索上能较大的提高检索效率。django实现全文检索功能主要靠hayst...

  • ElasticSearch - Lucene

    Lucene 全文检索的心,天才的想法。 一个高效的,可扩展的,全文检索库。 全部用 Java 实现,无须配置。 ...

  • 利用mongo-connector将mongodb中数据同步到e

    因为项目中需要对mongodb中数据实现全文检索的功能,但mongodb的全文检索不支持英文。而 elastics...

  • Lucene入门

    什么是Lucene 可以使用Lucene实现全文检索。Lucene是apache下的一个开放源代码的全文检索引擎工...

  • django全文检索的实现

    1在虚拟环境项目下安装 自动的将django升级为2.0.7版本后,要再pip install django==1...

  • 全文检索Lucene代码实现

    导包 首先来一个Test测试 Hello Word 创建一个文件 存放索引 随意 我起的index 运行之后-看...

网友评论

      本文标题:ELK实现全文检索

      本文链接:https://www.haomeiwen.com/subject/detgnktx.html