美文网首页
windos下ELK下载安装,及同步oracle数据到Elast

windos下ELK下载安装,及同步oracle数据到Elast

作者: lowkey港 | 来源:发表于2019-10-14 15:06 被阅读0次

1.首先下载 (这里到华为云下载6.6.0版本)

ElasticSearch:https://mirrors.huaweicloud.com/elasticsearch/
Logstash:https://mirrors.huaweicloud.com/logstash/
Kibana:https://mirrors.huaweicloud.com/kibana/

2.解压安装

Kibana 依赖 Elasticsearch
Logstash 数据 输出到 Elasticsearch
Elasticsearch 数据来源 依赖 Logstash
按照依赖顺序安装相应的服务: ElasticSearch -> Logstash -> Kibana

2.1解压 image.png

2.2安装ElasticSearch

打开cmd切换到 elasticsearch-6.6.0\bin 目录

elasticsearch-service.bat install
elasticsearch-service.bat manager
image.png
image.png
输入网址 http://localhost:9200/,可以看到如下图 image.png

2.3安装 Logstash

打开 \logstash-6.6.0\config


image.png

\logstash-6.6.0\bin 目录下 运行 cmd :

logstash -f ..\config\logstash.conf
image.png

2.4安装 Kibana

进入 \kibana-6.6.0-windows-x86_64\bin 目录 cmd :

kibana.bat
image.png
Kibana 窗口地址 http://localhost:5601
image.png

2.同步oracle数据到es

修改logstash-6.6.0\config\logstash.conf文件

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
    codec => plain {
        charset => "UTF-8"
    }
  }
  file {
        path => "D:/job/elk/elasticsearch-6.6.0/logs/*.*"
        start_position => "beginning"
    codec => plain{
        charset=>"UTF-8"
    }
    }
    jdbc{  
        jdbc_connection_string => "jdbc:oracle:thin:scott/tiger@//192.168.0.142:1521/hnkcdb"  #jdbc数据库连接
        jdbc_user => "yjga110"  #用户名
        jdbc_password => "110110"#密码  
        jdbc_driver_library => "G:\repository\ojdbc\ojdbc\14\ojdbc-14.jar" #数据库jar包路径
        jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver" #数据库驱动
        jdbc_paging_enabled => "true"  
        jdbc_page_size => "5000000"  # 同步数据分页设置
        statement => "select * from t_jcj_jjd where gxsj > :sql_last_value"#同步SQL语句
        #statement_filepath => "D:\logstash-5.6.10\bin\logstash_jdbc_test\jdbc.sql" # 需同步的数据执行的SQL文件路径
        schedule => "* * * * *" # 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
        type => "t_jcj_jjd" # ES的type类型,相当于数据库中的table,需要配置多个表时,将jdbc整体复制一份,修改对应type
    last_run_metadata_path => "logstash-oradb.lastrun"
    }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

相关文章

网友评论

      本文标题:windos下ELK下载安装,及同步oracle数据到Elast

      本文链接:https://www.haomeiwen.com/subject/aywlmctx.html