ITPUX技术网

交流 . 资讯 . 分享
Make progress together!
Linux操作系统下Oracle11g R2 RAC 安装配置教程
Oracle数据库培训-备份恢复-性能优化-集群容灾
Oracle数据库DBA高级工程师培训视频

ELK日志分析单机系统详解

内容发布:luashin| 发布时间:2017-6-8 21:08:30
ELK日志分析单机系统详解

日志分析ELK平台,由ElasticSearch、Logstash和Kiabana三个开源工具组成。
官方网站: https://www.elastic.co/products
Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。
Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

ELK原理图:

如图:Logstash收集AppServer产生的Log,并存放到ElasticSearch集群中,而Kibana则从ES集群中查询数据生成图表,再返回给Browser。

ELK平台搭建
系统环境
System: Centos release 6.7(Final)
ElasticSearch: elasticsearch-5.4.0.tar.gz
Logstash: logstash-5.4.0.tar.gz
Kibana: kibana-5.4.0-linux-x86_64.tar.gz
Java: openjdk version  ”1.8.0_131″

ELK官网下载: https://www.elastic.co/downloads/


JAVA环境配置
下载最新版本1.8.0_131
wget http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
tar -zxvf jdk-8u131-linux-x64.gz -C /usr/local/ && rm -rf jdk-8u131-linux-x64.gz
cat >> /etc/profile <<EOF

# for java environment
export JAVA_HOME=/usr/local/jdk1.8.0_131
export JRE_HOME=\${JAVA_HOME}/jre
export CLASSPATH=.:\${JAVA_HOME}/lib:\${JRE_HOME}/lib
export PATH=.\${JAVA_HOME}/bin:\$PATH
EOF
source /etc/profile
java -version

cat >> /etc/security/limits.conf <<EOF
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
EOF
sed -i 's/1024/2048/' /etc/security/limits.d/90-nproc.conf
echo "vm.max_map_count = 655360" >>/etc/sysctl.conf
sysctl -p

配置ElasticSearch
useradd elk && echo elk | passwd --stdin elk
su - elk
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.0.tar.gz   
tar -zxvf elasticsearch-5.4.0.tar.gz && rm -rf elasticsearch-5.4.0.tar.gz
mv -v elasticsearch-5.4.0 elasticsearch
mkdir -p /home/elk/elasticsearch/{data,logs}
cat >> elasticsearch/config/elasticsearch.yml <<EOF
cluster.name: elk_cluster
node.name: node0
path.data: /home/elk/elasticsearch/data
path.logs: /home/elk/elasticsearch/logs
network.host: 192.168.1.60
http.port: 9200
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
EOF

#启动ES:
elasticsearch/bin/elasticsearch &

#查看服务进程
ps -elf | grep -v grep | grep elasticsearch
ss -antulp | grep -v grep | grep elasticsearch

配置Logstash
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.4.0.tar.gz
tar -zxvf logstash-5.4.0.tar.gz && rm -rf logstash-5.4.0.tar.gz
mv -v logstash-5.4.0 logstash
cat logstash/config/log4j_to_es.conf
cat >> logstash/config/logstash.conf <<EOF
input {
        file {
        path => "/tmp/test.log"
        }
        log4j {
               mode => "server"
               host => "192.168.1.60"
               port => 4567
         }
}
filter {

}
output {
        stdout { codec => rubydebug }
        elasticsearch {
                index => "test_%{+YYYY.MM.dd}"
                hosts => [ "192.168.1.60:9200" ]
                user => elk
                                 password => elk
        }
}
EOF
注释:
/tmp/test.log          #测试文件
test_%{+YYYY.MM.dd}    #索引信息

touch /tmp/test.log

#启动服务
logstash/bin/logstash -f logstash/config/test_es.conf &

#查看服务进程
ps -elf | grep -v grep | grep logstash

配置Kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.0-linux-x86_64.tar.gz
tar -zxvf kibana-5.4.0-linux-x86_64.tar.gz && rm -rf kibana-5.4.0-linux-x86_64.tar.gz
mv -v kibana-5.4.0-linux-x86_64 kibana
cat >> kibana/config/kibana.yml <<EOF
server.port: 5601
server.host: "192.168.1.60"
elasticsearch.url: "http://192.168.1.60:9200"
kibana.index: ".kibana.yml"
EOF

#启动服务
kibana/bin/kibana &

#查看服务进程
ps -elf | grep -v grep | grep kibana
netstat -antulp | grep -v grep | grep kibana

kibana监控界面
http://192.168.1.60:5601/status

kibana配制界面
http://192.168.1.60:5601/app/kibana

部署中的常见错误及解决方法
1、启动 elasticsearch 如出现异常can not run elasticsearch as root
解决方法:创建ES账户,修改文件夹文件所属用户组
useradd elk && echo elk | passwd --stdin elk

2、启动异常:ERROR: bootstrap checks failed
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
解决方法:在elasticsearch.yml中配置bootstrap.system_call_filter为false,注意要在Memory下面:
cat >> elasticsearch/config/elasticsearch.yml <<EOF
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
EOF

3、启动后,如果只有本地可以访问,尝试修改配置文件 elasticsearch.yml
中network.host(注意配置文件格式不是以 # 开头的要空一格, : 后要空一格)
为network.host: 0.0.0.0
默认端口是 9200
注意:关闭防火墙 或者开放9200端口

4、ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]
解决方法:切换到root用户,编辑limits.conf 添加类似如下内容
cat >> /etc/security/limits.conf <<EOF
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
EOF

5、max number of threads [1024] for user [lish] likely too low, increase to at least [2048]
解决方法:切换到root用户,进入limits.d目录下修改配置文件。
sed -i 's/1024/2048/' /etc/security/limits.d/90-nproc.conf
修改如下内容:
* soft nproc 1024
#修改为
* soft nproc 2048

6、max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
解决方法:切换到root用户修改配置sysctl.conf
echo "vm.max_map_count = 655360" >>/etc/sysctl.conf
sysctl -p
然后,重新启动elasticsearch,即可启动成功。



上一篇:RHEL 7.2安装Coreseek中文检索引擎
回复

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表