如何搭建ELK服务器？

ELK服务器搭建

ELK（Elasticsearch、Logstash、Kibana）是一套用于日志收集、存储和可视化的强大工具，本文将详细介绍在CentOS系统上如何搭建ELK服务器，包括安装步骤、配置文件的修改以及常见问题的解决方法。

一、环境准备

1、操作系统：CentOS 7.4/64位

2、服务器配置：4核CPU，16G内存

3、软件需求：JDK 1.8、Git、wget、vim等

二、安装前准备

在进行ELK安装之前，需要对系统进行一些基本的配置和软件安装。

1. 安装基础软件

更新yum包管理器并安装必要的软件
sudo yum update -y
sudo yum install -y wget vim net-tools java-1.8.0-openjdk

2. 关闭防火墙

临时关闭防火墙
sudo systemctl stop firewalld
禁止防火墙开机启动
sudo systemctl disable firewalld

3. 修改系统限制

编辑/etc/security/limits.conf文件，添加以下内容：

soft nofile 65536
hard nofile 131072
soft nproc 2048
hard nproc 4096

编辑/etc/sysctl.conf文件，添加以下内容：

vm.max_map_count=262144

然后执行以下命令使配置生效：

sudo sysctl -p

三、安装Elasticsearch

1. 下载Elasticsearch

创建目录用于存放Elasticsearch，然后下载并解压：

创建目录
sudo mkdir -p /usr/local/elasticsearch
cd /usr/local/elasticsearch
下载Elasticsearch
sudo wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.1-linux-x86_64.tar.gz
解压文件
sudo tar -zxvf elasticsearch-7.10.1-linux-x86_64.tar.gz
重命名文件夹
sudo mv elasticsearch-7.10.1 elasticsearch

2. 配置Elasticsearch

编辑elasticsearch.yml配置文件：

sudo vim /usr/local/elasticsearch/config/elasticsearch.yml

添加或修改以下内容：

cluster.name: my-elk
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.type: single-node

3. 设置权限并启动Elasticsearch

创建用户和组，然后设置目录权限：

创建用户和组
sudo groupadd elasticsearch
sudo useradd elasticsearch -g elasticsearch -d /usr/local/elasticsearch -s /bin/false
设置目录权限
sudo chown -R elasticsearch:elasticsearch /usr/local/elasticsearch

切换到elasticsearch用户并启动Elasticsearch：

sudo su elasticsearch
/usr/local/elasticsearch/bin/elasticsearch -d

验证Elasticsearch是否成功启动：

curl http://localhost:9200

如果返回如下信息，则表示启动成功：

{
  "name" : "node-1",
  "cluster_name" : "my-elk",
  "cluster_uuid" : "XXXX",
  "version" : {
    "number" : "7.10.1",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "abcdefgh",
    "build_date" : "2020-01-01T00:00:00.000Z",
    "build_snapshot" : false,
    "lucene_version" : "8.6.2",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

四、安装Kibana

1. 下载并解压Kibana

创建目录
sudo mkdir -p /usr/local/kibana
cd /usr/local/kibana
下载Kibana
sudo wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.1-linux-x86_64.tar.gz
解压文件
sudo tar -zxvf kibana-7.10.1-linux-x86_64.tar.gz
重命名文件夹
sudo mv kibana-7.10.1 kibana

2. 配置Kibana

编辑kibana.yml配置文件：

sudo vim /usr/local/kibana/config/kibana.yml

添加或修改以下内容：

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

3. 设置权限并启动Kibana

创建用户和组，然后设置目录权限：

创建用户和组
sudo groupadd kibana
sudo useradd kibana -g kibana -d /usr/local/kibana -s /bin/false
设置目录权限
sudo chown -R kibana:kibana /usr/local/kibana

切换到kibana用户并启动Kibana：

sudo su kibana
/usr/local/kibana/bin/kibana -d

验证Kibana是否成功启动：

curl http://localhost:5601

如果返回如下信息，则表示启动成功：

{
  "name": "your-hostname",
  "status": "green",
  "message": "All systems operational",
  "uptimeInMilliseconds": 12345,
  "build": {...},
  "os": {...}
}

五、安装Logstash

1. 下载并解压Logstash

创建目录
sudo mkdir -p /usr/local/logstash
cd /usr/local/logstash
下载Logstash
sudo wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.1.tar.gz
解压文件
sudo tar -zxvf logstash-7.10.1.tar.gz
重命名文件夹
sudo mv logstash-7.10.1 logstash

2. 配置Logstash

创建一个新的Logstash配置文件logstash.conf：

sudo vim /usr/local/logstash/config/logstash.conf

添加以下内容：

input {
    file {
        path => "/var/log/*.log"
        start_position => "beginning"
    }
}
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
    date {
        match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    }
}
output {
    elasticsearch {
        hosts => ["http://localhost:9200"]
        index => "logstash-%{+YYYY.MM.dd}"
    }
    stdout { codec => json_lines }
}

3. 设置权限并启动Logstash

创建用户和组，然后设置目录权限：

创建用户和组
sudo groupadd logstash
sudo useradd logstash -g logstash -d /usr/local/logstash -s /bin/false
设置目录权限
sudo chown -R logstash:logstash /usr/local/logstash

切换到logstash用户并启动Logstash：

sudo su logstash
/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/logstash.conf -d

验证Logstash是否成功启动：

ps aux | grep logstash

如果看到logstash进程在运行，则表示启动成功。

六、FAQs相关问题与解答

Q1: 如何修改Elasticsearch的基本配置？

A1: 编辑elasticsearch.yml文件，可以配置集群名称、节点名称、网络设置等。

cluster.name: my-elasticsearch-cluster
node.name: node-1
network.host: 0.0.0.0
http.port: 9200

修改完成后，重新启动Elasticsearch服务使配置生效。

Q2: Kibana无法连接到Elasticsearch怎么办？

A2: 确保Elasticsearch服务已经启动，并且配置文件中的主机地址和端口号正确，检查防火墙设置，确保端口9200和5601已开放，可以使用curl命令测试连接：

curl http://localhost:9200
curl http://localhost:5601

到此，以上就是小编对于“elk服务器搭建”的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位朋友在评论区讨论，给我留言。