|
|
|
|
移动端

申博官方网站登入:如何在RHEL8/CentOS8上建立多节点Elastic stack集群

本文来源:http://www.344078.com/www_591hx_com/

www.86msc.com,当时受害人坐着,被几名嫌疑人夹在中间,根本没法动弹。厦门某业内人士坦言,目前国内钻石销售主要存在三个乱象:  一、虚标净度抬高价格。像哈勃这样的太空望远镜搜集来自最久远星系的光线,为我们带来大量的更清晰的宇宙图片。射雕英雄成吉思汗  成吉思汗蒙语的意思就是占据四海的大汗,也是指他后来建立横跨欧亚的蒙古帝国的伟大功业。

他们就这样悄然出现了。离婚仅仅是为了多买一套住房,多省一点钱,但神圣的婚姻就这么被糟蹋了。提塔利克鱼因为水温的降低而灭绝。  手机上百条偷窥视频  李靓将事情告诉了男朋友张某。

  昨日,冬梅在朋友圈里,发了一条微信:“爸,希望你在另一个天堂能开心快乐过着,虽然你离开了我身边,但你永远在我心里,没人能代替你在我心中的位置。实话实话,我们看朴总统总觉她很文弱,眼里总是透出谦逊和真诚。  日本人给外界的印象是十分保守的一个民族,但是其发的色情业却让世界为之侧目。该舰定于2012年服役,预计将进一步加强海上自卫队执行水面战和导弹防御等任务的能力。

Elastic stack 俗称 ELK stack,是一组包括 Elasticsearch、Logstash 和 Kibana 在内的开源产品。Elastic Stack 由 Elastic 公司开发和维护。在本文中,我们将演示如何在 RHEL 8 / CentOS 8 服务器上设置多节点 elastic stack 集群。

作者:Pradeep Kumar来源:Linux中国|2019-09-27 08:52

如何在RHEL8 /CentOS8上建立多节点Elastic stack集群

Elastic stack 俗称 ELK stack,是一组包括 Elasticsearch、Logstash 和 Kibana 在内的开源产品。Elastic Stack 由 Elastic 公司开发和维护。使用 Elastic stack,可以将系统日志发送到 Logstash,它是一个数据收集引擎,接受来自可能任何来源的日志或数据,并对日志进行归一化,然后将日志转发到 Elasticsearch,用于分析、索引、搜索和存储,最后使用 Kibana 表示为可视化数据,使用 Kibana,我们还可以基于用户的查询创建交互式图表。

在本文中,我们将演示如何在 RHEL 8 / CentOS 8 服务器上设置多节点 elastic stack 集群。以下是我的 Elastic Stack 集群的详细信息:

Elasticsearch:

  • 三台服务器,最小化安装 RHEL 8 / CentOS 8
  • IP & 主机名 – 192.168.56.40(elasticsearch1.linuxtechi.local)、192.168.56.50 (elasticsearch2.linuxtechi.local)、192.168.56.60(elasticsearch3.linuxtechi.local`)

Logstash:

  • 两台服务器,最小化安装 RHEL 8 / CentOS 8
  • IP & 主机 – 192.168.56.20(logstash1.linuxtechi.local)、192.168.56.30(logstash2.linuxtechi.local

Kibana:

  • 一台服务器,最小化安装 RHEL 8 / CentOS 8
  • IP & 主机名 – 192.168.56.10(kibana.linuxtechi.local

Filebeat:

  • 一台服务器,最小化安装 CentOS 7
  • IP & 主机名 – 192.168.56.70(web-server

让我们从设置 Elasticsearch 集群开始,

设置3个节点 Elasticsearch 集群

正如我已经说过的,设置 Elasticsearch 集群的节点,登录到每个节点,设置主机名并配置 yum/dnf 库。

使用命令 hostnamectl 设置各个节点上的主机名:

  1. [root@linuxtechi ~]# hostnamectl set-hostname "elasticsearch1.linuxtechi. local"
  2. [root@linuxtechi ~]# exec bash
  3. [root@linuxtechi ~]#
  4. [root@linuxtechi ~]# hostnamectl set-hostname "elasticsearch2.linuxtechi. local"
  5. [root@linuxtechi ~]# exec bash
  6. [root@linuxtechi ~]#
  7. [root@linuxtechi ~]# hostnamectl set-hostname "elasticsearch3.linuxtechi. local"
  8. [root@linuxtechi ~]# exec bash
  9. [root@linuxtechi ~]#

对于 CentOS 8 系统,我们不需要配置任何操作系统包库,对于 RHEL 8 服务器,如果你有有效订阅,那么用红帽订阅以获得包存储库就可以了。如果你想为操作系统包配置本地 yum/dnf 存储库,请参考以下网址:

在所有节点上配置 Elasticsearch 包存储库,在 /etc/yum.repo.d/ 文件夹下创建一个包含以下内容的 elastic.repo 文件:

  1. ~]# vi /etc/yum.repos.d/elastic.repo
  2.  
  3. [elasticsearch-7.x]
  4. name=Elasticsearch repository for 7.x packages
  5. baseurl=https:/artifacts_elastic_co/packages/7.x/yum
  6. gpgcheck=1
  7. gpgkey=https:/artifacts_elastic_co/GPG-KEY-elasticsearch
  8. enabled=1
  9. autorefresh=1
  10. type=rpm-md

保存文件并退出。

在所有三个节点上使用 rpm 命令导入 Elastic 公共签名密钥。

  1. ~]# rpm --import https:/artifacts_elastic_co/GPG-KEY-elasticsearch

在所有三个节点的 /etc/hosts 文件中添加以下行:

  1. 192.168.56.40 elasticsearch1.linuxtechi.local
  2. 192.168.56.50 elasticsearch2.linuxtechi.local
  3. 192.168.56.60 elasticsearch3.linuxtechi.local

使用 yum/dnf 命令在所有三个节点上安装 Java:

  1. [root@linuxtechi ~]# dnf install java-openjdk -y
  2. [root@linuxtechi ~]# dnf install java-openjdk -y
  3. [root@linuxtechi ~]# dnf install java-openjdk -y

使用 yum/dnf 命令在所有三个节点上安装 Elasticsearch:

  1. [root@linuxtechi ~]# dnf install elasticsearch -y
  2. [root@linuxtechi ~]# dnf install elasticsearch -y
  3. [root@linuxtechi ~]# dnf install elasticsearch -y

注意: 如果操作系统防火墙已启用并在每个 Elasticsearch 节点中运行,则使用 firewall-cmd 命令允许以下端口开放:

  1. ~]# firewall-cmd --permanent --add-port=9300/tcp
  2. ~]# firewall-cmd --permanent --add-port=9200/tcp
  3. ~]# firewall-cmd --reload

配置 Elasticsearch, 在所有节点上编辑文件 /etc/elasticsearch/elasticsearch.yml 并加入以下内容:

  1. ~]# vim /etc/elasticsearch/elasticsearch.yml
  2.  
  3. cluster.name: opn-cluster
  4. node.name: elasticsearch1.linuxtechi.local
  5. network.host: 192.168.56.40
  6. http.port: 9200
  7. discovery.seed_hosts: ["elasticsearch1.linuxtechi.local", "elasticsearch2.linuxtechi.local", "elasticsearch3.linuxtechi.local"]
  8. cluster.initial_master_nodes: ["elasticsearch1.linuxtechi.local", "elasticsearch2.linuxtechi.local", "elasticsearch3.linuxtechi.local"]

注意: 在每个节点上,在 node.name 中填写正确的主机名,在 network.host 中填写正确的 IP 地址,其他参数保持不变。

现在使用 systemctl 命令在所有三个节点上启动并启用 Elasticsearch 服务:

  1. ~]# systemctl daemon-reload
  2. ~]# systemctl enable elasticsearch.service
  3. ~]# systemctl start elasticsearch.service

使用下面 ss 命令验证 elasticsearch 节点是否开始监听 9200 端口:

  1. [root@linuxtechi ~]# ss -tunlp | grep 9200
  2. tcp LISTEN 0 128 [::ffff:192.168.56.40]:9200 *:* users:(("java",pid=2734,fd=256))
  3. [root@linuxtechi ~]#

使用以下 curl 命令验证 Elasticsearch 群集状态:

  1. [root@linuxtechi ~]# curl http:/elasticsearch1_linuxtechi_local:9200
  2. [root@linuxtechi ~]# curl -X GET http:/elasticsearch2_linuxtechi_local:9200/_cluster/health?pretty

命令的输出如下所示:

如何在RHEL8 /CentOS8上建立多节点Elastic stack集群

Elasticsearch-cluster-status-rhel8

以上输出表明我们已经成功创建了 3 节点的 Elasticsearch 集群,集群的状态也是绿色的。

注意: 如果你想修改 JVM 堆大小,那么你可以编辑了文件 /etc/elasticsearch/jvm.options,并根据你的环境更改以下参数:

  • -Xms1g
  • -Xmx1g

现在让我们转到 Logstash 节点。

安装和配置 Logstash

在两个 Logstash 节点上执行以下步骤。

登录到两个节点使用 hostnamectl 命令设置主机名:

  1. [root@linuxtechi ~]# hostnamectl set-hostname "logstash1.linuxtechi.local"
  2. [root@linuxtechi ~]# exec bash
  3. [root@linuxtechi ~]#
  4. [root@linuxtechi ~]# hostnamectl set-hostname "logstash2.linuxtechi.local"
  5. [root@linuxtechi ~]# exec bash
  6. [root@linuxtechi ~]#

在两个 logstash 节点的 /etc/hosts 文件中添加以下条目:

  1. ~]# vi /etc/hosts
  2. 192.168.56.40 elasticsearch1.linuxtechi.local
  3. 192.168.56.50 elasticsearch2.linuxtechi.local
  4. 192.168.56.60 elasticsearch3.linuxtechi.local

保存文件并退出。

在两个节点上配置 Logstash 存储库,在文件夹 /ete/yum.repo.d/ 下创建一个包含以下内容的文件 logstash.repo

  1. ~]# vi /etc/yum.repos.d/logstash.repo
  2.  
  3. [elasticsearch-7.x]
  4. name=Elasticsearch repository for 7.x packages
  5. baseurl=https:/artifacts_elastic_co/packages/7.x/yum
  6. gpgcheck=1
  7. gpgkey=https:/artifacts_elastic_co/GPG-KEY-elasticsearch
  8. enabled=1
  9. autorefresh=1
  10. type=rpm-md

保存并退出文件,运行 rpm 命令导入签名密钥:

  1. ~]# rpm --import https:/artifacts_elastic_co/GPG-KEY-elasticsearch

使用 yum/dnf 命令在两个节点上安装 Java OpenJDK:

  1. ~]# dnf install java-openjdk -y

从两个节点运行 yum/dnf 命令来安装 logstash:

  1. [root@linuxtechi ~]# dnf install logstash -y
  2. [root@linuxtechi ~]# dnf install logstash -y

现在配置 logstash,在两个 logstash 节点上执行以下步骤,创建一个 logstash 配置文件,首先我们在 /etc/logstash/conf.d/ 下复制 logstash 示例文件:

  1. # cd /etc/logstash/
  2. # cp logstash-sample.conf conf.d/logstash.conf

编辑配置文件并更新以下内容:

  1. # vi conf.d/logstash.conf
  2.  
  3. input {
  4. beats {
  5. port => 5044
  6. }
  7. }
  8.  
  9. output {
  10. elasticsearch {
  11. hosts => ["/elasticsearch1_linuxtechi_local:9200", "/elasticsearch2_linuxtechi_local:9200", "/elasticsearch3_linuxtechi_local:9200"]
  12. index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  13. #user => "elastic"
  14. #password => "changeme"
  15. }
  16. }

output 部分之下,在 hosts 参数中指定所有三个 Elasticsearch 节点的 FQDN,其他参数保持不变。

使用 firewall-cmd 命令在操作系统防火墙中允许 logstash 端口 “5044”:

  1. ~ # firewall-cmd --permanent --add-port=5044/tcp
  2. ~ # firewall-cmd reload

现在,在每个节点上运行以下 systemctl 命令,启动并启用 Logstash 服务:

  1. ~]# systemctl start logstash
  2. ~]# systemctl eanble logstash

使用 ss 命令验证 logstash 服务是否开始监听 5044 端口:

  1. [root@linuxtechi ~]# ss -tunlp | grep 5044
  2. tcp LISTEN 0 128 *:5044 *:* users:(("java",pid=2416,fd=96))
  3. [root@linuxtechi ~]#

以上输出表明 logstash 已成功安装和配置。让我们转到 Kibana 安装。

安装和配置 Kibana

登录 Kibana 节点,使用 hostnamectl 命令设置主机名:

  1. [root@linuxtechi ~]# hostnamectl set-hostname "kibana.linuxtechi.local"
  2. [root@linuxtechi ~]# exec bash
  3. [root@linuxtechi ~]#

编辑 /etc/hosts 文件并添加以下行:

  1. 192.168.56.40 elasticsearch1.linuxtechi.local
  2. 192.168.56.50 elasticsearch2.linuxtechi.local
  3. 192.168.56.60 elasticsearch3.linuxtechi.local

使用以下命令设置 Kibana 存储库:

  1. [root@linuxtechi ~]# vi /etc/yum.repos.d/kibana.repo
  2. [elasticsearch-7.x]
  3. name=Elasticsearch repository for 7.x packages
  4. baseurl=https:/artifacts_elastic_co/packages/7.x/yum
  5. gpgcheck=1
  6. gpgkey=https:/artifacts_elastic_co/GPG-KEY-elasticsearch
  7. enabled=1
  8. autorefresh=1
  9. type=rpm-md
  10.  
  11. [root@linuxtechi ~]# rpm --import https:/artifacts_elastic_co/GPG-KEY-elasticsearch

执行 yum/dnf 命令安装 kibana:

  1. [root@linuxtechi ~]# yum install kibana -y

通过编辑 /etc/kibana/kibana.yml 文件,配置 Kibana:

  1. [root@linuxtechi ~]# vim /etc/kibana/kibana.yml
  2. …………
  3. server.host: "kibana.linuxtechi.local"
  4. server.name: "kibana.linuxtechi.local"
  5. elasticsearch.hosts: ["/elasticsearch1_linuxtechi_local:9200", "/elasticsearch2_linuxtechi_local:9200", "/elasticsearch3_linuxtechi_local:9200"]
  6. …………

启用并启动 kibana 服务:

  1. [root@linuxtechi ~]# systemctl start kibana
  2. [root@linuxtechi ~]# systemctl enable kibana

在系统防火墙上允许 Kibana 端口 “5601”:

  1. [root@linuxtechi ~]# firewall-cmd --permanent --add-port=5601/tcp
  2. success
  3. [root@linuxtechi ~]# firewall-cmd --reload
  4. success
  5. [root@linuxtechi ~]#

使用以下 URL 访问 Kibana 界面:www.86msc.com/kibana_linuxtechi_local:5601

如何在RHEL8 /CentOS8上建立多节点Elastic stack集群

Kibana-Dashboard-rhel8

从面板上,我们可以检查 Elastic Stack 集群的状态。

如何在RHEL8 /CentOS8上建立多节点Elastic stack集群

Stack-Monitoring-Overview-RHEL8

这证明我们已经在 RHEL 8 /CentOS 8 上成功地安装并设置了多节点 Elastic Stack 集群。

现在让我们通过 filebeat 从其他 Linux 服务器发送一些日志到 logstash 节点中,在我的例子中,我有一个 CentOS 7服务器,我将通过 filebeat 将该服务器的所有重要日志推送到 logstash。

登录到 CentOS 7 服务器使用 yum/rpm 命令安装 filebeat 包:

  1. [root@linuxtechi ~]# rpm -ivh https:/artifacts_elastic_co/downloads/beats/filebeat/filebeat-7.3.1-x86_64.rpm
  2. Retrieving https:/artifacts_elastic_co/downloads/beats/filebeat/filebeat-7.3.1-x86_64.rpm
  3. Preparing... ################################# [100%]
  4. Updating / installing...
  5. 1:filebeat-7.3.1-1 ################################# [100%]
  6. [root@linuxtechi ~]#

编辑 /etc/hosts 文件并添加以下内容:

  1. 192.168.56.20 logstash1.linuxtechi.local
  2. 192.168.56.30 logstash2.linuxtechi.local

现在配置 filebeat,以便它可以使用负载平衡技术向 logstash 节点发送日志,编辑文件 /etc/filebeat/filebeat.yml,并添加以下参数:

filebeat.inputs: 部分将 enabled: false 更改为 enabled: true,并在 paths 参数下指定我们可以发送到 logstash 的日志文件的位置;注释掉 output.elasticsearchhost 参数;删除 output.logstash:hosts: 的注释,并在 hosts 参数添加两个 logstash 节点,以及设置 loadbalance: true

  1. [root@linuxtechi ~]# vi /etc/filebeat/filebeat.yml
  2.  
  3. filebeat.inputs:
  4. - type: log
  5. enabled: true
  6. paths:
  7. - /var/log/messages
  8. - /var/log/dmesg
  9. - /var/log/maillog
  10. - /var/log/boot.log
  11. #output.elasticsearch:
  12. # hosts: ["localhost:9200"]
  13.  
  14. output.logstash:
  15. hosts: ["logstash1.linuxtechi.local:5044", "logstash2.linuxtechi.local:5044"]
  16. loadbalance: true

使用下面的 2 个 systemctl 命令 启动并启用 filebeat 服务:

  1. [root@linuxtechi ~]# systemctl start filebeat
  2. [root@linuxtechi ~]# systemctl enable filebeat

现在转到 Kibana 用户界面,验证新索引是否可见。

从左侧栏中选择管理选项,然后单击 Elasticsearch 下的索引管理:

如何在RHEL8 /CentOS8上建立多节点Elastic stack集群

Elasticsearch-index-management-Kibana

正如我们上面看到的,索引现在是可见的,让我们现在创建索引模型。

点击 Kibana 部分的 “Index Patterns”,它将提示我们创建一个新模型,点击 “Create Index Pattern” ,并将模式名称指定为 “filebeat”:

如何在RHEL8 /CentOS8上建立多节点Elastic stack集群

Define-Index-Pattern-Kibana-RHEL8

点击下一步。

选择 “Timestamp” 作为索引模型的时间过滤器,然后单击 “Create index pattern”:

如何在RHEL8 /CentOS8上建立多节点Elastic stack集群

Time-Filter-Index-Pattern-Kibana-RHEL8

如何在RHEL8 /CentOS8上建立多节点Elastic stack集群

filebeat-index-pattern-overview-Kibana

现在单击查看实时 filebeat 索引模型:

如何在RHEL8 /CentOS8上建立多节点Elastic stack集群

Discover-Kibana-REHL8

这表明 Filebeat 代理已配置成功,我们能够在 Kibana 仪表盘上看到实时日志。

以上就是本文的全部内容,对这些帮助你在 RHEL 8 / CentOS 8 系统上设置 Elastic Stack 集群的步骤,请不要犹豫分享你的反馈和意见。

【编辑推荐】

  1. www.86msc.com如何在CentOS或RHEL系统上检查可用的安全更新?
  2. www.86msc.com呕心沥血!CentOS系统启动流程详解!
  3. www.86msc.com腾讯自研轻量级物联网操作系统 TencentOS tiny正式开源
  4. 在RHEL8配置静态IP地址的不同方法
【责任编辑:庞桂玉 TEL:(010)68476606】

点赞 0
大家都在看
猜你喜欢

订阅专栏+更多

用Python玩转excel

用Python玩转excel

让重复操作傻瓜化
共3章 | DE8UG

168人订阅学习

AI入门级算法

AI入门级算法

算法常识
共22章 | 周萝卜123

138人订阅学习

这就是5G

这就是5G

5G那些事儿
共15章 | armmay

128人订阅学习

读 书 +更多

网络服务器配置与应用(第3版)

本书是由长期从事网络管理工作和网络工程人员培训工作的一线网管人员和教学人员精心编写,从现实的技术发展角度和实际应用的角度,通过大量...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微

申博下载中心直营网 www.shenbo2.com 申博管理网网址登入 www.sbc66.com www.22psb.com 申博游戏平台登入
申博138直营网 申博娱乐开户登入 申博138官网直营 申博直营网 升级版申博太阳城直营网 申博娱乐网直营
申博会员登入 申博太阳城亚洲登入 申博手机客户端下载 申博登录网址 菲律宾太阳网上娱乐登入 www.msc88.com