Nginx 日志可用于分析用戶地址位置，行為畫像等，如何通過 Elastic Stack 進行一站式的數據采集，數據清洗，數據落地，數據可視化，讓數據發揮真正的價值呢？
架構設計
涉及到 Elastic Stack 中 Filebeat 是用于采集 Nginx 相關的日志， Elasticsearch 是用于對于數據落地存儲和搜索的引擎， Kibana 是用于對數據可視化的工具。
在 Nginx 中相關的日志是存儲在 /var/log/nginx 目錄下的，分別是訪問日志 access.log，錯誤日志 error.log。
如果是裸機環境下，可以直接在同一主機下安裝 Filebeat 針對日志文件進行采集。
如果是 Docker 環境下，建議 Nginx 使用 Volume 的方式進行共享日志文件給 Filebeat 采集。
如果是 Kubernetes 環境下，建議在 Pod 中添加 Filebeat Container進行對 PV 采集。
針對不同場景有不同的采集方案，有些可以利用Daemonset采集宿主機上的日志，有些是以Sidecar方式進行采集，具體視業務場景而定。
實施方法
以 Docker 環境下為例
Nginx
創建存儲卷，便于 Nginx 和 Filebeat 容器共同掛載
docker volume create nginx-log-volume
啟動 Nginx 容器，并且將存儲卷映射到日志目錄
docker run -d --name nginx -p 80:80 -v nginx-log-volume:/var/log/nginx nginx:latest
進入容器修改配置
docker exec -it nginx /bin/bash
由于容器環境下，默認的日志會輸入到stdout，所以取消該設置并指定文件
unlink /var/log/nginx/access.log
unlink /var/log/nginx/error.log
touch /var/log/nginx/access.log /var/log/nginx/error.log
nginx -s reload
Filebeat
啟動 Filebeat 容器，并且將存儲卷映射到數據目錄
docker run -d --name filebeat --user=root -v nginx-log-volume:/data elastic/filebeat:7.9.2
進入容器修改配置
docker exec -it filebeat /bin/bash
修改配置，添加 Elasticsearch 和 Kibana 的主機
vi filebeat.yml
filebeat.config:
modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
processors:
- add_cloud_metadata: ~
- add_docker_metadata: ~
output.elasticsearch:
hosts: 'elasticsearch:9200'
username: "elastic"
password: "xxx"
setup.kibana:
host: "kibana:5601"
啟用 Nginx 采集模塊
filebeat modules enable nginx
編輯 Nginx 采集配置
vi modules.d/nginx.yml
- module: nginx
access:
enabled: true
var.paths: ["/data/access.log*"]
error:
enabled: true
var.paths: ["/data/error.log*"]
設置 Filebeat 創建 Kibana上的 Index Pattern 和 Dashboard
filebeat setup
重啟 Filebeat 生效配置
docker restart filebeat
可視化展示
通過 Kibana 中的 Dashboard 功能
展示 Nginx 對于日志的訪問情況及用戶地址位置、瀏覽器信息
展示 Nginx 對于訪問日志和錯誤日志的具體請求信息
