? ??? ??? ????? Java ????????? ??? ??? ELK(Elasticsearch, Logstash, Kibana) ???? ????? ??? ??? ???? ????. Docker ?????? ??? ?? ?? ELK? ?? ???? ?? ?? ??? ??? ?? ?? ????? ?????? Filebeat? ???? ??? ???????.

Filebeat? ???? Java ??? ELK? ???

??????? ??????? ?? ??? ?? ??? ?????. ELK ??? ??? ???? ??? ??, ?? ? ????? ?? ??? ???? ?????. ? ??????? ??? ?? ??? ?? ?? ?? Java ??????(Docker ?????? ??)?? ??? ??? ELK? ?? ??? ?? ?? ?? ???? Filebeat? ???? ??? ??? ???.

1. Filebeat? ???? ??? ??????

Filebeat?? ??? ?? ??? ????.

• ??: ???? ? ???? ?????? ??? ?? ??? ??? ????.
• ???: ???? ?? ??? ???? ?? ?? ? ??? ?????.
• ??? ??: ?? Docker ??? ?? ??? ? ?? ??? ?? ??? ?????.
• ?? ??: ?? ??? ??? ? ??? ???? ??? I/O? ???? ???? ?????.

2. ?? ??

• Java ??????: ??? ?? SLF4j? ???? Docker ?????? ???? Java ?????????.
• ELK ??: Elasticsearch, Logstash ? Kibana? ???? ??? ELK ??? Docker ??????? ?????.
• Docker Compose(?? ??): Docker Compose? ???? Java ??????, Filebeat ? ELK? ??? ?? ????? ???? ?? ????.

3. Filebeat ??

Filebeat?? ????? ?? ??? ELK ??? ???? ?? ?? ??(????? filebeat.yml??? ??)? ?????.

??? ?? filebeat.yml ?????.

 ????.??:
- ??: ??
  ????.ID:
    - '*' # ?? ????? ?? ??.logstash? ???????.
  ???: ["logstash:5044"] # Logstash ?? ? ?? ????:
  - add_docker_metadata: ~

?? ?? ??:

• filebeat.inputs: Filebeat? ?? ??? ?????.
  • ??: docker: ?? ??? Docker ????? ?????.
  • containers.ids: ['*']: ?? ????? ??? ???????. ?? ???? ID? ??? ?? ????.
• output.logstash: Filebeat? ?? ??? ?????.
  • ???: ["logstash:5044"]: Logstash? ??? ??? ?????. Docker ?????? Logstash? ?? ??? ? ??? ?????.
• ????: ?? ???? ???? ???? ? ?????.
  • add_docker_metadata: ?? ??? ???? ?? ?? ???? ID, ??? ?? ?? ?? Docker ?????? ??? ?????.

4. Docker Compose ??(??)

Docker Compose? ???? ?? docker-compose.yml ??? Filebeat? ??? ? ????.

 ??: "3.7"
???:
  ?? ?:
    ???: your-java-app-image
    # ...?? ?? ????:
    ???: docker.elastic.co/beats/filebeat:7.17.16 # ??? Filebeat ?? ??? ?????.
      - ./filebeat.yml:/usr/share/filebeat/filebeat.yml
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /var/run/docker.sock:/var/run/docker.sock:ro
    ??:
      -java-app
    ????:
      - your-network # Filebeat? Logstash? ??? ????? ??? ?????.
  ??? ????:
    ????: ???

?? ??:

• ??: filebeat.yml ?? ??? Docker ????? ?? ???? ? Docker ??? ?????.
• /var/lib/docker/containers:/var/lib/docker/containers:ro: Filebeat? ????? ?? ??? ?? ? ??? ?????.
• /var/run/docker.sock:/var/run/docker.sock:ro: Filebeat? ????? ?????? ?? ? ??? ?????.
• ??_?: Java ??????? ??? ? Filebeat? ????? ?????.
• ????: Filebeat? Logstash? ??? ? ??? Filebeat? Logstash? ??? ????? ??? ?????.

5. Logstash ??(?? ??)

Logstash? ?? ?? ?? ??, ?? ?? ?? ? Filebeat?? ?? ??? ??? ??? ? ????. Java ??????? ?? ?? ??? ???? ?? Logstash?? ?? ??? ???? ? ?? ????.

??? Logstash ?? ?:

 ?? {
  {? ??
    ?? => 5044
  }
}

?? {
  # ?? ??? ?? ??? ?????. # ?:
  # ??? {
  # ?? => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{DATA:logger} - %{GREEDYDATA:message}" }
  # }
}

?? {
  ?? ?? {
    ??? => ["elasticsearch:9200"]
    ?? => "java-app-%{ YYYY.MM.dd}"
  }
}

6. ??? ??

?? ???? ????? docker-compose up -d ??? ??????.

7. ??

java-app-*? ???? Kibana?? ??? ???? ???? Java ???????? ??? ? ? ????.

?? ??:

• ?? ???: Filebeat, Logstash ? Elasticsearch? ??? ????? ?????.
• ?? ??: Filebeat? Docker ????? ?? ??? ?? ? ?? ??? ??? ?????.
• ???? ??: Filebeat? Logstash? ??? ????? ?? ?? ???? ? ??? ?????.
• ??? ??: ??? ??? ??? ??? ??? ?? ??? ?? Filebeat? ??? ??? ?????.

??

Filebeat? ???? Java ???????? ??? ??? ELK ???? ?? ???? ?? ??? ?? ??? ??? ? ????. ? ?? ??? ?? ?? ??? ???? ???? ???? ??????. Docker Compose? ???? ?? ?? ?? ????? ?? ???? ???? ??? ? ????. ??? ?? ?? ??? ???? ?? ??, Logstash ?? ?? ?? ?? ?? ??? ?? ??? ???? ?? ?? ????.

? ??? Java ?? ??? ELK? ???: ??? ????? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!