Untuk menghantar log IIS ke Elasticsearch, 1. Gunakan FileBeat atau Logstash untuk mengumpul log. Filebeat disyorkan kerana ia ringan; 2. Gunakan dissect atau grok untuk menghuraikan log format W3C melalui proses filebeat; 3. Konfigurasi output.Elasticsearch untuk menghantar data berstruktur ke elasticsearch dan tetapkan indeks; 4. Perhatikan Laluan Log, Pengekodan Fail, Kebenaran, Penukaran Timestamp dan Pengurusan Putaran Log. Seluruh proses adalah mudah dan jelas, tetapi perhatian diperlukan untuk memastikan penghantaran data dan parsing yang tepat.

Ingin menghantar log IIS ke Elasticsearch? Sebenarnya, ia tidak sukar, hanya membuka beberapa pautan utama. IIS itu sendiri adalah pelayan web biasa pada Windows, dan log yang dihasilkan berada dalam format teks secara lalai, sementara Elasticsearch adalah baik untuk mengendalikan data berstruktur. Jadi teras keseluruhan proses adalah: mengumpul log, menghuraikan kandungan, dan menghantarnya ke Elasticsearch .

Langkah -langkah berikut dapat membantu anda menyelesaikan masalah ini dan sesuai untuk kebanyakan persekitaran pengeluaran.

Alat apa yang harus saya gunakan untuk mengumpul log IIS?

Cara yang paling biasa ialah menggunakan Filebeat atau Logstash . Kedua -dua alat ini adalah sebahagian daripada ekosistem rasmi Elastik dan sangat mudah digunakan dengan Elasticsearch.

• Filebeat lebih ringan dan sesuai untuk pengumpulan langsung dari fail log dan disyorkan untuk kebanyakan senario IIS.
• Logstash mempunyai fungsi yang lebih kuat dan menyokong penapisan dan penukaran kompleks, sesuai untuk senario di mana pembalakan diproses dengan mendalam.

Jika anda hanya ingin dengan cepat lulus log IIS ke Elasticsearch, disarankan untuk memulakan dengan FileBeat .

Bagaimana untuk menghuraikan log IIS ke dalam data berstruktur?

Format log IIS adalah W3C secara lalai, yang kelihatan seperti ini:

 #Fields: Tarikh Masa S-IP CS-Method CS-URI-STEM CS-URI-QUER-PORT CS-USERNAME C-IP CS (Agent User) SC-Status SC-Substatus SC-Win32-Status Taken
2024-05-01 12:34:56 192.168.1.1 Get /index.html - 80 - 192.168.1.100 Mozilla /5.0 200 0 0 15

Agar Elasticsearch untuk memahami data ini, anda perlu melakukan parsing medan log. FileBeat menyediakan proses yang boleh anda gunakan dissect atau grok untuk menghuraikan.

Sebagai contoh, tambahkan perenggan ke konfigurasi Filebeat:

 Pemproses:
  - membedah:
      medan: Mesej
      tokenizer: ' %{date} %{time} %{s-ip} %{cs-method} %{cs-uri-} %{cs-uri-que} %{s-port} %{cs-username} %{c-ip} %{sc-substatus} %{sc-win32-status} %{time-angkat} '

Dengan cara ini, setiap bidang dibongkar dan boleh dilihat dan dianalisis secara langsung di Kibana.

Bagaimana cara menghantar data parsed ke elasticsearch?

Langkah ini sebenarnya sangat mudah. Hanya tetapkan alamat output dalam konfigurasi Filebeat.

 output.elasticsearch:
  Hos: ["http: // your-elasticsearch-host: 9200"]
  Indeks: "IIS-Logs-%{yyyy.mm.dd}"

Jika anda menggunakan kibana, anda juga boleh menambah konfigurasi untuk memuatkan templat indeks lalai secara automatik:

 setup.kibana:
  Hos: "http: // your-kibana-host: 5601"

Kemudian mulakan Filebeat, ia akan mula membaca fail log IIS, menghirupnya ke dalam data berstruktur, dan kemudian hantar ke Elasticsearch.

Petua: Laluan fail log IIS biasanya C:\inetpub\logs\LogFiles . Ingatlah untuk menentukan laluan ini dalam konfigurasi Filebeat.

Apakah butiran lain yang perlu diberi perhatian?

• Pengekodan fail log : Pastikan log IIS adalah pengekodan UTF-8 atau ASCII, jika tidak filebeat tidak boleh dibaca.
• Isu Kebenaran : FileBeat memerlukan kebenaran untuk membaca direktori log, terutamanya jika log dikunci oleh IIS atau kebenaran adalah terhad.
• Pemprosesan Timestamp : Masa dalam log IIS adalah masa tempatan, dan sebaiknya menukarnya ke UTC dalam FileBeat atau Logstash untuk analisis zon lintas masa yang mudah.
• Putaran log : IIS menjana fail log setiap hari, Filebeat akan menjejaki fail baru secara automatik, tetapi disyorkan untuk membersihkan log lama secara teratur untuk mengelakkan cakera penuh.

Pada dasarnya itu sahaja. Seluruh proses tidak rumit, tetapi beberapa butiran mudah diabaikan, seperti kegagalan lapangan, kesilapan format masa, dan lain -lain. Anda boleh melakukannya dengan melihat output log FileBeat semasa debugging.

Atas ialah kandungan terperinci Bagaimana cara menghantar log IIS ke Elasticsearch?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!