Bagaimana saya menggunakan AWK dan SED untuk pemprosesan teks lanjutan di Linux?

Menguasai AWK dan SED untuk Pemprosesan Teks Lanjutan

Mereka cemerlang dalam pelbagai aspek pemprosesan teks, dan memahami kekuatan mereka membolehkan penyelesaian yang sangat cekap.

Awk: AWK adalah bahasa pengimbasan corak dan teks pemprosesan. Ia amat mahir dalam memproses data berstruktur, seperti fail CSV atau fail log dengan pemformatan yang konsisten. Ia berfungsi dengan membaca garis input mengikut baris, corak yang sepadan, dan melakukan tindakan berdasarkan perlawanan tersebut. Ciri -ciri utama termasuk:

• Pencocokan corak: AWK menggunakan ungkapan biasa untuk mencari corak tertentu dalam baris. Ini boleh semudah yang sepadan dengan perkataan tertentu atau kompleks seperti corak rumit yang sesuai dengan menggunakan sintaks ekspresi biasa. Ia boleh memecah garisan ke dalam medan berdasarkan pembatas (selalunya ruang, koma, atau tab) dan membolehkan anda mengakses medan individu menggunakan $ 1 , $ 2 , dan lain-lain. nf (bilangan medan), nr (nombor rekod), dan $ 0 (keseluruhan baris), menjadikannya fleksibel dan berkuasa. semasa ), yang membolehkan logik kompleks dalam pemprosesan. transformasi. Ia paling sesuai untuk pengeditan yang berorientasikan baris, seperti menggantikan teks, memadam garisan, atau memasukkan teks. Ciri -ciri utama termasuk:
  • julat alamat: sed membolehkan anda menentukan julat alamat (nombor baris, corak) untuk memohon arahan ke baris tertentu.
  • (padam), i \ text (Insert), a \ text (append), dan c \ text (perubahan).
  • Penyuntingan: Menggunakan pilihan -i , sed boleh mengubah suai fail secara langsung, menjadikannya cekap untuk transformasi teks pukal.

  Menggunakan kedua-dua alat dengan berkesan memerlukan pemahaman kekuatan mereka. AWK adalah yang terbaik untuk pemprosesan dan pengekstrakan data yang kompleks, manakala sed lebih baik untuk pengeditan yang mudah, line-by-line. tidak ternilai dalam pelbagai senario skrip linux:

  Kes penggunaan AWK:
  • Fail: parsing dan memanipulasi data dari fail nilai yang dipisahkan atau dipisahkan oleh koma atau tab yang dipisahkan, mengekstrak lajur atau baris tertentu, dan melakukan pengiraan pada data. Laporan dari fail data, meringkaskan maklumat, dan pemformatan output untuk kebolehbacaan. fail, atau penyeragaman format teks.
  • Penghapusan baris atau penyisipan: Mengeluarkan garis yang sepadan dengan corak tertentu, memasukkan baris baru sebelum atau selepas corak, atau membersihkan baris yang tidak diingini dari fail.
  Preprocessing: Menyediakan data untuk pemprosesan selanjutnya oleh alat lain, seperti membersihkan data sebelum mengimportnya ke dalam pangkalan data atau alat analisis.
• skrip untuk tugas pemprosesan teks yang kompleks.

  Bagaimana saya boleh menggabungkan arahan AWK dan SED untuk manipulasi teks yang lebih kompleks di Linux?

  Ini amat berguna apabila anda perlu melakukan satu siri transformasi di mana kekuatan satu alat melengkapkan yang lain. Pendekatan biasa termasuk:

  • Piping: Cara yang paling mudah adalah untuk mengetuk output satu arahan kepada input yang lain. Sebagai contoh, sed boleh memproses fail, membersihkan aksara yang tidak diingini, dan kemudian awk boleh memproses data yang dibersihkan, mengekstrak maklumat khusus. awk '{cetak $ 1, $ 3}'

    Ini pertama menghilangkan titik koma dari input.txt menggunakan sed dan kemudian AWK mencetak medan pertama dan ketiga. Perintah: AWK boleh digunakan untuk menghasilkan secara dinamik berdasarkan data input. Ini berguna untuk melaksanakan penggantian yang bergantung kepada konteks.

  Menggunakan sed untuk menyediakan input untuk AWK : sed boleh digunakan untuk menyusun semula atau membersihkan data sebelum AWK memprosesnya. Sebagai contoh, anda mungkin menggunakan sed untuk menormalkan akhir baris atau mengeluarkan aksara yang tidak diingini sebelum menggunakan awk untuk menghuraikan data.

Contoh: Bayangkan anda mempunyai fail log dengan format tarikh yang tidak konsisten. Anda boleh menggunakan sed untuk menyeragamkan format tarikh sebelum menggunakan awk untuk menganalisis data.

 <code class="bash"> sed 's/^[0-9] \ {2 \}/\ 1 \/\ 2 \/\ 3/g' input.log | Awk '{Print $ 1, $ nf}' </code> 

Contoh ini menganggap format tarikh tertentu dan menggunakan sed untuk mengubah suai sebelum AWK mengekstrak tarikh dan medan terakhir. sed unggul pada transformasi yang mudah, berorientasikan baris, manakala AWK bersinar pada pemprosesan data kompleks dan pemadanan corak. awk dan sed sesuai untuk mengautomasikan tugas pemprosesan teks dalam skrip shell linux. Ini membolehkan anda membuat penyelesaian yang boleh diguna semula dan cekap untuk keperluan manipulasi teks berulang.

Berikut adalah cara anda boleh mengintegrasikannya:

Pembolehubah untuk menyimpan nama fail, corak, atau penggantian. Ini menjadikan skrip anda lebih fleksibel dan boleh diguna semula.
• Pengendalian ralat: Sertakan pengendalian ralat untuk menguruskan situasi dengan anggun di mana fail mungkin tidak wujud atau arahan mungkin gagal. Ini penting untuk skrip yang teguh. Senario. input_file = & quot; my_data.txt & quot; output_file = & quot; Processed_data.txt & quot; # Gunakan sed untuk membuang Whitespace Leading/Trailing Sed 'S/^[[: Space:]]*//; s/[[: Space:]]*$ //' & quot; $ input_file & quot; | # Gunakan AWK untuk mengekstrak medan tertentu dan melakukan pengiraan AWK '{Print $ 1, $ 3 * 2}' & gt; & quot; $ output_file & quot; echo & quot; data diproses dengan jayanya. Output ditulis kepada $ output_file & quot;

  Skrip ini menghilangkan ruang putih yang terkemuka dan trailing menggunakan sed dan kemudian menggunakan awk untuk mengekstrak medan pertama dan ketiga dan membiak medan ketiga dengan 2, menyimpan hasilnya ke processed_data.txt Pengendalian ralat boleh ditambah untuk memeriksa sama ada fail input wujud.

  Dengan menggabungkan kuasa awk dan sed dalam skrip shell berstruktur yang baik, anda boleh mengautomasikan tugas pemprosesan teks yang rumit dan berulang dengan cekap dan dipercayai di Linux.

Atas ialah kandungan terperinci Bagaimana saya menggunakan AWK dan SED untuk pemprosesan teks lanjutan di Linux?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!