Artikel ini meneroka cara untuk mencari subfolder tertentu dalam direktori besar di Python. Memandangkan kesesakan prestasi tradisional os.listdir Apabila memproses fail besar -besaran, artikel ini memperkenalkan secara terperinci bagaimana menggunakan ciri iterator dan mekanisme cache OS.scandir untuk mengurangkan operasi I/O secara signifikan dan penggunaan memori, dengan itu mencapai pengimbasan direktori yang lebih cepat dan lebih dioptimumkan.

Kemunculan prestasi kaedah pengimbasan direktori tradisional

Di Python, cara yang sama untuk menghitung kandungan direktori adalah menggunakan os.listdir (). Walau bagaimanapun, pendekatan ini boleh mengalami masalah prestasi yang signifikan apabila berurusan dengan direktori yang sangat besar yang mengandungi ratusan ribu atau lebih fail dan subfolder. Sebab utama adalah:

1. Dua Sistem Panggilan Overhead : OS.LISTDIR () akan terlebih dahulu mendapatkan senarai nama semua fail dan folder di bawah laluan yang ditentukan. Seterusnya, untuk menentukan sama ada setiap entri adalah direktori (contohnya, menggunakan os.path.isdir ()), program perlu membuat panggilan sistem berasingan untuk setiap nama dalam senarai untuk mendapatkan metadata. Ini bermakna bahawa untuk penyertaan N, n sistem tambahan panggilan ke os.path.isdir () akan dihasilkan, menghasilkan sejumlah besar operasi I/O dan penggunaan masa.
2. Penggunaan Memori : OS.LISTDIR () memuat semua nama kemasukan dalam direktori ke dalam memori sekaligus, yang mungkin mengakibatkan penggunaan memori yang signifikan untuk direktori yang mengandungi sejumlah besar penyertaan.
3. Pencocokan ungkapan biasa : Selepas mendapatkan semua penyertaan, penapis melalui ekspresi biasa. Walaupun berkuasa, untuk data besar -besaran, setiap perlawanan masih akan meningkatkan beban pengiraan.

Berikut adalah contoh pelaksanaan warisan biasa yang boleh menyebabkan masalah prestasi:

 Import OS
Import Re

def find_subfolders_inefficient (dir_of_interest, start_string_of_interest):
    # 1. Dapatkan semua nama fail dan folder all_entries = os.listdir (dir_of_interest)

    # 2. Tapis semua subfolder (setiap os.path.isdir () adalah panggilan sistem)
    all_subfolders = [
        Item untuk item dalam all_entries 
        jika os.path.isdir (os.path.join (dir_of_interest, item))
    ]

    # 3. Gunakan ungkapan biasa untuk dipadankan dengan regexp_pattern = re.compile (start_string_of_interest)
    all_subfolders_of_interest = senarai (penapis (regexp_pattern.match, all_subfolders))

    kembali all_subfolders_of_interest

# Contoh panggilan # subfolder = find_subfolders_inefficient ('Path/to/large/folder', 'prefix_')

OS.SCANDIR: Iterator Direktori Cekap

Untuk menyelesaikan kesesakan prestasi di atas, Python 3.5 memperkenalkan fungsi OS.Scandir (). os.scandir () menyediakan iTerator direktori yang lebih cekap. Kelebihan terasnya adalah:

1. Kurangkan panggilan sistem : os.scandir () mengembalikan iterator, dan setiap lelaran menghasilkan objek os.direntry. Objek Direntry ini cache jenis fail dan statistik (seperti sama ada direktori, fail, dll.) Apabila ia dibuat, jadi tidak perlu menghubungi os.path.isdir () atau os.path.isfile () untuk mendapatkan maklumat ini. Ini sangat mengurangkan bilangan pertanyaan kepada sistem fail.
2. Corak Iterator : OS.SCANDIR () tidak memuat semua penyertaan ke dalam memori sekaligus, tetapi menghasilkan objek pengkhianatan satu demi satu atas permintaan. Ini menjadikannya sangat memori yang cekap apabila mengendalikan direktori yang sangat besar.
3. Akses Langsung ke Atribut : Objek Direntry menyediakan kaedah dan atribut seperti nama (nama fail/nama folder), jalan (laluan penuh), is_dir (), is_file (), dan sebagainya, yang boleh digunakan secara langsung untuk menentukan dan mendapatkan maklumat.

Pelaksanaan yang dioptimumkan: Gunakan os.scandir untuk mencari subfolder

Menggunakan os.scandir () untuk mengoptimumkan logik mencari subfolder yang ditentukan dapat meningkatkan prestasi dengan ketara. Berikut adalah pelaksanaan yang dioptimumkan berdasarkan os.scandir ():

 Import OS

def find_subfolders_efficient (dir_of_interest, start_string_of_interest):
    "" "
    Gunakan os.scandir untuk mencari subfolder dengan cekap bermula dengan rentetan tertentu dalam direktori yang ditentukan.

    Args:
        dir_of_interest (str): Laluan direktori untuk diimbas.
        start_string_of_interest (str): Rentetan permulaan yang sepadan dengan nama subfolder.

    Pulangan:
        Senarai: Senarai nama subfolder yang sepadan.
    "" "
    all_subfolders_of_interest = []

    Cuba:
        # Melepasi penyertaan direktori dengan os.scandir (dir_of_interest) sebagai penyertaan:
            untuk kemasukan dalam penyertaan:
                # Periksa sama ada direktori dan nama sepadan dengan awalan # entry.is_dir () mengelakkan panggilan sistem tambahan # entry.name mendapat nama secara langsung dan mengelakkan splicing jalan jika entry.is_dir () dan entry.startswith (start_string_of_interest):
                    all_subfolders_of_interest.append (entry.name)
    Kecuali FileNotFoundError:
        cetak (f "ralat: direktori '{dir_of_interest}' tidak wujud.")
    excepmissionerror:
        cetak (f "ralat: tiada kebenaran untuk mengakses direktori '{dir_of_interest}'.")
    Kecuali pengecualian sebagai e:
        cetak (f "ralat yang tidak diketahui berlaku semasa mengimbas direktori: {e}")

    kembali all_subfolders_of_interest

# Contoh panggilan jika __name__ == '__main__':
    # Buat struktur direktori ujian (pilihan)
    # os.makedirs ('test_large_folder/prefix_sub1', exist_ok = true)
    # os.makedirs ('test_large_folder/lain_sub', ada_ok = benar)
    # os.makedirs ('test_large_folder/prefix_sub2', exist_ok = true)
    # dengan terbuka ('test_large_folder/file.txt', 'w') sebagai f:
    # f.write ("ujian")

    target_dir = 'test_large_folder' # Gantikan dengan direktori sebenar anda carian_prefix = 'prefix_'

    cetak (f "mencari subfolder bermula dengan '{search_prefix}' dalam {target_dir} ...")
    found_subfolders = find_subfolders_efficient (target_dir, search_prefix)

    Sekiranya found_subfolders:
        Cetak ("Subfolder berikut dijumpai:")
        Untuk folder di found_subfolders:
            cetak (f "- {folder}")
    lain:
        Cetak ("Tiada subfolder yang sepadan dijumpai.")

Dalam kod di atas, apabila kita secara langsung melelehkan objek Direntry yang dikembalikan oleh OS.Scandir, kita menggunakan kaedah entry.is_dir () untuk menentukan sama ada direktori, dan gunakan entry.name.startSwith () untuk pemadanan nama. Pendekatan ini menggabungkan penentuan jenis fail dan penapisan nama ke dalam satu gelung, mengelakkan pelbagai ciptaan senarai dan panggilan sistem tambahan, menghasilkan peningkatan prestasi yang signifikan.

Perkara yang perlu diperhatikan dan amalan terbaik

• Pengendalian ralat : Dalam aplikasi sebenar, situasi yang tidak normal seperti fail atau direktori yang tidak wujud dan kebenaran yang tidak mencukupi harus selalu dipertimbangkan dan pengendalian ralat yang sesuai harus dilakukan, seperti blok percubaan dalam kod sampel.
• Pengurusan Sumber : Iterator yang dikembalikan oleh OS.Scandir () adalah sumber sistem fail. Adalah disyorkan untuk menggunakan pernyataan dengan memastikan bahawa iterator ditutup dengan betul selepas penggunaan dan sumber boleh dikeluarkan walaupun pengecualian berlaku.
• Keserasian Cross-Platform : OS.Scandir () adalah silang platform dan berfungsi dengan betul pada Windows, Linux dan MacOS.
• Menggabungkan dengan Pathlib : Untuk operasi sistem fail python yang lebih moden, pertimbangkan untuk menggabungkan dengan modul Pathlib. Objek PathLib.Path juga menyediakan kaedah iterdir (), dan lapisan asasnya biasanya dilaksanakan berdasarkan OS.Scandir, menyediakan API yang lebih berorientasikan objek.

Meringkaskan

OS.Scandir () adalah alat pengoptimuman yang sangat diperlukan apabila berurusan dengan tugas pengimbasan direktori berskala besar di Python. Ia secara signifikan meningkatkan prestasi dan kecekapan memori operasi sistem fail dengan menyediakan iTerator direktori yang cekap, maklumat jenis fail caching, dan mengelakkan panggilan sistem yang tidak perlu. Berhijrah dari gabungan os.listdir dan os.path.isdir ke os.scandir adalah langkah utama dalam mengoptimumkan interaksi sistem fail python, terutamanya untuk senario di mana fail atau direktori tertentu perlu diambil dengan cepat.

Atas ialah kandungan terperinci Strategi untuk mencari subfolder yang ditentukan dengan cekap di Python: Aplikasi dan Pengoptimuman OS.SCANDIR. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!