この記事では、Python で大きなディレクトリ內(nèi)の特定のサブフォルダーを効率的に検索する方法について説明します。大量のファイルを処理する際の従來(lái)の os.listdir のパフォーマンスのボトルネックを考慮して、この記事では、os.scandir のイテレータ機(jī)能とキャッシュ メカニズムを使用して I/O 操作とメモリ使用量を大幅に削減し、それによってより高速で最適化されたディレクトリ スキャンを?qū)g現(xiàn)する方法を詳しく紹介します。

従來(lái)のディレクトリ スキャン方法のパフォーマンスのボトルネック

Python では、ディレクトリの內(nèi)容を列挙する一般的な方法は、os.listdir() を使用することです。ただし、このアプローチでは、數(shù)十萬(wàn)以上のファイルとサブフォルダーを含む非常に大きなディレクトリを処理する場(chǎng)合、重大なパフォーマンスの問(wèn)題が発生する可能性があります。主な理由は次のとおりです。

1. 2 つのシステム コール オーバーヘッド: os.listdir() は、まず、指定されたパスにあるすべてのファイルとフォルダーの名前リストを取得します。次に、各エントリがディレクトリであるかどうかを判斷するには (たとえば、os.path.isdir() を使用)、プログラムはリスト內(nèi)の名前ごとに個(gè)別のシステム コールを?qū)g行してメタデータを取得する必要があります。これは、N 個(gè)のエントリに対して、os.path.isdir() への追加のシステムコールが N 回生成され、その結(jié)果、大量の I/O 操作と時(shí)間が消費(fèi)されることを意味します。
2. メモリ使用量: os.listdir() は、ディレクトリ內(nèi)のすべてのエントリ名を一度にメモリにロードするため、多數(shù)のエントリを含むディレクトリでは大量のメモリ使用量が発生する可能性があります。
3. 正規(guī)表現(xiàn)一致: すべてのエントリを取得した後、正規(guī)表現(xiàn)でフィルタリングします。強(qiáng)力ではありますが、大規(guī)模なデータの場(chǎng)合は、一致するたびに計(jì)算負(fù)荷が増加します。

以下は、パフォーマンスの問(wèn)題を引き起こす可能性がある典型的な従來(lái)の実裝例です。

 OSをインポートする
輸入再

def find_subfolders_inefficient(関心のあるディレクトリ、関心のある開(kāi)始文字列):
    # 1. すべてのファイル名とフォルダー名を取得します all_entries = os.listdir(dir_of_interest)

    # 2. すべてのサブフォルダーをフィルターで除外します (各 os.path.isdir() はシステム コールです)
    all_subfolders = [
        all_entries の項(xiàng)目に対する項(xiàng)目 
        if os.path.isdir(os.path.join(対象ディレクトリ, 項(xiàng)目))
    】

    # 3. 正規(guī)表現(xiàn)を使用して regexp_pattern = re.compile(starting_string_of_interest) と一致させる
    all_subfolders_of_interest = list(filter(regexp_pattern.match, all_subfolders))

    興味のあるすべてのサブフォルダーを返す

# 呼び出し例 # subfolders = find_subfolders_inefficient('path/to/large/folder', 'prefix_')

os.scandir: 効率的なディレクトリ反復(fù)子

上記のパフォーマンスのボトルネックを解決するために、Python 3.5 では os.scandir() 関數(shù)が導(dǎo)入されました。 os.scandir() は、より効率的なディレクトリ反復(fù)子を提供します。その主な利點(diǎn)は次のとおりです。

1. システムコールを減らす: os.scandir() は反復(fù)子を返し、各反復(fù)で os.DirEntry オブジェクトを生成します。この DirEntry オブジェクトは、ファイルの作成時(shí)にファイルの種類と統(tǒng)計(jì) (ディレクトリであるか、ファイルであるかなど) をキャッシュするため、この情報(bào)を取得するために os.path.isdir() または os.path.isfile() を呼び出す必要はありません。これにより、ファイル システムへのクエリの數(shù)が大幅に減少します。
2. イテレータ パターン: os.scandir() は、すべてのエントリを一度にメモリにロードするのではなく、要求に応じて DirEntry オブジェクトを 1 つずつ生成します。これにより、非常に大きなディレクトリを処理する際にメモリ効率が非常に高くなります。
3. 屬性への直接アクセス: DirEntry オブジェクトは、情報(bào)を決定および取得するために直接使用できる、名前 (ファイル名/フォルダー名)、パス (フルパス)、is_dir()、is_file() などのメソッドと屬性を提供します。

最適化された実裝: os.scandir を使用してサブフォルダーを検索します

os.scandir() を使用して、指定されたサブフォルダーを検索するロジックを最適化すると、パフォーマンスが大幅に向上します。以下は、os.scandir() に基づいて最適化された実裝です。

 OSをインポートする

def find_subfolders_efficient(関心のあるディレクトリ、関心のある開(kāi)始文字列):
    「」
    os.scandir を使用すると、指定したディレクトリ內(nèi)の特定の文字列で始まるサブフォルダーを効率的に検索できます。

    引數(shù):
        dir_of_interest (str): スキャンするディレクトリ パス。
        starting_string_of_interest (str): サブフォルダー名の一致する開(kāi)始文字列。

    戻り値:
        list: 一致するサブフォルダー名のリスト。
    「」
    対象のすべてのサブフォルダー = []

    試す：
        # os.scandir(dir_of_interest) をエントリとして使用してディレクトリ エントリを反復(fù)処理します。
            エントリーの場(chǎng)合:
                # それがディレクトリであり、名前がプレフィックスと一致するかどうかを確認(rèn)します。 #entry.is_dir() は追加のシステムコールを回避します。 #entry.is_dir() とentry.name.startswith(starting_string_of_interest) の場(chǎng)合、entry.name は名前を直接取得し、パスの結(jié)合を回避します。
                    all_subfolders_of_interest.append(entry.name)
    FileNotFoundError を除く:
        print(f"エラー: ディレクトリ '{dir_of_interest}' が存在しません。")
    許可エラーを除く:
        print(f"エラー: ディレクトリ '{dir_of_interest}' にアクセスする権限がありません。")
    e としての例外を除く:
        print(f"ディレクトリのスキャン中に不明なエラーが発生しました: {e}")

    興味のあるすべてのサブフォルダーを返す

# if __name__ == '__main__' の呼び出し例:
    # テストディレクトリ構(gòu)造を作成します (オプション)
    # os.makedirs('test_large_folder/prefix_sub1',exist_ok=True)
    # os.makedirs('test_large_folder/another_sub',exist_ok=True)
    # os.makedirs('test_large_folder/prefix_sub2',exist_ok=True)
    # open('test_large_folder/file.txt', 'w') を f:
    # f.write("テスト")

    target_dir = 'test_large_folder' # 実際のディレクトリに置き換えます search_prefix = 'prefix_'

    print(f"{target_dir} 內(nèi)の '{search_prefix}' で始まるサブフォルダを検索しています...")
    found_subfolders = find_subfolders_efficient(target_dir, search_prefix)

    サブフォルダーが見(jiàn)つかった場(chǎng)合:
        print("次のサブフォルダーが見(jiàn)つかりました:")
        found_subfolders 內(nèi)のフォルダーの場(chǎng)合:
            print(f"- {フォルダ}")
    それ以外：
        print("一致するサブフォルダーが見(jiàn)つかりません。")

上記のコードでは、os.scandir によって返された DirEntry オブジェクトを直接反復(fù)処理するときに、entry.is_dir() メソッドを使用してそれがディレクトリであるかどうかを判斷し、名前の一致にentry.name.startswith() を使用します。このアプローチでは、ファイル タイプの判定と名前のフィルタリングが 1 つのループに組み合わされ、複數(shù)のリストの作成と追加のシステム コールが回避され、パフォーマンスが大幅に向上します。

注意すべき點(diǎn)とベストプラクティス

• エラー処理：実際のアプリケーションでは、ファイルやディレクトリが存在しない、権限が不足しているなどの異常事態(tài)を常に考慮し、サンプルコードのtry-excelブロックのように適切なエラー処理を行う必要があります。
• リソース管理: os.scandir() によって返されるイテレータはファイル システム リソースです。使用後にイテレータが正しく閉じられ、例外が発生した場(chǎng)合でもリソースを解放できるようにするには、with ステートメントを使用することをお?jiǎng)幛幛筏蓼埂?/li>
• クロスプラットフォームの互換性: os.scandir() はクロスプラットフォームであり、Windows、Linux、macOS 上で正しく動(dòng)作します。
• pathlib との組み合わせ: より最新の Python ファイル システム操作を行うには、 pathlib モジュールとの組み合わせを検討してください。 pathlib.Path オブジェクトは iterdir() メソッドも提供し、その基礎(chǔ)となる層は通常 os.scandir に基づいて実裝され、よりオブジェクト指向の API を提供します。

要約する

os.scandir() は、Python で大規(guī)模なディレクトリ スキャン タスクを処理する場(chǎng)合に不可欠な最適化ツールです。効率的なディレクトリ イテレータを提供し、ファイル タイプ情報(bào)をキャッシュし、不要なシステム コールを回避することにより、ファイル システム操作のパフォーマンスとメモリ効率が大幅に向上します。 os.listdir と os.path.isdir の組み合わせから os.scandir への移行は、特に特定のファイルまたはディレクトリを迅速に取得する必要があるシナリオの場(chǎng)合、Python ファイル システムの対話を最適化するための重要な手順です。

以上がPython で指定されたサブフォルダーを効率的に検索するための戦略: os.scandir の適用と最適化の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。