導(dǎo)入

開発者とデータアナリストがモデルを評価する方法を完全に変える可能性のあるPythonパッケージを作成しようとしていると想像してください。この旅行は、さまざまなメトリックやエッジの狀況を管理できる柔軟なぼろきれ評価ツールである、簡単な概念から始まります。詩でパッケージを初期化することから、堅実な評価者クラスを作成し、この投稿に飛び込むときにコードをテストすることになります。パッケージの作成方法、BLEUとRougeのスコアを計算し、オンラインで投稿する方法に関する知識を得ることができます。最後に、一般の人々が使用できる作業(yè)ツールを持っていることに加えて、Pythonパッケージングとオープンソースの貢獻について、より多くの洞察を得ることができます。

學(xué)習成果

• 詩を使用してPythonパッケージを初期化して構(gòu)成することを?qū)Wびます。
• 複數(shù)のメトリックの評価クラスを開発および実裝します。
• BleuやRougeスコアなどのメトリックを計算して評価します。
• テストを書き込み、実行して、コード機能と堅牢性を確保します。
• 分配やライセンスの取り扱いなど、PythonパッケージをPypiに構(gòu)築および公開します。

この記事は、データサイエンスブログソンの一部として公開されました。

目次

• 詩でパッケージを初期化します
• コア評価者クラスの設(shè)計
• 評価者クラスの定義
• 評価メトリックの実裝
• BLEUスコアの計算
• ルージュスコアの測定
• パッケージをテストします
• ホイールを構(gòu)築します
• ソースおよびバイナリ分布の作成
• パッケージを公開します
• よくある質(zhì)問

詩でパッケージを初期化します

これで、詩を使用して新しいPythonパッケージを初期化することから始めることができます。詩を選ぶ理由は次のとおりです。

• 複數(shù)の仮想環(huán)境を管理する必要性を削除します。
• ネイティブパッケージとレガシーパッケージの両方のあらゆる種類のPythonパッケージ形式をサポートしています。
• `poetry.lock`ファイルを介した依存関係でも適切なバージョンを保証します。
• Pypiは単一のコマンドで準備ができています。

ほぼすべてのOSのコマンドを使用して詩をインストールします。

 curl -ssl https://install.python-poetry.org | Python3-

次に、次のコマンドを使用して、ボイラープレートを使用して新しいリポジトリを作成できます。

詩new package_name

Enterを押してデフォルトとして殘すことができる一般的な質(zhì)問はほとんどありません。次に、これに似たフォルダー構(gòu)造に著地します。

詩 - デモ

pyproject.toml

├├。Readme.md

poety_demo

│└ク。__init__.py

tests

└└。。__init__.py

構(gòu)造は問題ありませんが、公式のPythonドキュメントで説明されている「フラット」レイアウトと比較して「SRC」レイアウトを使用できます。ブログの殘りの部分では、「SRC」レイアウトに従うことになります。

コア評価者クラスの設(shè)計

パッケージの中心には、Python Evaluatorパッケージに電源を入れるすべてのソースコードが含まれています。これには、私たちが望むすべてのメトリックによって継承される基本クラスが含まれています。したがって、このクラスは、建設(shè)中に最も堅牢で最大限の注意を払わなければなりません。このクラスには、基本的な初期化に必要なロジック、メトリックの結(jié)果を取得する方法、およびユーザー入力を処理するための別の方法が容易に消耗品を使用するための別の方法があります。

これらのすべての方法では、獨自の範囲と適切なデータ型を定義する必要があります。データ型にもっと焦點を合わせる理由は、Pythonが動的にタイプされているためです。したがって、これらは実行時にのみエラーを引き起こすため、変數(shù)を適切に使用する必要があります。そのため、専用のタイプチェックコンパイラを使用するのではなく、これらの微細なエラーをキャッチするためのテストスイートが必要です。 Pythonで適切なタイピングを使用する場合は、よく適しています。

評価者クラスの定義

これで、すべての評価者クラスが含まれている必要があるものと、それが最も重要な理由を見たので、同じものの実裝に殘されています。このクラスを構(gòu)築するために、Pythonが提供するABC - 抽象的な基本クラスを継承しています。このクラスを選択する理由は、評価者の基本クラスを構(gòu)築できるすべての具體的な機能が含まれているためです。次に、評価者クラスの入力と出力を定義しましょう。

• 入力：候補者[文字列のリスト]、參照[文字列のリスト]
• 方法：「パディング」（候補者と參照の長さが同じであることを確認するため）、「get_score」（評価メトリックの最終結(jié)果を計算する方法）

 ＃src/evaluator_blog/evaluator.py

警告をインポートします
インポートユニオンのタイピングから、リスト
ABCインポートABCから、AbstractMethod


クラスBaseeValuator（ABC）：
    def __init __（self、bestondates：list、references：list） - > none：none：none：
        self.candidates =候補
        self.References =參照

    @StaticMethod
    defパディング（
        候補者：リスト[str]、參照：リスト[str]
    ） - > union [list [str]、list [str]]：
        """_まとめ_

        args：
            候補者（リスト[STR]）：LLMから生成された応答
            參照（リスト[str]）：測定する応答

        返品：
            Union [list [str]、list [str]]：「候補者」と「參照」の等しい長さを保証します
        "" "
        _msg = str（
            "" "
            參照と候補者の長さ（仮説）は同じではありません。
            "" "
        ））
        警告.warn（_msg）
        max_length = max（len（候補者）、len（參照））
        候補者dextend（[""] *（max_length -len（候補者）））
        references.extend（[""] *（max_length -len（references））））
        候補者、參照を返します

    @StaticMethod
    def list_to_string（l：list） - > str：
        アサート（
            len（l）> = 1
        ）、「メッセージの長さが1以上であることを確認してください」

        return str（l [0]）

    @AbstractMethod
    def get_score（self） - > float：
        "" "
        スコア関數(shù)の最終結(jié)果を計算する方法。

        返品：
            選択した評価メトリックの浮動小數(shù)點値。
        "" "

ここでは、 `__init（）__`メソッドには、評価者メトリックの候補と參照の基本要件である必要なパラメーターが含まれていることがわかります。

次に、「候補者」と「參照」の両方が、コールするたびにこれを初期化する必要がないため、「候補」と「參照」の両方が靜的メソッドとして定義された同じ長さを含むために必要なパディングです。したがって、staticmethodデコレータには必要なロジックが含まれています。

最後に、 `get_score（）`の場合、abstractMethodデコレータを使用します。つまり、ベース評価者クラスを継承するすべてのクラスには間違いなくこの方法が含まれている必要があります。

評価メトリックの実裝

これで、ライブラリの実裝、メトリックの評価の中心があります?，F(xiàn)在、計算には、タスクを?qū)g行し、メトリックスコアを表示するそれぞれのライブラリを使用します。主に「候補」を使用します。つまり、LLM生成応答と「參照」、つまりグラウンドトゥルースを使用し、値をそれぞれ計算します。簡単にするために、BleuとRougeのスコアを計算します。このロジックは、市場で利用可能なすべてのメトリックに拡張可能です。

BLEUスコアの計算

バイリンガル評価の研究は、迅速で、安価で、言語に依存しない機械翻訳（候補者）の一般的な評価メトリックの1つです。手動評価と比較して、わずかなエラーがあります。機械の翻訳の近さをプロの人間の反応（參照）と比較し、評価を0-1の範囲のメトリックスコアとして返し、1に対するものは近い試合と呼ばれます。彼らは、候補者からの文でn-gram（n wordsのチャンク）を考慮します。例えば。 Unigrams（1グラム）は、候補者と參照からのすべての単語を考慮し、精密スコアと呼ばれる正規(guī)化されたスコアを返します。

ただし、同じ単語が複數(shù)回表示されているかどうかを考慮すると、通常は間違っている各外観の最終スコアを説明することを考えると、常にうまく機能するとは限りません。したがって、BLEUは修正された精度スコアを使用して、単語の一致數(shù)をクリップし、候補者の単語數(shù)で正規(guī)化します。ここでのもう1つのキャッチは、単語の順序を考慮していないことです。したがって、BLEUスコアは複數(shù)のn-Gramsを考慮し、1?4グラムの精度スコアを他のパラメーターで表示します。

利點

• より速い計算と簡単な計算が含まれます。
• 広く使用され、ベンチマークの結(jié)果。

短所

• 翻訳の意味を考慮していません。
• 文の形式を考慮していません。
• それはバイリンガルですが、英語以外の言語に苦労しています。
• 人間の翻訳がすでにトークン化されている場合、スコアを計算するのは難しい。

 ＃src/evaluator_blog/metrics/bleu.py

インポートリストの入力から、呼び出し可能な、オプション
src.evaluator_blog.evaluatorからImport baseevaluatorから

nltk.translate.bleu_scoreからcorpus_bleuをインポート、smoothingfunction

"" "
NLTKからのブルー実裝
"" "
クラスBleuscore（baseevaluator）：
    def __init __（
        自己、
        候補者：リスト[str]、
        參照：リスト[str]、
        ウェイト：オプション[list [float]] = none、
        smoothing_function：optional [callable] = none、
        auto_reweigh：optional [bool] = false、
    ） - >なし：
        "" "
        からBLEUスコア（バイリンガル評価の研究）を計算します
        Papineni、Kishore、Salim Roukos、Todd Ward、Wei-Jing Zhu。 2002年。
        「ブルー：機械翻訳の自動評価の方法?！?        ACLの議事録。 https://aclanthology.org/p02-1040.pdf

            args：
                Weights（Optional [List [Float]]、オプション）：各bleu_scoreに適用する必要があるウェイト。デフォルトはありません。
                smoothing_function（オプション[callable]、optional）：単語の確率質(zhì)量分布を追加または調(diào)整することにより、トレーニングデータのスパースの問題を克服するための呼び出し可能な関數(shù)。デフォルトはありません。
                auto_reweigh（オプション[bool]、オプション）：n-grams フロート：
        "" "
        指定された候補者と參照のBLEUスコアを計算します。

        args：
            候補者（リスト[str]）：候補者の文のリスト
            參照（リスト[str]）：參照文のリスト
            Weights（Optional [List [Float]]、オプション）：BLEUスコア計算の重み。デフォルトは（1.0、0、0、0）に
            smoothing_function（optional [function]）：セグメントレベルのBLEUスコアのスムージング手法

        返品：
            フロート：計算されたブルースコア。
        "" "
        ＃候補者と參照の長さが等しいかどうかを確認します
        len（self.candidates）！= len（self.References）の場合：
            self.candidates、self.References = self.padding（
                self.candidates、self.References
            ））

        ＃ブルースコアを計算します
        return corpus_bleu（
            list_of_references = self.References、
            仮説= self.candidates、
            Weights = self.weights、
            smoothing_function = self.smoothing_function、
            auto_reweigh = self.auto_reweigh、
        ））

ルージュスコアの測定

要點評価のためのリコール指向の研究は、モデル生成された要約を複數(shù)の人間の要約と比較するための一般的な評価メトリックの1つです。素樸な方法では、マシンとヒト生成された要約の両方のnグラムを比較します。これは、Rouge-N Recallスコアと呼ばれます。マシンのより関連性を確保するために、人間の要約に概要を生成するために、精密スコアを計算できます。精度とリコールの両方のスコアがあるため、F1スコアを計算できます。通常、「n」の複數(shù)の値を考慮することをお勧めします。ルージュの小さなバリアントは、単語のシーケンスを考慮し、LCSを計算するルージュ-Lスコアです（最も長い一般的なサブシーケンス）。同様に、精度とリコールスコアを取得できます。ここでのわずかな利點は、文の分子性を考慮し、関連する結(jié)果を生成することです。

利點

• n-gramsと最も長い一般的なサブシーケンスを比較することにより、自動テキストの要約の品質(zhì)を評価するのに非常に効果的です。
• ルージュはあらゆる言語に適用でき、多言語のテキスト分析と評価に汎用性があります。

短所

• ルージュは、より深い意味の意味と一貫性を捉えていない可能性のある表面レベルのテキストマッチング（n-grams）に焦點を當てています。
• ルージュの精度は、參照要約の品質(zhì)と代表性に大きく依存します

＃src/evaluator_blog/metrics/rouge.py

警告をインポートします
インポートリスト、ユニオン、DICT、呼び出し可能、タプル、オプションのタイピングから
from ..Valuator Import baseevaluator
rouge_scoreからrouge_scorerをインポートします


クラスRougesscore（BaseeValuator）：
    def __init __（
        自己、
        候補者：リスト、
        參照：リスト、
        rouge_types：optional [union [str、tuple [str]]] = [
            「rouge1」、
            「rouge2」、
            「ルーゲル」、
            「ルーゲルサム」、
        ]、、
        use_stemmer：optional [bool] = false、
        split_summaries：optional [bool] = false、
        トークンザー：オプション[callable] = none、
    ） - >なし：
        super（）.__ init __（候補者、參照）

        ＃デフォルトの `rouge_types`がすべて、その他のユーザーが指定しました
        ISInstance（rouge_types、str）の場合：
            self.rouge_types = [rouge_types]
        それ以外：
            self.rouge_types = rouge_types

        ?！竨se_stemmer」を有効にして、単語の接尾辭を削除してマッチング機能を改善します
        self.use_stemmer = use_stemmer

        ＃enabledの場合、「rougelsum」の文の間にnewlinesを追加するかどうかをチェックします
        self.split_summaries = split_summaries

        ＃ユーザーが定義されている場合、または `rouge_scorer`デフォルトを使用する場合は` tokenizer`を有効にします
        ＃https://github.com/google-research/google-research/blob/master/rouge/rouge_scorer.py#l83
        トークネイザーの場合：
            self.tokenizer =トークンザー
        それ以外：
            self.tokenizer = none
            _msg = str（
                "" "
                デフォルトのトークンザーを利用します
                "" "
            ））
            警告.warn（_msg）

    def get_score（self） - > dict：
        "" "
        返品：
            DICT：対応するメトリックの評価のJSON値
        "" "
        スコアラー= rouge_scorer.rougescorer（
            rouge_types = self.rouge_types、
            use_stemmer = self.use_stemmer、
            トークネイザー= self.tokenizer、
            split_summaries = self.split_summaries、
        ））

        return scorer.score（self.list_to_string（self.candidates）、self.list_to_string（self.References）））

パッケージをテストします

実際の使用の前にソースファイルが準備されたので、コードの動作を確認する必要があります。そこで、テストフェーズが登場します。 Pythonライブラリフォーマット/コンベンション/ベストプラクティスでは、 `Tests/`という名前のフォルダーの下にすべてのテストを書きます。この命名規(guī)則により、開発者はこのフォルダーがその重要性を持っていることを簡単に理解できます。複數(shù)の開発ツールがありますが、タイプのチェック、エラー処理などを使用してライブラリを制限できます。これは、チェックとテストの最初のラウンドに対応しています。しかし、エッジのケースと例外を確保するために、UnitestとPytestasを使用することができます。とはいえ、「Unittest」ライブラリを使用して基本的なテストを設(shè)定するだけです。

効果的な単體テストを作成します

「Unittest」に関して知っておくべき重要な用語は、テストケースとテストスイートです。

• テストケース：テストの最小単位では、出力のセットに対して入力を評価します。
• テストスイート：テストケース、スイート、またはその両方のコレクション。テストを集約して一緒に動作するために使用されます。
• 命名規(guī)則：これは、ファイル名と関數(shù)名に「tests_`」を付けたものでなければなりません。その理由は、パーサーがそれらを検出し、テストスイートに追加するためです。

ホイールを構(gòu)築します

ホイールは基本的に、コマンド `pip install `を?qū)g行するときにインストールされるpythonパッケージです。ホイールの內(nèi)容は、「.whl」ファイルに保存されます。ホイールファイルは `dist/`に保存されます。構(gòu)築された分布 `.whl`とソース分布` .gz`があります。詩を使用しているので、ビルドコマンドを使用して配布を構(gòu)築できます。

詩のビルド

フォルダーのルート內(nèi)の `dist/`フォルダー內(nèi)のホイールとzipファイルを生成します。

 dist/
package_name-0.0.1-py3-none-any.whl
package_name-0.0.1.tar.gz

Aliter、同等のPythonコマンドは、 `build`パッケージをインストールし、フォルダーのルートからビルドコマンドを?qū)g行しています。

 python3 -m pipインストール - アップグレードビルド
python3 -m build

ソースおよびバイナリ分布の作成

ソースとバイナリの分布の作成に注目しましょう。

ソースディストリビューション（SDIST）

「sdist」は、PIPや詩などの外部ツールから構(gòu)築するソースコードとメタデータを含むパッケージのソース分布です。 「sdist」は「bdist」の前に構(gòu)築する必要があります。 「PIP」がビルド分布が見つからない場合、ソース分布はフォールバックとして機能します。次に、ホイールを構(gòu)築し、パッケージ要件をインストールします。

バイナリ分布（BDIST）

`bdist`には、ターゲットデバイスの正しい場所に移動する必要がある必要なファイルが含まれています。最もサポートされている形式の1つは「.whl」です。 Pythonファイルをコンパイルしていないことに注意してください。

ライセンス

パッケージを外部の世界にオープンソーシングしている間、コードを再利用できる程度を示すライセンスを持つことを常にお勧めします。 GitHubでリポジトリを作成している間、そこでライセンスを選択するオプションがあります。使用オプションを備えた「ライセンス」ファイルを作成します。どのライセンスを選択するかわからない場合は、この外部リソースは救助に最適です。

パッケージを公開します

これで、パッケージを外部の世界に公開するために必要なすべての要件があります。したがって、1つのコマンドですべての手順を抽象化するパブリッシュコマンドを使用しています。

test.pypi.org

パッケージがどのように機能するか、またはテストの目的で確信が持てない場合は、公式リポジトリに直接アップロードするのではなく、test.pypi.orgに公開することをお勧めします。これにより、すべての人と共有する前にパッケージをテストする柔軟性が得られます。

pypi.org

公式のPythonパッケージには、Pythonコミュニティが発行するすべてのプライベートおよびパブリックソフトウェアが含まれています。著者や組織は、公式の中央リポジトリを通じてパッケージを共有するのに役立ちます。パッケージを世界に公開するのに必要なのは、この単一のコマンドだけです。

 Poetry Publish  -  -Build -Username $ pypi_username  -  password $ pypi_password

結(jié)論

この記事の終わりまでに、數(shù)百萬が使用する準備ができたPythonパッケージを正常に公開しました。詩を使用して新しいパッケージを初期化し、ユースケースに取り組み、テストを書き、パッケージを作成し、Pypiリポジトリに公開しました。これにより、あなた自身にもっと価値が追加され、それらがどのように構(gòu)造化されているかについてのさまざまなオープンソースPythonパッケージリポジトリを理解するのにも役立ちます。最後になりましたが、これはほんの始まりに過ぎず、可能な限り拡張可能にすることができます。オープンソースのPythonパッケージと分布を參照し、同じものからインスピレーションを得ることができます。

キーテイクアウト

• 詩を使用したマスターPythonパッケージの作成と管理。
• 多様なユースケースの評価メトリックを?qū)g裝およびカスタマイズします。
• ユニットテストフレームワークを備えた堅牢なPythonパッケージを構(gòu)築およびテストします。
• パッケージをPypiに公開し、配布形式を理解してください。
• オープンソースのパッケージ開発とライセンス慣行に関する洞察を得る。

よくある質(zhì)問

A.この記事は、Pythonパッケージの作成と公開を支援し、さまざまな評価メトリックにコミュニティが使用できるRAG評価ツールに焦點を當てています。

A.詩は、バージョン制御、仮想環(huán)境、およびタスクを単一のツールに統(tǒng)合し、開発と配布を容易にすることにより、依存関係管理とパッケージングを簡素化します。

A.記事では、參照テキストと比較して機械で生成されたテキストの品質(zhì)を評価するために一般的に使用されるメトリックであるBLEとルージュのスコアを計算する方法を詳しく説明しています。

A. UnittestやPytestなどのフレームワークを使用してパッケージをテストして、コードが期待どおりに機能し、エッジケースを処理し、公開前に自信を提供することを確認できます。

A.詩を使用してパッケージを構(gòu)築するか、テストしてtest.pypi.orgでテストし、詩の公開コマンドを使用して公式のpypi.orgリポジトリに公開して、一般に公開します。

この記事に示されているメディアは、Analytics Vidhyaが所有しておらず、著者の裁量で使用されています。

以上が詩でぼろきら評価者Pythonパッケージを構(gòu)築する方法の詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。