??

???? ??? ???? ??? ???? ??? ??? ???? ??? ??? ???? ???????? ???????. ??? ??? ??? ?? ??? ?? ? ??? ??? ?? ?? ?? ? ??? ???? ?????. ?? ???? ??? ????? ??? ??? ???? ???? ???? ?? ??? ??? ??? ? ? ????. ???? ??? Bleu ? Rouge ??? ???? ????? ???? ??? ?? ??? ?????. ??, ??? ?? ??? ??? ??? ? ?? ??? ?? ? ??? Python ?? ? ?? ?? ???? ?? ???? ?? ? ????.

?? ??

• ?? ???? ??? ???? ????? ????? ?? ?????.
• ?? ??? ?? ??? ???? ???? ?????.
• Bleu ? Rouge ??? ?? ???? ???? ?????.
• ?? ??? ???? ???? ?? ???? ???? ??????.
• ?? ? ???? ??? ???? Python ???? PYPI? ???? ??????.

? ??? Data Science Blogathon ? ??? ??????? .

??

• ?? ???? ??????
• ?? ??? ??? ??
• ??? ??? ??
• ?? ??? ??
• Bleu ??? ?????
• ?? ?? ??
• ??? ???
• ??? ?????
• ?? ? ?? ?? ??
• ???? ??????
• ?? ?? ??

?? ???? ??????

?? ????? ???? ??? ??? ???? ??????? ??? ??? ?? ??? ?????. ?? ???? ??? ??? ????.

• ?? ?? ??? ?? ? ??? ????.
• ?? ??? ? ??? ???? ?? ??? Python ??? ??? ?????.
• `poetry.lock` ??? ?? ???? ???? ??? ??? ?????.
• PYPI? ?? ???? ??????.

?? ?? OS? ?? ??? ?????? ??????.

 curl -ssl https://install.python-poetry.org | python3-

?? ?? ?? ??? ???? ??? ????? ? ???? ?? ? ????.

 ? ? package_name

Enter? ??? ????? ?? ? ??? ???? ??? ?? ????. ?? ?? ?? ??? ?? ??? ?????.

 ? ??

pyproject.toml

├ ── readme.md

poetry_demo

│ │ │─? __init__.py

Tests ???

└ ── __init__.py

??? ??? ? ?? Python ???? ?? ??? 'Flat'????? ???? 'SRC'????? ??? ? ????. ??? ???? ??? ???? 'SRC'????? ?? ????.

?? ??? ??? ??

???? ???? Python Evaluator ???? ??? ?????? ?? ?? ??? ???? ????. ???? ??? ??? ?? ???? ?? ?? ? ?? ???? ???? ????. ???? ??? ?? ???? ?? ?? ?????? ???????. ? ???? ?? ???? ??? ??, ????? ??? ?? ?? ? ??? ??? ?? ?? ? ? ??? ???? ?? ??? ????.

? ?? ???? ?? ??? ??? ??? ??? ???? ??????. ??? ??? ? ?? ???? ??? ???? ???? ???? ?????. ??? ????? ??? ????? ??? ???? ???????. ??? ?? ?? ?? ????? ???? ??? ? ??? ???? ??? ???? ??????. ????? ??? ???? ???? ????.

??? ??? ??

?? ??? ?? ??? ???? ??????? ??? ? ??? ?? ????? ?????. ? ??? ???? ?? ??? Python? ???? ABC - Abstract Base ???? ?????. ? ???? ??? ??? ??? ?? ???? ?? ? ??? ?? ???? ??? ???? ?? ?????. ?? ??? ???? ?? ? ??? ??? ???.

• ?? : ?? [??? ??], ?? [??? ??]
• ?? :`?? '(???? ??? ??? ??????? ??),`get_score` (?? ???? ?? ??? ???? ???)

 # src/evaluator_blog/evaluator.py

?? ??
?? ?? ???? ??
ABC ?? ?? ABC, AbstractMethod


??? ??? ? ?? (ABC) :
    def __init __ (??, ??? : ??, ?? : ??) -> ?? :
        self.candidates = ???
        self.references = ??

    @StaticMethod
    DEF ?? (
        ??? : ?? [str], ?? : ?? [str]
    ) -> Union [list [str], list [str]] :
        """_??_

        Args :
            ??? (?? [str]) : LLM?? ?? ? ??
            ?? (?? [str]) : ?? ? ??

        ??:
            Union [list [str], list [str]] : ??? ??? '??'?`?? '? ?????
        "" "
        _msg = str (
            "" "
            ?? ??? ??? (??)? ???? ????.
            "" "
        ))
        ?? .warn (_msg)
        max_length = max (Len (??), Len (??))
        ??? .extend ([ ""] * (max_length -len (??)))))
        ?? .extend ([ ""] * (max_length -len (??)))))
        ?? ???, ??

    @StaticMethod
    def list_to_string (l : list) -> str :
        ???? (
            ? (L)> = 1
        ), "???? ??? 1?? ??? ?????????"

        return str (l [0])

    @abstractmethod
    def get_score (self) -> float :
        "" "
        ??? ?? ??? ?? ??? ???? ??.

        ??:
            ??? ?? ???? ?? ??? ?.
        "" "

??? ???`__init () __`???? ?? ??? ??? IE ??? ? ??? ?? ?? ?? ?? ? ??? ?? ??? ???? ??? ? ? ????.

?? ??`??? '?`??'??? ???? ? ??? ??? ??? ?? ? ??? ??? ? ??? ?? ??? ?? ???? ?? ? ??? ??? ?????. ??? ?? ?? ??????? ??? ??? ???? ????.

?????,`get_score ()`? ?? ?? ??? ???? ???? ?? ???? ???? AbstractMethod ?????? ?????.

?? ??? ??

?? ????? ??? ??, ???? ??? ??. ?? ??? ?? ??? ???? ??? ??? ???? ? ?????? ?????. ??? ??`??? ', ? LLM ?? ???'?? ', ? ?? ??? ???? ?? ?? ?????. ???? ?? Bleu ? Rouge ??? ?????. ? ??? ???? ??? ??? ?? ???? ?? ?? ?????.

Bleu ??? ?????

?? ?? ?? ??? ??? ??? ???? ?? ??? ? ?? ?? (??)? ???? ?? ?? ? ?????. ?? ??? ???? ?? ??? ????. ?? ??? ???? ?? ?? ?? (??)? ???? ??? 0-1 ??? ??? ??? ???? 1 ?? 1 ?? ??? ???????. ??? ????? ???? n-gram (s) (n ??? ???)? ?????. ?? ??. ???? (1 ??)? ??? ? ??? ?? ??? ???? ?? ?????? ??? ? ??? ?????.

??? ?? ??? ?? ? ???? ????? ??? ? ??? ?? ??? ???? ?? ?? ? ????? ????. ??? Bleu? ?? ? ?? ??? ???? ?? ?? ?? ???? ???? ?? ?? ??????. ??? ? ?? ??? ??? ???? ???? ????. ??? BLEU ??? ?? N- ??? ???? ?? ?? ??? ?? 1-4 ??? ?? ??? ?????.

??

• ? ?? ??? ??? ??? ???????.
• ?? ???? ?? ?? ??? ????.

??

• ??? ??? ???? ????.
• ?? ??? ???? ????.
• ?? ????? ??? ?? ??? ???? ?? ????.
• ?? ??? ?? ?? ? ? ? ??? ???? ?????.

 # src/evaluator_blog/metrics/bleu.py

?? ?? ?? ??, ?? ??, ?? ??
src.evaluator_blog.evaluator import baveluator??

nltk.translate.bleu_score import corpus_bleu, smoothingfunction??

"" "
NLTK?? BLEU ??
"" "
??? BleusCore (Bainevaluator) :
    def __init __ (
        ??,
        ??? : ?? [str],
        ?? : List [str],
        ??? : ?? ?? [list [float]] = ??,
        Smoothing_Function : ?? ?? [Callable] = ??,
        auto_reweigh : ?? ?? [bool] = false,
    ) -> ?? :
        "" "
        BLEU ?? (?? ?? ?? ??)? ?????
        Papineni, Kishore, Salim Roukos, Todd Ward ? Wei-jing Zhu. 2002.
        "Bleu : ?? ??? ?? ?? ??."
        ACL ????. https://aclanthology.org/p02-1040.pdf

            Args :
                ??? (??? [list [float]], ?? ??) : ? bleu_score? ?? ???? ???. ???? ????.
                Smoothing_Function (?? ?? [Callable], ?? ??) : ??? ?? ?? ??? ????? ???? ?? ???? ??? ??? ???? ?? ??. ???? ????.
                auto_reweigh (?? [bool], ?? ??) : ?? N- ??  float :
        "" "
        ??? ??? ? ??? BLEU ??? ??????.

        Args :
            ??? (list [str]) : ?? ?? ??
            ?? (?? [str]) : ?? ?? ??
            ??? (?? ?? [list [float]], ?? ??) : Bleu ?? ????? ???. ????? (1.0, 0, 0, 0)
            Smoothing_Function (?? ?? [??]) : ???? ?? BLEU ??? ?? ??? ??

        ??:
            ??? : ?? ? BLEU ??.
        "" "
        # ???? ??? ??? ????? ??????.
        LEN (self.candidates)! = Len (self.references) :
            self.candidates, self.references = self.padding (
                self.candidates, ??
            ))

        # Bleu ??? ?????
        return corpus_bleu (
            list_of_references = self.references,
            ?? = self.candidates,
            weights = self.weights,
            smoothing_function = self.smoothing_function,
            auto_reweigh = self.auto_reweigh,
        ))

?? ?? ??

?? ????? ?? ?? ???? ??? ?? ?? ??? ?? ?? ??? ?????? ???? ?? ?? ? ?????. ??? ???? ??? ?? ?? ??? N- ??? ?????. ??? Rouge-N ?? ???????. ?? ??? ?? ?? ?? ???? ? ?? ???? ???? ?? ?? ??? ??? ? ????. ???? ?? ??? ?? ???? F1- ??? ??? ? ????. ?????`n`? ?? ?? ???? ?? ????. Rouge? ?? ??? ?? ???? ???? LCS (?? ? ?? ??)? ???? Rouge-L ?????. ?? ????, ??? ???? ?? ??? ?? ? ????. ??? ??? ??? ??? ??? ???? ?? ??? ????? ????.

??

• N- ??? ?? ? ?? ??? ???? ?? ??? ??? ??? ???? ? ?? ??????.
• Rouge? ?? ??? ??? ? ???? ??? ??? ?? ? ??? ?? ???????.

??

• Rouge? ?? ??? ??? ?? (N- ??)? ??? ?? ?? ?? ??? ???? ? ?? ???? ?? ? ????.
• Rouge? ???? ?? ??? ??? ???? ?? ?? ????.

 # src/evaluator_blog/metrics/rouge.py

?? ??
?? ?? ??, Union, Dict, Callable, Tuple, ?? ??? ?????
evaluator import Baveluator??
rouge_score import rouge_scorer??


??? ?? ??? (Baseevaluator) :
    def __init __ (
        ??,
        ??? : ??,
        ?? : ??,
        rouge_types : ?? ?? [Union [str, ?? [str]]] = [
            "rouge1",
            "rouge2",
            "??",
            "rougelsum",
        ],,
        use_stemmer : ?? ?? [bool] = false,
        split_summaries : ?? ?? [bool] = false,
        Tokenizer : ?? ?? [Callable] = none,
    ) -> ?? :
        super () .__ init __ (???, ??)

        # default`rouge_types`? ?? ???? ??? ????
        iSinstance (rouge_types, str) :
            self.rouge_types = [rouge_types]
        ? ??:
            self.rouge_types = rouge_types

        # 'use_stemmer'??? ?? ???? ???? ?? ??? ??????.
        self.use_stemmer = use_stemmer

        # ??? ? ?? 'rougelsum'? ?? ?? ??? ?? ??? ???? ?????.
        self.split_summaries = split_summaries

        # ???? ??? ?? 'Tokenizer'? ??????`rouge_scorer` ???? ???? ??
        # https://github.com/google-research/google-research/blob/master/rouge/rouge_scorer.py#l83
        Tokenizer :
            self.tokenizer = Tokenizer
        ? ??:
            self.tokenizer = ??
            _msg = str (
                "" "
                ?? ? ??? ??
                "" "
            ))
            ?? .warn (_msg)

    def get_score (self) -> dict :
        "" "
        ??:
            DICT : ?? ???? ?? ??? JSON ?
        "" "
        scorer = rouge_scorer.rougescorer (
            rouge_types = self.rouge_types,
            use_stemmer = self.use_stemmer,
            Tokenizer = self.tokenizer,
            split_summaries = self.split_summaries,
        ))

        return scorer.score (self.list_to_string (self.candidates), self.list_to_string (self.references))

??? ???

?? ??? ?? ?? ??? ?? ???? ??? ??? ???????. ??? ??? ??? ??? ???? ????. Python Library ??/???/?? ????`tests/`?? ?? ??? ?? ???? ?????. ? ?? ?? ???? ?? ????? ??? ????? ?? ?? ??? ? ????. ?? ?? ??? ??? ?? ??, ?? ?? ?? ???? ?????? ?? ? ? ????. ??? ? ?? ?? ? ??? ???? ?????. ??? ?? ??? ? ??? ???? ?? UnitTest? ??? ? ???, ??? ??? ??? ? ????. ??? ???? ??? 'Unittest` ?????? ???? ?? ???? ???? ? ??.

???? ?? ??? ??

`UnitTest`? ???? ??? ? ?? ??? ??? ??? ? ??? ??????.

• ??? ?? : ?? ??? ?? ??? ???? ?? ?? ??? ??.
• ??? ??? : ??? ??, ??? ? ?? ? ?. ?? ??? ?? ???? ???? ? ?????.
• ?? ?? ??? :`tests_`? ?? ?? ??? ?? ???? ???? ????????. ? ??? ??? ???? ???? ??? ???? ???? ?????.

??? ?????

?? ????? Python ??? IE???.`PIP ?? `??? ??? ? ?????. ?? ??? '.whl'??? ?????. ? ???`dist/`? ?????. ?? ? ??`.whl`? ?? ??`.gz`? ????. ?? ???? ?? ??? ?? ??? ???? ??? ?? ? ? ????.

 ? ??

?? ???`dist/`?? ??? ? ? ?? ??? ?????.

 dis/ dist/
package_name-0.1-py3-none-any.whl
package_name-0.0.1.tar.gz

Aliter, ??? Python ??? '??'???? ?? ? ?? ??? ???? ?? ??? ???? ????.

 Python3 -M PIP ?? -????? ??
Python3 -m ??

?? ? ?? ?? ??

?? ?? ? ?? ??? ???? ?? ?? ?????.

?? ?? (SDIST)

`sdist`? PIP ???? ?? ?? ???? ???? ?? ?? ??? ?? ???? ???? ???? ?? ?????. `sdist`?`bdist '?? ???????. `PIP`? ?? ??? ?? ??? ?? ??? ?? ??????. ?? ?? ??? ??? ??? ?? ??? ?????.

?? ?? (BDIST)

`bdist '?? ?? ??? ??? ??? ?? ???? ??? ??? ???? ????. ?????? ?? ? ???`.whl '???. ???? Python ??? ????? ???? ?? ??????.

??

???? ?? ??? ?? ???? ?? ??? ??? ? ??? ??? ???? ????? ?? ?????. GitHub?? ???? ???? ?? ????? ??? ??? ??? ????. ?? ????? '????'??? ????. ?? ????? ??? ? ??? ???? ?? ??? ?? ??? ??? ??? ????.

???? ??????

?? ??? ???? ?? ??? ???? ? ??? ?? ?? ??? ?? ????. ??? ??? ?? ???? ?? ??? ????? ?? ??? ???? ????.

test.pypi.org

???? ?? ?? ??? ???? ???? ??? ???? ?? ?? ?? ???? ?? ????? ?? Test.pypi.org? ???? ?? ????. ?? ?? ???? ?? ??? ???? ?? ???? ??? ? ??? ???? ?????.

pypi.org

?? Python ????? Python ?????? ?? ? ?? ?? ? ?? ?????? ???? ????. ??? ??? ?? ?? ???? ?? ???? ???? ?? ?????. ???? ??? ???? ? ??? ??? ?? ?????.

 ? ?? -?? --username $ pypi_username --password $ pypi_password

??

? ??? ?? ??, ??? ?? ??? ??? ? ??? ???? ????? ??????. ????? ???? ? ???? ?????, ?? ????? ?????, ???? ????, ???? ??? PYPI ???? ??????. ????? ???? ? ?? ??? ???? ??? ?? ?? ??? ??? ???? ????? ??? ?? ??? ?? ?? ??? ??? ???? ???? ? ??????. ?????, ??? ??? ??? ??? ? ?? ???? ?? ? ????. Open-Source Python ??? ? ???? ???? ???? ??? ?? ? ????.

?? ??? ??

• ?? ?? ??? ??? ??? ?? ? ??.
• ??? ?? ??? ?? ?? ??? ???? ??? ?????.
• ?? ??? ??? ??? ??? ??? ???? ???? ??????.
• ???? PYPI? ???? ?? ??? ??????.
• ?? ?? ??? ?? ? ???? ??? ?? ???? ?????.

?? ?? ??

A.? ??? ??? ?? ???? ?? ?????? ??? ??? Rag Evaluator ??? ??? ? Python ???? ??? ???? ? ??????.

A.?? ?? ??, ?? ?? ? ??? ?? ??? ???? ?? ? ????? ?? ?????? ??? ?? ? ??? ??????.

A.? ??? ?? ???? ???? ???? ?? ? ???? ??? ???? ? ????? ???? ??? ? BLEU ? ROUGE ??? ???? ??? ?? ??? ?????.

A. UnitTest ?? Pytest? ?? ??? ??? ???? ???? ????? ??? ???? ???? Edge Case? ???? ???? ?? ???? ?? ? ? ????.

A.?? ???? ???? ???? Test.pypi.org?? ??? ? ?? Poetry Publish ??? ???? ?? pypi.org ???? ???? ????? ?? ? ? ??????.

? ??? ??? ???? ?? Vidhya? ???? ??? ??? ??? ?? ?????.

? ??? ?? ?? ??? ??? ???? ??? ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!