??

??? ???? ?? ?? ???? ??? ?? ??? ???? ???? ??? ?? ?? ??? ????. ?? ?? ???? ??? ??????-??-?? ?? (RAG)? ???? ???? ?? ???? ???? ?? ???? ?? ? ??? AI? ????. ? ????? ???? ??? ??, ?? ? ???? ?????.

?? ??

• ?? ?? ???? ?? ???? ?? ??? ????? ??????.
• ???? ???? ?? ??? ??? ?? ??? ??? ???? AI? ??? ??? ????? ? ??????.
• ?? ??? ? ?? ?????? ?? ??? ????? ?? ?? ????? ??????.
• ?? ? ?? ??? ?? ??? ???? ?? ?? ???? ??? ??? ?? ???? ?????.
• AI ?? ??? ?? ? ???? RAG ???? ??? ???? ??? ??????.

? ??? Data Science Blogathon ? ??? ??????? .

??

• ?? ? ?? ?? ???? ??
• ?? ?? ???? ??? ?? ??? ? ??? ??????
• ?? ?? ???? ?? ???? ?? ??
• ?? ?? ???? ??? ?? ??
• ?? ?? ?? ???? ?? ??
  • 1 ?? : ??? ????? ??
  • 2 ?? : API ? ? ?? ?? ??
  • 3 ?? : ?? ????
  • STEP4 : ?? ? ?? ?? ??
  • 5 ?? : ???? ??
  • 6 ?? : ????? ?? ??
  • ????? Longlora ??? ?? ??? ?? ??
  • ????? ??? ?? ?? : ?? ? longlora ??
• ??? ?? ??
• ?? ?? ??

?? ? ?? ?? ???? ??

RAG (Restrieved-Augmented Generation)? ?? ??? ?? ??? ????? ??? ????? ?? ??? ????? ?????. RAG ??? ?? ? ?? ???? ???? ?? ?? ???? ?? ??? ?????? ???? ??? ?? ? ??? ?? ? ? ????.

?? ?? ???? ??? AI ????? ?? ??? ??? ?? ? ??? ????? ??? ?? ??????. ? ???? ?? ?? ??, ?? ?? ?? ?? ?? ??? ?? ??? ??? ??? ?? ???? ??? ?? ?????.

?? ?? ???? ??? ?? ??? ? ??? ??????

?? ?? ???? ??? ?? ????? ?????.

• ??? ?? ? ??? ?? : ? ?? ?? ?? ?? ??? ?? ???? ??? ??? ???? ?? ??? ??? ??? ???????. ??? ?? ??? ?? ??? ???? ????. ?? ??? ?????? AI??? ??? ??? ??? ? ??? ???? ???? ?? ?? ? ????.
• ???? ??? ?? ???? ????? : ??? ?? ?????“??? ??”????. ?? ?? ???? ??? ??? ????? ??? ?????. ??? ??? ??? ?????? ??? ??? ? ???? ??? ? ????. ??? ?? ??? ??? ?? ??? ??? ??? ??? ?????.
• ?? ???? ???? ????? . ???? ????? ???? ?????. ?? ?? ???? ??? ?? ? ??? ????. ??? 24 ?? ?? ??? ?? ??? ?? ?????? ???? ???? ?? ??? ?? ????.
• ?? ???? ?? ??? ?? ?? : ??? ?? ??? ?? ? ??? ??? ??? ??????. ??? ??? ???? ?? ?? ???? ??? ???? ?? ? ? ????. ?? AI ?????? ?? ?? ???? ?? ??? ?? ??? ??? ?? ????? ??? ?????.

?? ?? ???? ?? ???? ?? ??

?? ?? ?? ???? ?? ???? ?? ??? ?? ?????.

• ?? ?? ?? : ????? ?? ?? ?? ???? ??? ???? ? ? ? ?? ? ?? ?????. ?? ?? ???? ???? ??? ???? ??? ??? ???? ?? ???, ??? ?? ? ??? ??? ???? ??? ???? ?? ? ? ??? ?????.
• ?? ?? ?? ?? : ???? ?? ??, ?? ? ?? ??? ?? ????. ? ??? ?? ?? ??? ???? ???? ??? ?? ??, ??? ? ?? ???? ?? ? ? ???,? ?? ?? ?? ???? ? ?? ?? ? ?? ?? ? ????.
• ?? ?? ?? ????? : ??? ???? ???? ?? ??????. ?? ?? ???? ??? ?? ??, ?? ??? ? ?? ???? ????? ???? ??? ???? ???? ??? ? ?? ?? ? ??? ?? ??? ? ?? ?? ? ??? ?????.
• ?? ?? ?? ?? : ???? ? IT ???? ?? ?? ??? ???? ??? ??? ?? ?? ?? ???? ??? ???? ?? ????. ? AI ?? ?? ??? ?? ???, ?? ?? ??? ? ?? ??????? ?? ??? ??? ???? ?? ? ? ???, ??? ?? ??? ?? ? ? ????.

?? ?? ???? ??? ?? ??

?? ??? ??? ????? ?????? ????? ???????. ? ??? ?? ?? ?? ?? ??? ??? ???? ?? ??? ??? ???? ??? ??? ?? ? ? ????. ??? ????? ?? ?? ???? ?? ?????? ????. ?? ?????? ?? ?? ??? ?????.

?? ??

?? ??? ?? (PDF, ? ???, ?? ?? ?)? AI? ??? ??? ???? ?????.

??? ??

?? ? ???? ??? ??? ??? ???? ?? ?? (?? ???)? ?????.

??? ???, ??????? ? ??? ?? ?? ??? ??? ????? ?? ?? ?? ? ??? ???? ?? ???????. ? ??? ???? ??? ???? ?? ? ??? ???? ??? ??? ?????.

???

? ???? ???? ???? ???? ??? ????. ??? ??? ???????? ???? ?? ???? ?? ????? ??? ?? ????. ?? ?? AI? ?? ?? ??? ??? ???? ??? ?? ??? ???? ?? ? ????.

??

?? (??? ??)? ???? ??? ? ????? ?? ???? ?? ??? ????. ??? ? ?? ?? ??? ??? ?????? ?? ???? ????? ??? ?? ??? ?? ?? ?? ?? ???? ?? ????? ?????.

???? ?? ??

AI ????? ??? ??? ??? ???? ???? ?? ????? ??? ?????. ??? ??? ??? ???? ??? ??? ? ?? ??? ???? ?? AI ??? ?? ?? ????. ??? ?? ??? ?? ???? ???? ???? ?? ?? ??? ??? ? ????.

??

???? ??? ??? ??? ?? ??? ?? ??? ??? ?????. ???? ??? ?? ??? ??? ??? ???? ??? ??? ?????. ??? ??? ???? ?? ? ?? ??? ??? ?? ?? ??? ??? ?? ???? ???? ?????.

? ??? ??? ???? ?? ?? ???? ?? ???? ??? ?? ??? ????? ???? ??? ???? ?? ??? ??? ??, ?? ? ?? ?? ??? ?? ?????.

?? ?? ?? ???? ?? ??

3 ?? ?? ??? ?? ?? ??? ??? ???? ??? ??? ???. ?? ??? ????? ??? ??? ???? llama_index ?????? ???????.

1 ?? : ??? ????? ??

AI ????? ???? ????? ??? ?????? ???????. ??? ???? ??? ??? ????.

• Python ?? : ???? Python? ???? ??? ??????. ?? Python ? ????? ???? ? ? ???? : Python ????
• ?? ?? ?? : ????? ???? ?? ? ??? ?? ??? ??? ?? ????. ?? ??? ????? ?? ??? ??????.

 Python -m venv ai_agent_env
?? ai_agent_env/bin/activate # windows?? # ai_agent_env \ scripts \ actibate`? ??????

• OpenAI API ? Llamaindex? ??????.

 PIP Openai llama-index == 0.10.27 llama-index-llms-openai == 0.1.15
PIP ?? llama-index-embeddings-openai == 0.1.7

2 ?? : API ? ? ?? ?? ??

OpenAI API? ????? API ?? ?????. ?? ??? ?? API ?? ??????.

• API ?? ????? : OpenAI ? ????? ??? ???? API ???? API ?? ?????.
• ?? ?? ?? : API ?? ?? ??? ???? ???? ??????. .bashrc ?? .zshrc ??? ?? ?? ?? (?? ?? ??? ??? ??? ??????).

 ???? OpenAi_api_key = 'your_openai_api_key_here'

• ???? API ?? ??????? : Python ???? ??? ?????? ???? OS ??? ???? API ?? ???????.

 OS ?? ??
OpenAi ?? ??
Nest_asyncio? ?????
llama_index.core.node_parser import sentencesplitter??
llama_index.core.tools import functionTool, QueryEnginetool
llama_index.core.vector_stores?? metadatafilters, filtercondition
llama_index.core?? agent import functionCallingAgentWorker
llama_index.core. Agent import agentrunner
?? ?? ?? ???? ?? ??
?? ?? ????
Openai.api_key = os.getenv ( 'Openai_api_key')

#optionally??? OpenAI ?? ?? ?? ? ? ????. (?? ??? ??)
#openai.api_key = 'your_openai_api_key_here'

Nest_asyncio.apply ()

3 ?? : ?? ????

??? ?????, ??? ???? ??? ??? ?? ? ?? ?? ? ???? ????. ???? ???? ??? ?? ????? ? ?? ???? ?? ? ????. ??? ??? ??? ? ???? (?????).

 # ???? ? URL ??
urls = [
    "https://openreview.net/pdf?id=vtmbagcn7o",
    "https://openreview.net/pdf?id=6pmjorfdak",
    "https://openreview.net/pdf?id=hsyw5go0v8",
]]

# ??? ?????? ?? ?? ??
?? = [
    "Metagpt.pdf",
    "longlora.pdf",
    "selfrag.pdf",
]]

# ? ??? ?? ???? ??? ???? ? ??? ????????.
URL? ?? zip (urls, papers)? ?? :
    subprocess.run ([ "wget", url, "-o", paper])))

STEP4 : ?? ? ?? ?? ??

?? ?? ? get_doc_tools? ?? ?? ??? ?? ?? ??? ? ?? ??? ????? ???????. ? ??? ???? ?? ?? ?? ?? (RAG) ???? ???? ??? ???? ???? ? ??????. ??? ??? ?????.

 def get_doc_tools (
    file_path : str,
    ?? : str,
) -> str :
    "" "???? ?? ?? ? ?? ?? ??? ?????." ""

???? ? ?? ??? ??

? ??? ??? file_path? ?? ?? ??? ??? ?? SimpledirectoryReader? ???? ??????? ?????. ??????? ??? ?? 1024 ??? ???? ??? ?? ?? ?? ??? ??? SentencesPlitter? ?? ?????. ?? ?? ??? ??? ???? ?? ?? ??? ???? ?? ? VectorStoreIndex? ???? ??????. ? ???? ??? ?? ???? ???? ?? ???? ???? ? ????? ?? ????? ?? ???? ? ? ????.

 # ??? ?? ???? ????????
documents = simpledirectoryReader (input_files = [file_path]). load_data ()

#?? ? ??? 1024 ?? ?? ?? (??)? ??
???? = sentencesplitter (chunk_size = 1024)
?? = splitter.get_nodes_from_documents (??)

# ???? ?? ?? ??? ?? ???? ?? ??? ??
vector_index = VectorStoreIndex (??)

?? ?? ?? ??

???? ??? vector_query? ???? ??? ?? ???? ??? ?????. ? ??? ?? ???? ??? ??? ?? ??? ?????. ??? ??? ???? ??? ?? ??? ?????. ? ??? ?? page_numbers? ????? ?????. ??? ?? ?? ???? ? ???? ?????.

?? ?? ??? ??? ??? ???? ?? ??? ??? ????. ? ??? ??? ?? ???? ??? ??? ? ??????. query_engine? ?? ???? ???? ???? ??? ?? ?? ?? ??? ??? ???? ?? ???? ?? ??? ?????. ?????,? ???? ??? ???? ??? ???? ??? ?????.

 # ?? ?? ??
    def vector_query (
        ?? : str, 
        page_numbers : ?? ?? [list [str]] = none
    ) -> str :
        "" "??? ??? ?? ??? ???? ? ?????.
    
        ??? ?? ???? ????? ?? ?????.
        ????? ?? ?????? ? ?? page_numbers? ???? ?? ????.
    
        Args :
            ?? (str) : ?? ? ??? ??.
            page_numbers (?? ?? [list [str]] : ??? ???? ??. ???? ????? 
                ?? ??? ?????
                ?? ?????. ??? ??? ??? ??? ???? ??? ???????.
        
        "" "
    
        page_numbers = page_numbers ?? []
        Metadata_dicts = [
            { "?": "page_label", "value": p in page _numbers
        ]]
        
        query_engine = vector_index.as_query_engine (
            ??? _top_k = 2,
            ?? = metadatafilters.from_dicts (
                ?? ??? _dicts,
                ?? = FilterCondition.or
            ))
        ))
        ?? = query_engine.query (query)
        ?? ??

?? ?? ?? ??

? ?? ?? ??? ??? ?? ? vector_query ??? get_doc_tools? ?? ? ? ??? ?? ?? ??? ???? ???? ?? ? ??? ???? ?? ? vector_query_tool? ????.

? ??? functiontool.from_defaults? ???? ???? ??? ????? ?? ?????. ? ??? ?? ??? ?? ? ??? ???? ??? ?? ?? ?? ??? ???? ? ??? ? ????.

       
    # ?? ?? ?? ??
    vector_query_tool = functionTool.from_defaults (
        ?? = f "vector_tool_ {name}",
        fn = vector_query
    ))

?? ?? ?? ??

? ??? ?? ??? ??? ??? ?????? ??? ????. ??, ??? ?? ? ??? ? ???? SummaryIndex? ????. ? ??? ??? ?? ??? ?? ???????. ?? ?? summary_query_engine? "tree_summarize"? ?? ??? ????,? ??? ?? ??? ??? ??? ?? ? ? ????.

Summary_Tool? QueryEnginetool.from_defaults? ???? ????? ???? ?? ??? ?? ?? ??? ???? ???? ?? ? ???? ?????. ? ???? ?? ?? ??? ?? ??? ???? ??? ?????. ? ?? ??? ???? ??? ??? ???? ??? ??? ???? ? ??? ? ????.

 # ?? ?? ??
    summary_index = summaryIndex (??)
    summary_query_engine = summary_index.as_query_engine (
        response_mode = "tree_summarize",
        use_async = true,
    ))
    summary_tool = QueryEnginetool.from_defaults (
        ?? = f "summary_tool_ {name}",
        query_engine = summary_query_engine,
        ?? = (
            f "{name}? ??? ?? ??? ?????."
        ),)
    ))

    return vector_query_tool, summary_tool

?? ?? ? ??? ?? ??? ???? ??

 paper_to_tools_dict = {}
??? ?? :
    print (f "?? ?? ?? ?? : {paper}")
    vector_tool, summary_tool = get_doc_tools (??, ?? (??) .Stem)
    paper_to_tools_dict [paper] = [vector_tool, summary_tool]

initial_tools = [paper_to_tools_dict [??]?? t? ?? ??? ?? ? ??.]
Len (??? _tools)

? ??? ? ??? ???? ??? ? ?? ??? ?????. ??? ????? ?? ?? ? ??? ??? ?????? ?? ??,? ?? 6 ??.

5 ?? : ???? ??

???? ????? ??? ??? ??? ???? ??? FunctionCallingAgentWorker ???? ???? ????? ?? ????. ??? LLM?? "gpt-3.5-turbo"? ??? ????.

 llm = openai (model = "gpt-3.5-turbo")

agent_worker = functionCallingAgentWorker.from_tools (
    initial_tools, 
    llm = llm, 
    Verbose = true
))
???? = agentrunner (Agent_worker)

? ????? ?? ??? ?? ? ? ?? ??? ?? ??? ?? ? ? ????.

6 ?? : ????? ?? ??

??? ????? ? ??? ?? ?????? ??? ? ??? ????. ??? ??? ??? ?????? ?? ?? ?????.

????? Longlora ??? ?? ??? ?? ??

? ???, ??? ?????? ? ?? ?? ??, ?? Longlora ??? ?? ? ?? ??? ?? ? ??? ?? ? ?? ?? ???? ?? ??? ????? ??????. ????? ?? ?? ??? ???? ??? ?? ???? ??? ???? ???? ??? ??? ????.

• ??? ?? : ???? Longlora? ?? ??? ?? ? ?? ??? ??? ?????. ?? ?? ??? ??? ??? ??.
• ????? ?? ?? : ????? ?? ??? ??? ?? ??? ?? ??? Longlora ??? ???? ?? ?????. Longlora ??? ??? ??? ?? ?? ?? ? Vector_Tool_Longlora ??? ?????.

 === ?? ?? ===
?? ?? : args??? vector_tool_longlora : { "??": "?? ??? ??"}

• ?? ??? ??? ?? ?? : ????? ???? ?? ??? ???? Longlora? ?? ? ?? ??? ??? "PG19 ??? ??"?? ?????. ?? Long-Form ??? ???? ?? ?? ?? ??? ????? ???? ??? ?????.
• ????? ? ?? ?? ?? : ? ?? ??? ?? ????? ??? ??? ? ?? ??? ???? Longlora? ?? ??? ?? ??? ?????.

 === ?? ?? ===
?? ?? : args??? vector_tool_longlora : { "??": "?? ??"}

• ?? ????? ?? ?? : ????? ???? ??? ? ? ?? ? ???? ??? ??? ? ?? ??? ???? ??? ??? ?????. ? ? ???? ? ? ?? ???? ?? (100k, 65536 ? 32768)? ??? ?? ?? ??? ?????. ?? ?? ? ??? ?? ???? ?? ? ?? ???? ??? ?? ??? ?? ? ??? ???? ??? ???? ??? ?????.
• ?? LLM ?? : ????? ??? ??? ??? ?? ?? ??? ???? ??? ???? ??? ?????. ?? ??? ? ??? ????? ?? ??? ?? ?? ??? ??? ????.

?? ??? ?? ? ?? ?

????? ??? ?? ?? : ?? ? longlora ??

? ?? ????? ???? Longlora? ??? ???? ??? ?????. ? ?? ?? ? ??? ?? ?? ????.

?? ?? ??

 === ?? ?? ===
?? ?? : args? ?? Summary_Tool_selfrag : { "??": "??-??"}

?? ??? ?? ? ??? ?? ?? ?? ?? ??? ??? ?? ??? ??, ???? ????? ?? ?? ? longlora ??? ??? Summary_Tool ??? ?? ??????. ?? ????? ??? ??? ?? ?? ???? ?? ??? ???? ??? ?????. ? ?? ??? ??? ? ????? ??.

??? ?? ??? ?? ??? ??

 === ?? ?? ===
?? ?? : args? ?? Summary_Tool_Longlora : { "??": "longlora"}

????? ??? Summary_Tool_selfrag ? Summary_Tool_Longlora? ???? ??? ????, ?? ?? ??? ????? ?? ? ??? ??? ?????. ?? ?? ??? ???? ?? ? ??? ?? ?? ? ??? ?? ??? ????? ? ???? ?????.

??? ???? ???

????? ?? ? ??? ???? ????? ?? ??????. ?? ????? ?? ?? ??? ?????? ??? ? ??? ???? ?? ? ?? ??? ????? ?? ??? ???? ????? ?? ? ? ??? ?????.

? ?? ??? ??? ?? ? ??? ???? ? ?? ? ?? ??? ??? ???? ????? ??? ?????. ??? ??? ??? ???? ??? ??? ?? ?? ??? ???? ??? ???? ?? ???? ???? ?????.

??? ?? ??

?? ?? ???? ??? ????? ???? ? ? ?? ??? ????.

• ?? ? : ??? ?? ???? ?? ???? ??? ? ??? ??????.
• ??? : ????? ?? ??? ??? ?? ? ? ??? ??? ????????.
• ???? ? ??? : ???? ??? ?? ?? ? ?? ?????? ?????.
• ?? ??? : ?? ?? ??? ???? ????? ?? ??? ??? ? ? ????.

??

?? ?? ???? ??? AI ???? ??? ??? ????? ?? ??? ??? ?????? ???? ???? ?? ??? ???????. ? ???? ??? ?? ?? ? ??? ??? ??, ?? ?? ? ?? ??? ?? ??? ???? ?? ??? ????. ? ???? ???, ???? ?? ?? ? ??? ?? ????? ?????? AI ?? ???? ??? ???? ?????? ??? ?? ??? ? ?????? ??? ?? ??????? ?? ?????. ??? ?? ???? ?? ?? ?? ???? ??? ??? ?? ????? ???? ???? ???? ? ???? ??? ? ????? ????.

?? ??? ??

• ?? ?? ???? ??? ?? ??? ??? ???? AI ?? ???? ??????.
• ??? ? ???? ?? ??? ?? ?? ? ??? ??? ???? ???? ???? ??? ??????.
• ? ???? ??, ?? ?? ? ?? ??? ?? ??? ???? ?? ??? ????.
• ?? ?? ????? ?? ?? ??? ???? ??? ?? ??? ?????.
• ?? ?? ???? ??? AI ?? ??? ?? ? ??? ???? ??? ??? ?????.

?? ?? ??

A. ?? ?? ???? ??? RAG (Retrieval-Augmented Generation)? ?? ???? ?? ???? ???? AI? ?? ???? ?? ? ? ??????.

A. ??? ??? ??? ???? ???? ???? AI? ??? ?????? ??? ??? ?? ? ? ????.

A. ?? ??, ?? ?? ??, ?? ????? ? ?? ???? ?? ??? ????.

A. ?? ?? ???? ?? ??, ??? ??, ???, ??, ???? ?? ?? ? ??? ?????.

A. ???? ???? ?? ??? ???? ???? ?? ? ????? ?? ??? ??? ??? ?????.

? ??? ??? ???? ?? Vidhya? ???? ??? ??? ??? ?? ?????.

? ??? llamaindex? ???? ?? ?? ???? ?? ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!