Mistral Nemo : ??? ?? ?? ??? LLM

Mistral AI? Nvidia? ?? ?? ? Mistral Nemo? ??? ?? ?? ?? ??? ???? ??? ?? ?? ?? ?? ?? (LLM)???. ? 12 ? ?? ?? ?? ??? ?? ??, ?? ?? ? ?? ?? ????? ??? ? ???? ??? Mistral 7B? ???? ??? 128k ?? ???? ?? ?????. ? ??? ??, ?? ???? ? ???? ?????.

?? ?? :

• ?? ?? ? ???? : Mistral Nemo? ???? ??? ? ??? ??? ??????.
• ?? ? ???? ? : 128K ?? ????? ???? ???? ??? ??? ?? ? ? ??????.
• ??? ?? : ??, ????, ???, ???? ?? ??? ?? ??? ???? ??? ?? ????? ?????.
• Advanced Tokenizer : Tekken Tokenizer? ???? ?? ??? ?? ??? ??? ? ?? ??? ?????.
• ?? ??? ??? : Hugging Face, Mistral AI? API, Google Cloud? Vertex AI ? Mistral AI ? ???? ?? ??? ? ? ????.
• ?? ? ?? ?? : ?????? ????? ??? ???? ??? ??????? ??? ???? ????.

?? :

• Mistral Nemo : ??? ??
• Tekken ?? ??
• ???? ?? ?? :
  • ?? ??
  • Mistral AI API
  • ?? ai
  • Mistral AI?? ??
• ?? ?? ??

Mistral Nemo : ??? ??

??? ?? ??? ?? ??? Mistral Nemo? ?? ??? ?? ??? ??? ???? ??? ??? ?? ???? ???? ?? ?????. ?? ?? ??? ???? ???? ??, ??, ?? ?? ?? ?? ? ?? ??? ?? ??????. 128K ???? ??? ?? ??? ?? ?? ??? ?? ???? ?? ? ? ??????.

Tekken ?? ??

Mistral Nemo? 100 ?? ?? ??? ?? ? Tiktoken? ?? ? ?? ? Tekken ?? ??? ?????. ? ?? ??? ??? ??? ? ?? ??? ??? ?? ???? ??? ?? ?? ??? ?????. ?? ??? ?? ???, ????, ????, ???, ????, ????, ?? ? ???? ??? ?? ???? ??? ????.

???? ?? ??

? ?? ??? Mistral Nemo? ?? ???? ?????.

1. ?? ?? :

? ??? Hugging Face Model Hub?? ?? ??? ? ????. transformers ?????? ???? ??? ?????.

 Transformers?? AutoTokenizer? AutomodElforcausAllm? ?????
model = automodelforcausallm.from_pretrained ( "mistralai/mistral-nemo")
Tokenizer = autotokenizer.from_pretrained ( "mistralai/mistral-nemo")

2. Mistral AI API :

Mistral AI? ?? API? ?????. ??? ???? ??? API ?? ?????. requests ?? ? :

 ?? ?? ??
# ... (?? ???? ?? API URL, ?, ??, ???) ...

3. ?? AI :

Google Cloud? Vertex AI? ?? ? ??? ?????. ?? ???? ??? ????, ?? ???? ???, ????, AI ??? ?? ???? ??????.

4. ?? ??? (Mistral AI ? ???) :

??? ??? ? ?? ?????? Mistral AI ? ????? ?? ?????.

Vertex AI? ?? Mistral Nemo ?? (?? ?) :

(?? ??? ???? ???? ?? ?? ????? ?? ???? ?????)

??:

Mistral Nemo? ?? ?? LLM? ??? ??? ?????. ??? ????? ??? ??, ???? ?? ?? ? ???? ?? ??? ?? ??? ?? ?????? ????? ??????.

?? ?? ?? :

(FAQ ??? ?? ???? ????, ?? ??? ?? ??? ?? ??)

? ??? Mistral Nemo ??? : ??, ?? ???? ? ???? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!