2023??? AI? ?? ?? ??? ?? ?? ??? ???? ????. ??? AI? ?? ??, ?? ?? ? ?? ??? ??? ??? ????? ???? ????. ???? ?? ??? Transformer? ?? AI ??? ?? ????? ?????? MoE(Mixture of Experts) ????? ???? ? ?? ?? ??? ???? ??? ???? ? ??? ?????? LVM(Large Vision Model)? ?? ?? ???? ??? ???? ? ? ????? ...?? 6?? ?? ??? ? ???? 2023 PRO ?? ?????? ? ??? ?? ??? ?? ??? ?? ?? ??? ???? 10?? ?? ??? ???? ??? ???? ??? ??? ???? ? ??? ????. ?. ?????. ? ??? 2023 Week50 ?? ???? ?
??: 12? 12?
???: Mistral AI? MoE(Mixture-of-Experts, Expert Mixture) ????? ???? ?? Mixtral 8x7B ??? ???????? ??? Llama 2 70B ? GPT-3.5" ??? ??? ??????.
?? MoE? ????, ? ??? ???????
1. ??:
MoE(Mixture of Experts)? ?? ?? ??(?: ???)? ??? ????? ?????. , ? ?? ?? ?? ??? ?? ??? ????? ???? ?? ?????. MoE? ?? ????? ??? ????? ???? ? ????? ?? ??? ???? ??? ???? ?? ??? ???? ????.
2. ?? ?? ??:
?? ??? ?? ??(MoE)? ??? ??? ??? ??? ??? ??? ???? ???? ? ?? ?????. ? ??? ??? ?? ??? ??? ???? ??? ???? ?????.
① Gated ????? ????? ? ??? ? ? ??? ????? ?????. ;
② ??? ????? ????? ? ???? ??? ??? ??? ?????? ?????.
3 MoE? "???"? Ensemble Learning???. . ??? ??? ??? ??? ???? ?? ?? ??(?? ???)? ???? ??? ??(?: ?? ?? ???)? ???? ???????. ??? ??? ?? ??? ???? ??? ??? ??? ???? ?? ??? ????? ????. ???? ??? ?? ???? Bagged, Boosting ? Stacking? ????.
4. MoE ??? ??:
① MoE? ??? 1991? ?? "Adaptive Mixture of Local Experts"? ??? ?????. ? ????? ?? ??? ?? ?? ??? ???? ?? ? ?? ???? ?? ???? ?? ?? ?? ?? ????? ??? ???? ?? ?? ????? ???? ?? ??? ??? ??? ??? ?? ??? ?????. ? ???? ???? ??? ????? ?? ?????. ?? ???? ???? ????? ?? ??? ????.
② 2010??? 2015? ??? ? ?? ?? ?? ??? MoE? ?? ??? ??????.
??? ?? ????? ??????. ???? MoE ???? ?? ???? ??? ????? ?? ???? ?????. ?? ????? MoE? ?? ?? ??, ??? ???? ? ?? ???? ???????. "???? ?? ???? ?? ?? ??"??? ??? ? ?? ????? ?? ???? MoE? ???? ?????. ?? ?? ??? ??? ?? ???? ? ? ????.
?? ??? ??? ?????. ?? ????? ? ???? ?? ?? ?? ???? ?????. ? ?? ?? Yoshua Bengio? ?? ??? ???? ?? ??? ???? ?????? ?????? ??? ??????.
3 ????? ???? ??? ??? ???? ???? ?? ??? ???? ??????. "Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer"?? ????? ???? ???? 137B LSTM?? ???? ????? ?? ??? ??????.
??? ?? ?? ??? ???? ??? ??????1. ????? ?? ??? ??? ?? ??? ??? ??? ??? ???, ??? ???? ??? ??? ?? ?? ??? ?? ??? ?????. ? ??? ???? ?? ?? MoE ??? ??? ??? ?? ????? ?????.
2. MoE(Sparse Mixed Expert Model)? ?? ??? ??? ?? LLM(?? ?? ??)? ?? ??? ????? ??? ? ?? ?? ??? ??????, ?? ??(Instruction Tuning)? LLM? ??? ???? ????? ?????. .
3. MoE+ ?? ?? ?? ??? ??? ?? ??? ??? ?? ???? ? ????. 2023? 7?, Google, UC Berkeley, MIT ? ?? ??? ????? "Mixture-of-Experts Meets Instruction Tuning: A Winning Combination for Large Language Models"?? ??? ???? ????? ??? ??(MoE)? ??? ??? ???????. ??? ??? ?? LLM(?? ?? ??)? ??? ?? ??? ? ????.
① ????? ????? ??? ?? ??? ?? ????? ??? ?? FLAN-MOE ???? ?? ??? MoE? ????, ? ?? ?? ??? ??? ??? ???? ?? Transformer ??? ????? ?? ??? MoE ???? ??????. ??, FLAN ?? ??? ??? ???? FLAN-MOE? ?? ?????.
② ?? ??? ???? ????? ??? ?? ?? ?? ????? ??? ?? ?? ?? ??, ??? ?? ? ????? ??? ?? In-Context Few-Shot ?? Zero-Shot ???? ?????, ??? ????? ?? ????? ??? ??? ?? ???? ? ?? ?? ???? LLM? ?? ??? ?????.
3 ?? ??? ??? ?? ??? ???? ??? MoE ??? ??? ?? ??? ?? ?? ???? ??? ???? ??? ????. ??? ??? ??? ???? ??? ?????. ??? ?? MoE ??(Flan-MoE)? MoE ??? ?? ??? ?? ?? ??? 1/3? ?????? ?? ???? ? ? ?? ???? ??? ?????. ??? ?? ??? ??. MoE ??? ?? ??? ?? ?? ??? ?? ??? ????. ??? ??? ???? ??? ??? ? MoE? ??? ?? ?? ??? ?? ??? ??? ? ????.
4. ??? ??? Mixtral 8x7B ??? Sparse Mixed Expert Network? ?????.
① Mixtral 8x7B? ??? ?? ?????. ????? ??? 8?? ?? ?? ???? ?? ??? ?????. ????? ? ???? ? ??? ?? ??? ????? 8? ??(???) ? 2?? ???? ??? ???? ?? ??? ?????.
② Mixtral 8x7B ??? ?? ??? 6? ? ??? ???? ?????? Llama 2 70B ? GPT3.5? ????? ??? ??? ?????.
MoE? ??? ??: ????? ??????
1. ??? ?? ????? ? ??? ?? ???? ???? ???. ?? ?? ??? ????? ?? ???? ??? ? ??? ??? ??? ????? ???? ??, ???? ??? ??? ??? ?????. ??? ???? ?? ???? ??? ?????. ??? ??? ?? ?? ? ?? ????? ???? ??? ????? ???
? ??? PRO | MoE ??? ?? ??? ? ???? ??? ??????? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!
? AI ??
Undress AI Tool
??? ???? ??
Undresser.AI Undress
???? ?? ??? ??? ?? AI ?? ?
AI Clothes Remover
???? ?? ???? ??? AI ?????.
Clothoff.io
AI ? ???
Video Face Swap
??? ??? AI ?? ?? ??? ???? ?? ???? ??? ?? ????!
?? ??
??? ??
???++7.3.1
???? ?? ?? ?? ???
SublimeText3 ??? ??
??? ??, ???? ?? ????.
???? 13.0.1 ???
??? PHP ?? ?? ??
???? CS6
??? ? ?? ??
SublimeText3 Mac ??
? ??? ?? ?? ?????(SublimeText3)
???? ?? ??? ?? ?? MoE ??? ??? ????. ??? ??? GPT-4? ???? ??? GPT-4-Turbo? ?? 1%? ?????.
May 07, 2024 pm 04:13 PM
?? ???? ??? ?? ??? ? ?? ???? ? ???? ??? ???? ?? ?? ??? ??? ???. ??? ???? ??? ????. DeepSeek-V2[1], ???? ?? ??? ?? ?? MoE ??? ??? ????. DeepSeek-V2? ???? ??? ???? ????? ??? ?? ???(MoE) ?? ??? ??? ?????. ?? 236B ????? ????, ? ? 21B? ? ??? ????? ? ?????. DeepSeek67B? ???? DeepSeek-V2? ? ??? ??? ???? ??? ?? ??? 42.5% ???? KV ??? 93.3% ??? ?? ?? ???? 5.76?? ????. DeepSeek? ?? ????? ???? ?????.
'Defect Spectrum'? ?? ?? ??? ??? ???? ???? ? ??? ???? ?? ?? ??? ??? ?????.
Jul 26, 2024 pm 05:38 PM
?? ????? ??? ?? ??? ?? ??? ???? ??? ?? ??? ?? ???? ????? ????? ???. ??? ?? ?? ?? ?????? ?? ??? ??? ???? ???? ???? ??? ??? ?? ??? ?? ?? ????? ??? ??? ? ?? ???. ? ??? ???? ?? ??? ???????? Simou Technology? ??? ?? ???? ?? ??? ?? ???? ?????? ??? ??? ??? ???? "DefectSpectrum" ??? ??? ????? ??????. ? 1?? ? ? ???, ?? ?? ??? ??? ???? "DefectSpectrum" ??? ??? ?? ?? ?? ??(5438?? ?? ??)? ?? ??? ?? ??(125?? ?? ????)? ?????.
NVIDIA ?? ?? ChatQA? ?? 2.0?? ????? ???? ??? 128K? ???????.
Jul 26, 2024 am 08:40 AM
?? LLM ????? ??? ?? ?? ???? ?????. Llama-3-70B-Instruct, QWen2-72B-Instruct, Nemotron-4-340B-Instruct, Mixtral-8x22BInstruct-v0.1 ?? ?? ? ????. ??? ???. ??? GPT-4-Turbo? ???? ?? ?? ??? ???? ??? ??? ??? ???? ???? ??? ??? ??? ????. ?? ?? ??? ????? ? ??? ?? DeepSeek-Coder-V2, ?? ?? ??? ?? InternVL? ?? ?? ??? ???? ?? ?? ??? ??? ???????.
??? ?? ?? ???? ???? ???? ?? ??? ???? ??? ??? PhAI? Science? ???????.
Aug 08, 2024 pm 09:22 PM
Editor |KX ????? ??? ???? ? ? ???? ????? ???? ?? ???? ??? ?? ??? ???? ?? ?? ???? ??? ? ????. ??? ?? ? ??? ?? ?? ??? ????? ??? ???? ?? ??? ???? ????. ??? ???? ??? ????? ?? ?? ??? ???? ?? PhAI?? ??? ??? ??????. ??? ?? ?? ?? ??? ?? ???? ?? ?? ???? ???? ??? ??? ???? ??? ?? ?? ?? ??? ? ????. ??? ? ??? ??? ??? ?? ??? ??? ? 2????? ???? ?? ??? ??? ? ??? ?????. ?? ?? ????? ??? ? ?? ???? 10~20%? ???? ??, ??? ??? ???
Google AI? IMO ?? ????? ???? ???? ??? ?? ?? AlphaProof? ?????? ?? ??? ?? ???????.
Jul 26, 2024 pm 02:40 PM
AI? ?? ?? ?????? ? ?? ??? ?? ????. ???? Google DeepMind? ?? ??? AI? ???? ?? ?? ?? ????? IMO? ?? ??? ???? ??? ????? ??? ??? ? ?? ? ??????. ?? ? ? ?? IMO ???? ???, ???, ???, ?? ? 6? ??? ????. ??? ??? ????? AI ???? 4??? ?? 28?? ?? ??? ??? ????. ?? ? UCLA ?? ??? ??? ??(Terence Tao)? ?? 100? ??? AI ?? ?????(AIMO Progress Award)? ?????, ???? 7? ??? AI ?? ?? ??? ? ???? ????. IMO?? ??? ??? ????. ?? ???? ?? ??? ?? IMO??, ??? ?? ??, ??? ?? ??, ?? ?????? ???.
?? ??? ?? ??? ????? ??? ?? ?? ???? ? ?? ???? ???? ?? UNSW, Argonne, University of Chicago ? ?? ??? ???? SciQAG ?????? ??????.
Jul 25, 2024 am 06:42 AM
??? |ScienceAI ?? ??(QA) ??? ??? ??? ??(NLP) ??? ???? ? ??? ??? ???. ??? QA ??? ??? ??? ?? ???? ? ??? ? ?? ?? ??? LLM(?? ?? ??)? ??, ?? ??? ??? ???? ???? ??? ????? ???? ??? ??? ? ????. ?? ??, ??, ??? ? ?? ??? ???? ???? QA ??? ??? ?? ??? ??? ??? ???? ??? ? ?? ??? ????. ??, ??? ??? ??? ???? ???? ??? ????? ???? ??? ??? ?? ?? ??? ???? ??? ??? ?? ?? ??? ??? ???? ? ????. ?? ?? ??? Q&A?
PRO | MoE ??? ?? ??? ? ???? ??? ??????
Aug 07, 2024 pm 07:08 PM
2023??? AI? ?? ?? ??? ?? ?? ??? ???? ??. ??? AI? ???? ??, ???? ? ?? ??? ??? ??? ????? ???? ??. ???? ?? ??? AI ?? ??? ?? ????? Transformer? ??? ?????? MoE(Mixed of Experts) ????? ???? ? ?? ?? ??? ???? ??? ???? ? ??? ?????? ?? ?? ??(LVM)? ?? ?? ???? ??? ???? ? ? ????? ...?? 6?? ?? ??? ? ???? 2023 PRO ?? ?????? ? ??? ?? ??? ?? ??? ?? ?? ??? ???? ??? ???? ??? ?? ??? ??? ?? 10?? ?? ??? ??????. ?. ?????. ? ??? 2023? 50??? ?? ????.
???? 60.8%? ????. Transformer? ???? ? Zhejiang University? ??? ??? ?? ??? Nature ??? ???????.
Aug 06, 2024 pm 07:34 PM
Editor | KX ???? ?? ?? ? ?? ???? ??? ????, ???? ??? ??? ?? AI? ?? ? ?? ???? ????. ?? AI ??? ??? ????? ??? ???? ??????. ??? ?? ??? ?? ???? ??? ??? ??? ??? ???? ???? ?? ??? ?????. ?? ??? ?? Zhejiang University? Hou Tingjun ?? ?? ?? ??? ??? ?? ??? ?? ???? ????? ?? ?? ???? ????? ???? ??? ???? ??? ?? ??????. ??? ???? ??? ??? ??? ?? ?? ??? ?? EditRetro? ?????. ???? ??? ?? ? ??? ?? ???? ??? ?? USPTO-50 K?? 60.8%? ?? 1 ???? ??? ??? ???? ??? ??????.
