??

??? ??? ???? ??? ??? ??? ?? ?? ?? (LLM)? ??? ?? ???? ???? ???????. ???? Gemma? ?? ?? ?? ?? (SLM)? ???? ????. ? ????? SLM? ????? ???? AI ????? ??? ???? ? ??? ??? ?? ???. ??? ?? ?? ??? ?? Gemma? ?? ???? ??? ???? ??? ??? ?????? ?? ????? ??? ??????. ?? ??? ??? ?????? ??? ??? ????? ?? ??? ?? SLM? AI ???? ?? ???? ??? ??? ????. ??? ?? ?? ??? ???? Edge ??? ????? ??? ?? ??? ?? SLM? ??? ???? ??? ?????. ? ??? Datahack Summit 2024?? Gemma? ?? ?? ?? ??? ?? ?? ? ??? ?? Nikhil Rana? Joinal ?? ??? ??? ??????? .

?? ??

• LLMS (Large Language Models)? ?? ??? ?? ?? ?? ?? (SLM)? ??? ??????.
• ??? ? ????? ?? ?? SLM? ???? ??? ?? ??.
• ??? ?? ?? ????? SLM? ?? ???? ??? ????? ??????.
• Edge ???? SLM? ???? ?? ??? ????? ?? ??? ??????.
• SLM? ?? ???? ???? ??? ????? ???? ??? ??????.

??

• ??
• ?? ?? ??? ??????
• LLM? ?? SLM? ??
• ??? ??????
• ?? ??? ??
• ?? ???? ??????
• ?? ?? ??
• ??? SLM ? LLM? ?? ????????
• SLM? ???? ?? ?? ??
• Edge ???? SLM? ?????? MediaPipe ? WebAssembly
• ?? LLMS? ??? ??????
• ? ?? ?? ??? SLM? ??? ? ?? ? ? ?????
• ??
• ?? ?? ??

?? ?? ??? ??????

?? ?? ????? ????? ??? ?? ?? ??? ??? ?? ?????. ?? ? ??? ??? ???? ??? ?? ??? ??? ? ? ??? ?? SLM? ? ??? ????? ???????. ??, ??? ? ?? ??? ??? ?? ??? ??? ??????.

SLM? ???, ?? Edge Computing ??????? ?? ?? ?? ? ??? ??? ???? ? ?? ??? ?????. LLM? ?? ???? ?? ??? ????? ??? ??? ? ???? ?? ???? ??? ??? ?? ? ? ????. ??? ??? ?????? ?? ??? ??? ?? ??? ??? ???? ??? ???? ????? ??????.

SLM? ??? ??? ??? ??? ????? LLM? ??? ??? ?? ???? AI ?? ???? ?????? ???? ?? ????? ??? ??????.

LLM? ?? SLM? ??

??? ?? ??? ? ? ??, ?? ?? ??, ?? ???, ??? ? ?? ??? ???? ? ?? ??? ?????.

??? ???? ???

SLM? ????? ????? ?? ?? ??? ?? ???? ?? ?? LLM? ?? ???? ?? ??? ???? ?? ? ? ????. SLM? ?? ??? ?? ?? ????? ??? ?? ??? ? ??? ???? ?? ???? ?? ???? ?? ??? ?? ? ? ????.

??

??? ?? ??? SLM? ???? ?? ??? ?? AI ?? ?? ???, ??? ?? ?? ?? ??? ??? ?? ????? ?? ??? ?? ????? ?????. ? ?? ??? ???? ?? ??? ??, ?? ??? ?? ???? ???? ?? ???? ??? ???? ??? ??? ??????.

??

SLM? ?? ???? ???? ?? ??? ?????. ?? ? ??? ?? ????? ?? SLM? ? ?????. ??? ??? ?? ?? ?? ??? ??????. SLM?? ?? ??? ? ???? ???? ??? ?? ??????? LLM? ?? ?? ???? ??? ?????.

??? ??????

Gemma? ???? ????? ?? ?? ??? ????? ??? ?? ?? ?? (SLM)? ???? ????. ?? ??? ???? ??? ????? ?????, ?? ?? ?????? ???? ????? ??? ??? ??? ???? ?? ??????.

Gemma? ??? ???? ??? ??? ??? ? ??? ??? ?????. ?? ??, ??? ??? Gemma? ?? ???? ?? ?? ?? ??? ???? ??? ? ???? ????? ?????. ? ??? ??? ?? ???? ??? ?? ??? ???? ??? ??? ?? ??? ??? ?? ? ? ??????.

Gemma? ??? ???? ????? ??? ?? ?? ??? ??? ???? ?? ??? ??? ??? ?????. ?? ?? ? ??? ?? ????? ??? ??? ???? ?? ?? ?? ?? ?? ?? ????? ?? ??? ?? ? ? ????. ????? Gemma? ??? ?? ??? ?? ????? ?? ????? ??? ? ??? ??? ?? ? ??? ??? ?????. ?? ??? ????? ?? ?? ?????, Gemma? ??? ???? ??? ???? ?????.

?? ??? ??

Gemma ??? Gemini ??? ???? ?? ??? ?? ? ??? ???? ? ??? ??? ??? ??? ?????. Gemma? ? ??? ?? ?? ? ?? ????? ??? ??? ???? ?? ?? ??? ??? ??? ?????.

?? 1 ??

Gemma 1 ???? ???? ??? ?? ? ?? ??? ????? ??? Gemma ??? ?? ?? ?? ???? ?????. ? ??? Gemma ???? ???? ??? ??? ??? ??????? ??? ??? ?????. ??? ??? ??? ???? ???? ? ??? ??? ?? ????? ?? ? ??? ?????.

Gemma 2B ? 2B-IT :

• Gemma 2B :? ??? ?? Gemma 1 ???? ???? ??? ??? ?? ??? ??? ?? ??? ????? ???????. ???? ?? ??? ??? ??, ??? ?? ? ?? ???? ??? ?? ??? ?? ?? ??????? ??? ?????.
• GEMMA 2B-IT : 2B ??? ?? ? 2B-IT? ?? ??? ??? ??? ?? ??? ?????. ? ??? ?? ??, ?? ? ?? ? IT ?? ?? ??? ?? IT ?? ??????? ?? ?? ??? ????? ?? ?? ???? ??? ??? ??? ????? ?????.

?? 7b ? 7B-IT :

• Gemma 7B : 7B ??? Gemma 1 ?? ??? ? ??? ??? ?????. ??? ?????? ???? ??? ??? ?? ??? ????? ?? ? ? ??????. ??? ??? ??? ??? ?? ? ?? ??? ??? ???? ?? ????? ?? ???? ??? ??? ?? ? ??? ??? ??? ?????.
• GEMMA 7B-IT : 7B ??? ??? ???? 7B-IT? IT ?? ? ??????? ??????. ?? ??? ?? ? ??? ?? ??? ?? ??? ?? ?? ??, IT??? ??? ??? ??? ??? ? ????? ?? ??? ?????.

?? ??

Code Gemma ??? ????? ??? ???? ?? ??? ??? Gemma Family? ?? ?????. ?? ?? ? ?? ??? ??? ?? ???? ?? ??? ???? ???? ??? ??? ?????. ? ??? ?? ?? ?? (IDE) ? ?? ??? ???? ????? ?? ????????.

?? ?? 2B :

• Code Gemma 2B? ??? ?? ?? ??? ?? ???????. ?? ? ??? ???? ??? ?? ??? ??? ??????. ? ??? ??? ?? ?? ?? ?? ?? ?? ?? ??? ?? ???? ?? ??? ?? ??? ??? ?????.

?? Gemma 7b ? 7B-IT :

• Code Gemma 7B :? ????? ?? ?? ????? ??? ?? ??? ???? ? ?????. ??? ?? ?? ??? ???? ??? ?? ?? ?? ??? ?? ? ? ??????. 7B ??? ?? ????? ???? ?? ????? ????? ???? ???? ?? ??? ?????.
• Code Gemma 7B-IT : 7B ??? ??? ???? 7B-IT ??? IT ?? ????? ??? ?? ??? ??????. IT ? ?? ?? ????? ???? ??? ???? ???? ? ?????. ? ??? ??? IT ??? ?? ?? ? ?? ??? ???? ??? ?? ?? ? ?? ??? ??? ?? ??? ?????.

?? ? ??

?? ?? ??? ???? ???? ??? ??? ???? ?? ????? ?????. ??? ?? ?? ??? ?? ??? ???? ??? ??? ??? ????? ??????.

• ?? ? gemma 2b? ?? ??? ?? ????? ??? ??? ?????. ??? ? ????? ?? ??? ???? ??? ????? ??? ??, ??? ??? ?? ? ?? ??? ??? ???? ?? ????? ?? ?? ????? ??????. ? ??? ?? ??? ????? ???? ????? ??? ??? ??? ?????.
• ?? ?? 2B-IT? 2B ??? ??? ??????? ?? ?? ????? ?? ??? ??????. ?? ??? ?? IT ?? ? ???? ??? ???? ???? ???? ? ?????. 2B-IT ??? ??? ??? ? ???? ?? ??? ?? ?? ?? ? ?? IT ??? ?? IT ?? ??????? ?? ?????.

Paligemma

Paligemma? ?? ??? ??? ??? ?? ???? ??? ??? ?????. ? ??? ??? ? ??? ??? ?? ???? ??? ?? ?? ??? ?? ? ??? ??? ??? ?????.

Paligemma 2.9b :

Vertex Model Garden? ?? ? ?? ?? ???? ????? ??? ???? ???? ?? ?? ? ? ?????. ??? ?? ??, ??? ?? ? ??? ??? ?? ?? ?? ???? ?? ??? ?????. ??? ? ??? ??? ???? ??? ???? ???? ??? ??? ??? ?????. ? ??? ??? ? ??? ??? ??? ?? ????? ?? ??????.

Gemma 2 ? ?? ??

Gemma 2? ?? ??? ??? ?? ? ??? ??? ???? ?? ??? ???? ??? ??? ?????. ??? Gemma 2? ?? ??? ?? ??? ?????.

?? 2

• ?? : 27B Gemma 2 ??? ?? ????? ???? ??? ??? ?? ?? ??? ??? ??? ?????. ?? ?? ??? ?? ??????? ??? ????? ??? ? ?? ??? ?? ????? ??? ?????.
• 9B GEMMA 2 :? ??? LLAMA 3 8B? ?? ?? ??? ???? ????? ??? ??? ????? ???? ??? ???? ?????.
• 2B GEMMA 2 : ??? ?? ???? ??? 2B ??? ?? ????? GPT-3.5 ??? ???? ?? ?? AI? ?? ???? ?? ??????.

?? ??

• Shieldgemma :
  • ?? : ShieldGemma? ??? ???? ?? ? ?? ? ??? ??? ???? ???? ?? ?? ??? ???????.
  • ?? : ?? ?? ? ?? ?? ??? ???? ??? ?? ? ??? ??? ?? ????? ???? ??????.
• ?? ?? :
  • ?? : Gemma Scope? Gemma 2 ?? AI ??? ?? ??? ???? ???? ?? ????? ?? ?? ??????.
  • ?? : ??? ????? ??? ?? ???? ????, ??? ???? ????? ???? ???? ?????.

??? ???

• Google AI Studio : ?? ? ????? Gemma 2? ??? ??? AI ?? ? ??? ?? ???? ???? ???.
• Kaggle : Gemma 2 ??? ?? ? ??? ?? ??? ??? ? ??? ??? ?? ? ?? ?? ???? ???.
• ?? ?? : ???? ??? ??? ?????? ??? ??? Gemma 2? ??? ?? ?? ??? ?? ???? ???.
• Vertex AI : ?? ??? ?? ?? ? ????? Gemma 2 ? ?? AI ??? ?? ???? ???? Google ???? ???.

Gemma 2? ??, ?? ? ???? ??? ?? ??? ???? ??? AI ?? ???? ? ?? ????? ??? ???? ?????.

?? ???? ??????

?? ??? ?? SLM (Small Language Models)? ?? ??? ?? ?? ??? ????? ??? ?????. ?? ??? ???? ?? ?? ? ??? ???? ?? ?? ?? ???? ??? ??????.

?? ??? ???? ??? ???? ?? ???? ??? ?? ?? ?? ? ??? ???????. ?? ??? ????? ??? ??? ?? ??? ??? ???? ????? ??? ??? ???? ?? ?? ??? ? ?????. ?? ????? ?? ??? ??? ?? ??? ? ? ???? ?? ??? ?? ??? ???? ????.

?? ?? SLM? ??

• ??? ? ?? : ?? ?? ? ??? ??? ? ? ??? ?? ??? ?? ?? ??? ?????. ?? ??? ?? ??? ??? ? ??, ?? ? ????? ?? ? ? ???? ??? ?? ?? ?? ?? ??? ?? ?? ?? ????? ? ??????.
• ??? ?? : ??? ????? ??? ???? ??? ? ????. ?? ??? ??? ??? ?????? ? ????? ?? ?? ????? ?? ??? ?? ?? ??? ???? ????? ?????.
• ?? ?? : ?? ??? ??? ??? ?????? ????? ??? ?????. ?? ??? ??? ??? ???? ????? ??? ? ?? ?? ??? ???? ??? ??? ???? ? ??????.
• ?? ?? ? ?? ?? : ??? ?? ?? ?? ??? ?? ?? ?? ? SLM? ? ? ?? ?? ???? ? ????? ?? ? ? ????. ? ???? ?? ??? ? ?? ?? ???? ??? ??? ?? ???? ? ??? ??? ??? ? ?????.

?? ?? ??

?? ??? ?? ?? ? ?? ?? ???? ??? ??? ?? ?? ? ??? ?? ???? ??? ???? ? ? ????? ?????. ?? ?? ????? ?? ??? ??? ??? ????.

1 ?? : ??? ?? ?? ? ?? ??

?? ?? ????? ? ?? ??? ?? ????? ?? ?? ? ??? ???? ????. ? ??? ?? ?? ??? ??? ??? ?? ??? ???? ???? ?? ??? ??? ??????. ??? ??? ??? ??? ??? ?? ??? ??? ?? ????? ??? ? ?????? ?? ????. ?? ??, ??? ??? ???? ?? ???? ????? ?? ?? ? ??? ??? ? ??? ?? ??? ?? ??? ?????.

2 ?? : ??? ?? ? ??

???? ?? ??? ??? ??????. ?? ??? ???? ??? ??? ?? ?? ? ?? ??? ?? ?? ????? ??? ??? ??????. ?? ??, ??? ???? ?? ??, ?? ?? ? ?? ?? ?? ??? ?? ? ??? ??? ?????.

• ??? ?? : ?? ?? ????? ???? ??? ? ??? ??? ??? ???? ???? ???? ?? ???? ???? ??????.
• ??? ?? ?? : ???? ??? ???? ??? ??? ??? ?? ??? ??? ??? ?? ??? ??? ???????. ???? ? ?? ?? ?? ??? ?? ??? ??? ?????.

STEP3 : ??? ???? ??

?? ??? ??? ??? ????? ?? ?? ??? ????? ???????.

• ?? ?? : ?? ??? ? ???? ?? ???? ??? ?? ?????. ?? ??? ?? ??? ??? ?? ?? ??? ? ????? ?? ? ? ??? ?? ?? ??? ?? ???? ??? ?? ? ????.
• ?? ?? : ?? ??? ? ? ??? ?? ? ?? ?? ?? ?????. ?? ??? ??? ?? ???? ??? ?? ? ??? ? ?? ?? ??? ??? ? ????.
• ??? ? : ???? ?? ?? ??? ??? ?? ??? ??? ?????. ???? ?? ??? ?? ??? ??? ????. ???? ?? ?? ??? ?? ??? ??? ? ??? ?? ?? ???? ???? ???? ??? ? ????.

4 ?? : ?? ??

?? ???? ??? ?? ?? ??? ??? ?????. ?? ?????? ?? ? ??? ?? ??? ??? ??? ?? ?? ???? ???? ?? ?????. ? ??? ??? ???? ??? ?? ?? ??? ?? ??? ?? ???? ????.

• ?? ?? : ?? ??? ??? ??? ?? ?? ??? ? ?????? ?????. ???? ?? ???? ?? ????? ??? ???? ? ?? ??? ?? ?? ?? ??? ?????.
• ??? ???? : Adam ?? SGD (?? ? ?? ??)? ?? ??? ????? ???? ?? ???? ?????? ?? ??? ??????.

5 ?? : ??

?? ?? ?, ??? ?? ??? ?? ??? ???? ?? ?????. ???? ??? ??? ?? ??? ???? ??? ????? ? ???? ??? ?? ?? ???? ????? ?????? ?????.

• ??? : ?? ??? ??? ?? ????. ?? ??? ???, ??, ?? ? F1 ??? ?? ???? ??????. ?? ??? ?? BLEU ?? ?? ?? ?? ??? ??????.

6 ?? : ?? ?? ??

?? ??? ???? ?? ??? ??? ? ????. ???? ?? ?? ??? ????? ?? ?? ?? ???, ?? ??? ?? ?? ?? ?? ?? ?? ?? ??? ???? ??? ???? ?? ??? ? ????.

? : ??? ??

??? ??? ?? ???? ?? ?? ? ?? ??? ?? ???? ?? ?? ??, ?? ?? ?? ?? ? ?? ?? ??? ??? ? ?? ?? ??? ???? ???? ?? ?????. ? ??? ??? ??? ??? ???? ??? ??? ? ??? ?? ? ? ????.

?? ?? ???? ?? ??

?? ?? ???? ?? ??? ?? ?? ? ?? ?? (LLM)? ???? ?? ? ??? ?? ??? ????? ?? ? ??????. ? ??? ???? ???? ?? ??? ?? ????? ?? ?? ????? ????? ? ??? ?? ?? ????? ??????. ??? ?? ?? ???? ?? ?? ????? ?????.

1 ?? : ?? ??

??? ?? ???? ?? ??? ????? ?? ??? ?? ???? ?????. ? ???? ?? ?? ??? ??? ??? ?? ???? ??? ???? ???? ???? ???? ? ?? ? ? ????. ? ?? ??? ??? ??? ?? ????? ??? ?? ?? ??? ??? ?? ??? ?????.

2A ?? : ??? ?? ??

???? ?? ???? ?? ?? ? LLM? ? ?? ???? ??? ?? ??? ???? ? ?????. ? ???? ?? ?? ?? ???? ???? ?? ?? ?? ?? ??? ?????? ?? ?????. ? ???? ??? ??? ? ??? ??? ? ???, ?? ?? ??? ???? ?? ??? ?? ??? ???? ??? ?? ??? ????? ??? ?? ???.

2B : ???? ???? ?? ??

?? ?? ???? ?? ??? ?? ?? ??? ?? ???? ??? ????? ??? ? ??? ?????. ? ???? :

• ?? ?? ?? ??? ?? ? ??? ????? . ?? ?? ? ??? ?? ?? ??? ???? ?????. ? ???? ???? ????? ?? ???? ??? ? ?? ??? ?????.
• ??? ?? ?? ?? : ?? ??? ?????? ??? ???? ?? ?? ??? ?? ??? ??? ? ?? ?? ??? ???? ?? ?????.
• ?? ?? ??? ?? ?? : ?? ?? ???? ?? ?? ?? ? ?? ?? ? ?????. ? ?? ?? ?? ??? ?????? ?? ?? ??? ?? ??? ? ?? ??? ???? ??? ?????.

? ??? ?? ??? ??? ?? ?? ? ?? ??? ?? ??? ??? ??? ?? ?????? ??? ??? ??? ??? ???? ??????.

??? SLM ? LLM? ?? ????????

????? ?? ?? ?? (SLM)? LLM (Lange Language Model) (LLM)? ???? ?? ?? ?? ??, ??? ?? ? ?? ???? ?? ??? ??? ??? ??? ?? ????. ??? ??? ??? ?? ??? ??? ???? ? ????? ??? ?????.

?? ???? ???

• SLMS : ???? ???? ????? ????? ??? ?? ??? ???? ?? ??? ??????. SLM? ??? ? ?? ?? ???? ??? ??? ?? ?? ? ?? ? ???? ?????. ?? ??, ?? ???? ?? ?? ??? ???? ?? ??? ??? ?? SLM? ???? ?? ?? ???? ??? ??? ??? ?? ? ? ????.
• LLMS : ??? ?? ??, ??? ?? ?? ???? ??? ??? ??? ??? ?? ?????. LLM? ???? ??? ?? ? ? ????? ???? ??? ?? ??? ?? ? ? ????. ??? ? ?? ??? ????? ??? ?? AI? ???? ?? ?? ??? ?? LLM? ? ? ?? ????? ???? ???? ?? ??? ??? ?????.

?? ???

• SLMS : ?? ??? ?????? ? SLM? ??????. ??? ???? ??? ???? ???? ?? ??? ????. ???? ??? ??? ?????. ?? ??, Edge ?? ?? ??? ???? SLM? ???? ?? ????? ?? ? ? ??? ????? ????????.
• LLMS : ???? ???? ??? ??? ??? ? ? LLMS? ??????. LLM?? ??? ?? ??? ???? ????? ??? ????? ??? ??? ?????. ?? ??, ??? ??? ?? ?? ?? ?? ?? ???? ???? ?? LLMS? ???? ??? ???? ??? ??? ?? ? ? ????.

?? ??? ??

• SLMS : ?? ??? ?? ?? ??? ??? SLM? ???? ?????. ??? ? ????? ?? ??? ???? ??? ?? ????? ??????. ?? ??, ?? ??? ??? ???? ??? ??? SLM ?? ???? ?? ???????.
• LLMS : LLMS? ??? ????? ?? ?? ??? ?? ? ??? ??? ?? ? ??? ?? ?? ??? ? ??? ?? ??? ?????. ??? ? ??? ?? ?? ??? ?? ??? ?? ?? ????? ?? LLM ??? ??? ?? ?? ??? ?????.

?? ?? ??

• SLMS : ?? ?? ????? ????? ?? ?? ??????. SLM ?? ? ??? ????? LLM? ?? ?????. ?? ??? ?? ??? ???? ?? ??? ?? ?? ???? ???? ?????.
• LLMS : ??? ?? ???? ?? ? ?? ??? ?????. ??? ???? ?? ??? ?? ??? ??? ??? ?? ??????. ?? ??? ?? ???? ??? ???? ?? ??? ?? LLM? ???? ??? ??? ?? ? ????.

?? ? ?? ?

• SLMS : Edge ?? ? ??? ??????? ???? ??? ?????? ???? ??? ??????. ??? ?? ???? ??? ?? ??? ?? ??? ???? ?? ?? ? ? ??????.
• LLMS : ?? ?? ??? ??? ??? ?????. ??? ???? ??? ??? ? ??? ???? ??? ??? ????? ?? ? ? ??????. ?? ??, ???? ??? ??? ?? ???? ??? ?????? ??? ?? ????? LLM? ?????.

SLM? ???? ?? ?? ??

SLM (Small Language Model)? ?? ? ??? ? ?? ???? ?? ? ??? ???? ?? ? ?? ?? ?? ??? ???????. ???? ??? ?????.

?? ??

• ??? ? ?? ?? : SLM? ??? ??? ?????? ?? ??? ??? ? ?? ??? ???? ?? ??????. ?? ???? ? ? ??? ?? SLM? ? ?? ?? ? ?? ???? ??? ?? ??? ????? ??? ???? ??? ??????.
• ?? ?? : ?? ??? ?? ?? ??? ?????. ??? ??? ??? ??? ?? ??? ?? ??? ???? ??? ?? ?? ??? ???? ?? ? ? ????.

?? ?? ? ??

• ?? ?? : SLM? ? ?? ??? ?? ???????? ?? ??? ???? ?? ??? ????? ??????. ??? ????? ?? ?? ? ???? ?? ???? ??? ????? ?? ?? ???? ????? ? ?????.
• ?? ? : ?? ???? ?? ?? ??????. ??? ?? ?? ?? ???? ?? ???? ??? ??? ???? ????? ???? ?? ? ? ??? ??????.

??? ? ??

• ??? ??? : ?? ???? ?? ?? ? ?? ? ?? ??? ????? ??????. ???? ?? ??, ????? ?? ? ??? ??? ?? ??????? ??? ??? ?????.
• ?? ????? ?? : SLM? ?? ?? ???? ?? ???? ??? ????? ?????. ???? ??? ???? ??? ??? ????? ??????? ? ??? ??? ?????.

?? ? ?? ??

• ??? ?? : SLM?? ?? ? ??? ???? ???? ?? ?? ??? ?????. ??? ??? ? ?? ?? ????? ??? ???? ? ????? ??????.
• ?? ?? ?? ?? : ??? ??? ???? ???? ?? ?? ?? ??? ???? ??? ??????. ??? ??? ?? ??? ???? ??? ?? ??? ????? ??????.

?? ?? ? ????

• ?? ?? ?? : SLM? ??? ? ?? ?? ? ???? ??. ???? ?? ?? ????, ??? ?? ?? ? ??? ?? ?? ??? ??? ???? ? ??? ?? ????? ?????.
• ?? ?? : ?? ?? ? ?? ??? ???? ?? ????? ???? ??? ?? ?? ?? ??? ??? ?????.

Edge ???? SLM? ?????? MediaPipe ? WebAssembly

??? Edge ???? SLM? ??? ?????? ? ?? ?????.

??? ???

• ??? ?? : MediaPipe? ??? ??? ?? ??????? Edge ???? ?? ??? ??? SLM? ???? ? ?????. ???? ???? ??? ?? ?? ??? ?????? ???? ??? ??? ?????.
• ?? ? ???? : MediaPipe? ?? ? ????? ?? SLM? ?? ?? ?? ? ??? ??? ?? ?? ? ? ????. ??? ???? ?? ?? ?? ??? ?? ??? ???? ?? ? ? ????.
• ??? ??? ?? : MediaPipe? ??? ? ? ??? ??? ??? ???? ?????. ? ??? ??? ??? ???? SLM? ?? ?? ? ?? ??? ????? ?? ? ? ????.

webassembly

• ?? ? ??? : WASM (WebAssembly)? ? ???? ?? ??? ????? ?????? ????? ?? ???? SLM? ???? ? ??????. C ? Rust? ?? ??? ??? ??? ????? ??? ? ????.
• ?? ? ?? : WebAssembly? ??? ?? ?? ???? ????? SLM ??? ???? ??? ??????. ?? ??? ???? ????? ? ?? ????? ?? ? ? ?? ?????.
• ??? : WebAssembly? ?? ????? ???? ???? ? ?? ??????? SLM? ???? ? ??? ? ????. ? ???? ???? ?? ???? ???? SLM? ?? ????? ??? ? ??????.

?? LLMS? ??? ??????

LLMS (Large Language Model)? ??? ?? ???? ??, ???? ??? ? ?? ??? ??? ???? ?? ? ???? ?? ?????. ? ???? ?? ??? LLM? ??? ??? ? ???? ????? ???? ??? ??? ??? ??? ??? ?????.

?? ???? ??

?? ????? ??? LLM? ???? ?? ?????. ? ??? Slack, Discord ? Google Chat? ?? ?? ???? ?????? ??? ?????. ??? ???? ?????? LLM? ??? ?? ?????? ?? ???? ?? ?? ??? ? ????. ? ??? ?? LLM? ????? ??? ???? ???? ?? ? ??? ???? ?? ??? ?? ? ? ????. ?? ?????? ?? ?? ?? ? ??? ???? ?? ????? ???? ?? ????? ??? ??? ?? ? ??? ??? ????? ? ??????.

???? ?? ???? ???

???? ?? ???? ???? LLM? ??? ??? ??????. Google Cloud Run? ?? ???? ?? ???? ?? ??, ??? ?? ? LLM? ??????? ?? ?? ??? ??? ???? ???? ???? ???? ? ?????. ? ???? /discord /message ?? /slack /message? ?? ?? ?? ???? ?? ???? ???? ????? ????? ????????. ? ???? ?? ???? ??? ??? ???? ??? ?? ?? ? ?? ??? ?????.

??? ??

In the realm of Data Management, cloud storage solutions and vectorstores are essential. Files and data are uploaded to cloud storage buckets and processed to create contexts for the LLM. Large files are chunked and indexed in vectorstores, allowing the LLM to retrieve and utilize relevant information effectively. Langchain tools facilitate this orchestration by parsing questions, looking up contexts in vectorstores, and managing chat histories, ensuring that responses are accurate and contextually relevant.

Pub/Sub Messaging Systems

Pub/Sub Messaging Systems are employed for handling large volumes of data and tasks. This system enables parallel processing by chunking files and sending them through Pub/Sub channels. This method supports scalable operations and efficient data management. Unstructured APIs and Cloud Run convert documents into formats for LLMs, integrating diverse data types into the model's workflow.

Integration with Analytics and Data Sources

Integration with Analytics and Data Sources further enhances LLM performance. Platforms like Google Cloud and Azure OpenAI provide additional insights and functionalities, refining the LLM's responses and overall performance. Command and storage management systems handle chat histories and file management. They support ongoing training and fine-tuning of LLMs based on real-world interactions and data inputs.

??

• Latency: Processing requests through cloud-based LLMs can introduce latency, impacting real-time applications or interactive user experiences.
• Cost: Continuous usage of cloud resources for LLM deployment can incur significant costs, especially for high-volume or resource-intensive tasks.
• Privacy Concerns: Transmitting sensitive data to the cloud for processing raises privacy and security concerns, particularly in industries with strict regulations.
• Dependence on Internet Connectivity: Cloud-based LLM deployments require a stable internet connection, limiting functionality in offline or low-connectivity environments.
• Scalability Challenges: Scaling cloud-based LLM deployments can be challenging, causing performance issues during peak usage periods.

How Can SLMs Function Well with Fewer Parameters?

SLMs can deliver impressive performance despite having fewer parameters compared to their larger counterparts. Thanks to several effective training methods and strategic adaptations.

Training Methods

• Transfer Learning : SLMs benefit significantly from transfer learning, a technique where a model is initially trained on a broad dataset to acquire general knowledge. This foundational training allows the SLM to adapt to specific tasks or domains with minimal additional training. By leveraging pre-existing knowledge, SLMs can efficiently tune their capabilities to meet particular needs, enhancing their performance without requiring extensive computational resources.
• Knowledge Distillation : Knowledge distillation allows SLMs to perform efficiently by transferring insights from a larger model (like an LLM) into a smaller SLM. This process helps SLMs achieve comparable performance while reducing computational needs. It ensures SLMs handle specific tasks effectively without the overhead of larger models.

Domain-Specific Adaptation

SLMs can be tailored to excel in specific domains through targeted training on specialized datasets. This domain-specific adaptation enhances their effectiveness for specialized tasks. For example, SLMs developed by NTG are adept at understanding and analyzing construction Health, Safety, and Environment (HSE) terminology. By focusing on specific industry jargon and requirements, these models achieve higher accuracy and relevance in their analyses compared to more generalized models.

Effectiveness Factors

The effectiveness of an SLM depends on its training, fine-tuning, and task alignment. SLMs can outperform larger models in certain scenarios, but they are not always superior. They excel in specific use cases with advantages like lower latency and reduced costs. For broader or more complex applications, LLMs may still be preferable due to their extensive training and larger parameter sets.

??

Fine-tuning and inference with Small Language Models (SLMs) like Gemma show their adaptability and efficiency. By selecting and tailoring pre-trained models, fine-tuning for specific domains, and optimizing deployment, SLMs achieve high performance with lower costs. Techniques such as parameter-efficient methods and domain-specific adaptations make SLMs a strong alternative to larger models. They offer precision, speed, and cost-effectiveness for various tasks. As technology evolves, SLMs will increasingly enhance AI-driven solutions across industries.

?? ?? ??

A. SLMs are lightweight AI models designed for specific tasks or domains, offering efficient performance with fewer parameters compared to larger models like LLMs.

A. Fine-tuning enhances an SLM's performance for particular tasks, improves consistency, reduces errors, and can make it more cost-effective compared to using larger models.

A. The fine-tuning process involves selecting the right pre-trained model, preparing domain-specific data, adjusting hyperparameters, and evaluating the model's performance.

A. Parameter-efficient fine-tuning updates only a small subset of model parameters, which is less resource-intensive than conventional methods that update the entire model.

A. SLMs are ideal for tasks requiring fast, efficient processing with lower computational costs, while LLMs are better suited for complex tasks requiring extensive general knowledge.

? ??? ?? ?? ??? ?? ?? ? ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!