Gemini Embedding：谷歌Gemini AI框架下的多語言文本嵌入模型

對於印地語等印度語系的自然語言處理(NLP) 任務（如機器翻譯、問答和信息檢索）而言，詞嵌入至關(guān)重要。這些嵌入捕捉單詞的語義屬性，從而實現(xiàn)更準確、更注重語境的NLP 應用。鑑於印地語使用者眾多且印度語係數(shù)字內(nèi)容日益增長，高質(zhì)量的嵌入對於提高這些語言的NLP 性能至關(guān)重要。定制化的嵌入可以特別解決印度語系的獨特語言特徵和資源限制問題。新發(fā)布的Gemini Embedding 模型代表了多語言文本嵌入的重大進步，它利用谷歌強大的Gemini AI 框架，在100 多種語言中實現(xiàn)了最先進的性能。

Gemini Embedding 模型擅長分類、檢索和語義搜索等任務，提供更高的效率和準確性。通過支持更大的輸入規(guī)模和更高維度的輸出，Gemini Embedding 提供更豐富的文本表示，使其能夠廣泛應用於各種應用。

學習目標

• 了解Gemini 嵌入及其與Gemini LLM 的集成。
• 使用Gemini 嵌入檢索印地語文檔的實踐教程。
• 與Jina AI 嵌入和Multilingual-e5-large 的比較分析。
• 對多語言文本檢索能力和應用的見解。

*本文作為***數(shù)據(jù)科學博客馬拉松的一部分發(fā)表。 ***

目錄

• 什麼是Gemini 嵌入？
• Gemini 嵌入的關(guān)鍵特性
• Gemini 嵌入的模型架構(gòu)
• 與其他多語言嵌入模型的比較
• 使用Gemini 嵌入進行檢索，並與Jina AI 嵌入和Multilingual-e5-large 進行比較
  • 步驟1. 安裝必要的庫
  • 步驟2. 加載數(shù)據(jù)
  • 步驟3. 對數(shù)據(jù)進行分塊
  • 步驟4. 將數(shù)據(jù)存儲在向量數(shù)據(jù)庫中
  • 步驟5. 查詢數(shù)據(jù)庫
  • 步驟6. 與Jina AI 嵌入進行比較
• 嵌入檢索輸出的比較
  • 解釋
• 結(jié)論
• 常見問題

什麼是Gemini 嵌入？

2025 年3 月，谷歌發(fā)布了一個新的實驗性Gemini Embedding 文本模型(gemini-embedding-exp-03-07)，可在Gemini API 中使用。

該高級嵌入模型源於Gemini 模型，據(jù)稱繼承了Gemini 對語言和細微語境細微差別的深刻理解，使其能夠廣泛應用於各種應用。它在MTEB 多語言排行榜上佔據(jù)榜首。

Gemini Embedding 將文本表示為密集向量，其中語義相似的文本輸入映射到向量空間中彼此靠近的向量。目前，它支持100 多種語言，其嵌入可用於各種任務，例如檢索和分類。

Gemini 嵌入的關(guān)鍵特性

• 強大的多語言能力: 該模型在100 多種語言中展現(xiàn)出卓越的性能，不僅在英語等高資源語言中表現(xiàn)出色，而且在阿薩姆語和馬其頓語等低資源語言中也表現(xiàn)出色。
• 處理多達8000 個輸入標記: 這種強大的能力使模型能夠無縫處理冗長的文檔或複雜的查詢，而不會截斷，從而以超越許多現(xiàn)有嵌入模型的方式保持上下文和含義。
• 3K 維的輸出維度: 該模型生成的嵌入維度高達3072，並支持768 和1536 等子維度，以便進行特定於任務的優(yōu)化。
• 令人印象深刻的性能: Gemini Embedding 在海量文本嵌入基準測試(MTEB) 中排名第一，平均任務得分為68.32，大大超過了其最接近的競爭對手。

Gemini 嵌入的模型架構(gòu)

Gemini Embedding 的核心是基於Transformer 架構(gòu)，並從Gemini LLM 初始化。這個基礎(chǔ)為模型提供了對語言結(jié)構(gòu)和語義的深刻理解。該模型使用雙向注意力機制來處理輸入序列，使其在生成嵌入時能夠考慮單詞或短語的完整上下文。

1. 輸入序列T 由M（一個具有雙向注意力的Transformer，從Gemini 初始化）處理，產(chǎn)生一個標記嵌入序列。
2. 為了生成一個表示輸入中所有信息的單個嵌入，應用池化函數(shù)。
3. 最後，應用線性投影將嵌入縮放至目標維度，從而產(chǎn)生最終輸出嵌入。

損失函數(shù): Gemini Embedding 模型使用帶批內(nèi)負例的噪聲對比估計(NCE) 損失進行訓練。確切的損失會根據(jù)訓練階段略有不同。一般來說，一個訓練示例包括一個查詢、一個正目標和（可選）一個難負目標。

訓練策略

1. 預微調(diào): 在此階段，模型在一個包含查詢-目標對的大型多樣化數(shù)據(jù)集上進行訓練。這種曝光調(diào)整大型語言模型的參數(shù)以進行編碼任務，為其適應性奠定基礎(chǔ)。
2. 微調(diào): 在第二階段，模型使用包含查詢-正例-難負例三元組的特定於任務的數(shù)據(jù)集進行微調(diào)。此過程使用較小的批量大小和精心策劃的數(shù)據(jù)集來提高目標任務的性能。

另請閱讀：Gemini Embedding：來自Gemini 的通用嵌入

與其他多語言嵌入模型的比較

我們將印地語文檔的檢索與新發(fā)布的最新Gemini 嵌入進行比較，然後將其與Jina AI 嵌入和Multilingual-e5-large 嵌入進行比較。如下表所示，就最大標記數(shù)而言，Gemini 嵌入和Jina AI 嵌入很高，使模型能夠處理長文檔或複雜的查詢。此外，如下表所示，Gemini 嵌入具有更高的嵌入維度，可以捕捉單詞之間更細緻和更細微的語義關(guān)係，使模型能夠表示複雜的語言模式和含義的細微差別。

使用Gemini 嵌入進行檢索，並與Jina AI 嵌入和Multilingual-e5-large 進行比較

在以下實踐教程中，我們將印地語文檔的檢索與新發(fā)布的最新Gemini 嵌入進行比較，然後將其與Jina AI 嵌入和Multilingual-e5-large 嵌入進行比較。

步驟1. 安裝必要的庫

<code>!pip install langchain-community !pip install chromadb</code>

步驟2. 加載數(shù)據(jù)

我們使用來自網(wǎng)站的印地語數(shù)據(jù)來評估Gemini 嵌入在印地語語言檢索方面的性能。

 <code>from langchain_community.document_loaders import WebBaseLoader loader = WebBaseLoader("https://ckbirlahospitals.com/rbh/blog/pregnancy-early-symptoms-in-hindi") data = loader.load()</code>

步驟3. 對數(shù)據(jù)進行分塊

下面的代碼使用RecursiveCharacterTextSplitter 將大型文本文檔拆分成500 個字符的小塊，沒有重疊。然後，它將此拆分應用於datavariable 並將結(jié)果存儲在all_splits 中。由於Gemini Embedding API 的速率限制，我們只使用10 個拆分。

 <code>from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0) all_splits = text_splitter.split_documents(data) all_splits = all_splits[:10]</code>

步驟4. 將數(shù)據(jù)存儲在向量數(shù)據(jù)庫中

我們首先創(chuàng)建一個名為“GeminiEmbeddingFunction”的類，它有助於查詢Gemini Embedding API 並返回輸入查詢的嵌入值。然後，我們創(chuàng)建一個名為“create_chroma_db”的函數(shù)，用於在ChromaDB 中創(chuàng)建一個集合，該集合將存儲數(shù)據(jù)以及嵌入。

 <code>import chromadb from chromadb import Documents, EmbeddingFunction, Embeddings class GeminiEmbeddingFunction(EmbeddingFunction): def __call__(self, input: Documents) -> Embeddings: title = "Custom query" return client.models.embed_content( model="gemini-embedding-exp-03-07", contents=input).embeddings[0].values def create_chroma_db(documents, name): chroma_client = chromadb.Client() db = chroma_client.create_collection(name=name, embedding_function=GeminiEmbeddingFunction()) for i, d in enumerate(documents): db.add( documents=d.page_content, ids=str(i) ) return db db = create_chroma_db(all_splits, "datab")</code>

步驟5. 查詢數(shù)據(jù)庫

<code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db) print(passage)</code>

步驟6. 與Jina AI 嵌入進行比較

下面的代碼使用Hugging Face transformer 模型定義了一個自定義嵌入函數(shù)，以及一種處理文本輸入以生成嵌入的方法。

1. 來自transformers 的AutoTokenizer 和AutoModel 用於加載預訓練模型(jinaai/jina-embeddings-v3)，並從chromadb 導入EmbeddingFunction 用於創(chuàng)建自定義嵌入。
2. average_pool 函數(shù)：此函數(shù)通過對模型的隱藏狀態(tài)執(zhí)行池化操作來聚合它們，在考慮注意力掩碼（忽略填充標記）的同時對序列長度取平均值。
3. CustomHuggingFace 類：它對文本進行標記化，將其饋送到模型中，並使用average_pool 函數(shù)計算嵌入。結(jié)果作為嵌入列表返回。

 <code>from transformers import AutoTokenizer, AutoModel from chromadb import EmbeddingFunction tokenizer = AutoTokenizer.from_pretrained('jinaai/jina-embeddings-v3') model = AutoModel.from_pretrained('jinaai/jina-embeddings-v3') # the model returns many hidden states per document so we must aggregate them def average_pool(last_hidden_states, attention_mask): last_hidden = last_hidden_states.masked_fill(~attention_mask[...,None].bool(), 0.0) return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[...,None] class CustomHuggingFace(EmbeddingFunction): def __call__(self, texts): queries = [f'query: {text}' for text in texts] batch_dict = tokenizer(texts, max_length=512, padding=True, truncation=True, return_tensors='pt') outputs = model(**batch_dict) embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask']) return embeddings.tolist()</code>

查詢

<code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("???? ?????????? ????? ?? ?????? ??????", db) print(passage)</code>

對於選擇Multilingual-e5-large 嵌入，我們只需將標記器和模型替換為“intfloat/multilingual-e5-large-instruct”。

嵌入檢索輸出的比較

解釋

從上述印地語輸出中可以看出，使用Gemini 嵌入，我們從7 個查詢中得到了5 個正確的輸出，而使用Jina AI 嵌入和Multilingual-e5-large，我們只得到了3 個正確的響應。

這表明，正如MTEB 基準測試所反映的那樣，Gemini 嵌入可以很好地執(zhí)行，並且比其他嵌入模型更好地處理印地語等多語言。

結(jié)論

總之，Gemini 嵌入代表了多語言NLP 的重大進步，特別是對於印地語等印度語系語言。憑藉其強大的多語言能力、對大型輸入尺寸的支持以及在MTEB 等基準測試中的卓越性能，Gemini 在檢索、分類和語義搜索等任務中表現(xiàn)出色。通過實踐比較可以看出，Gemini 的性能優(yōu)於其他模型，提供更高的準確性和效率，使其成為促進多種語言NLP 的寶貴工具。

主要收穫

• 印地語系語言詞嵌入的重要性: 高質(zhì)量的嵌入增強了翻譯、問答和檢索等NLP 任務，解決了語言挑戰(zhàn)和資源差距問題。
• Gemini Embedding 模型: 谷歌的Gemini 嵌入利用其AI 框架進行多語言文本處理，涵蓋100 多種語言，包括低資源語言。
• 關(guān)鍵特性: 支持8000 個標記和3072 維嵌入，能夠高效處理長文檔和復雜查詢。
• 令人印象深刻的性能: 在MTEB 多語言排行榜上排名第一，平均任務得分為68.32，展示了其在多語言NLP 中的強大功能。

本文中顯示的媒體並非Analytics Vidhya 所有，作者可自行決定使用。

常見問題

Q1. 什麼是Gemini Embedding 模型？答：Gemini Embedding 模型基於谷歌的Gemini AI，為包括印地語在內(nèi)的100 多種語言提供頂級多語言文本嵌入。

Q2. 與其他模型相比，Gemini Embedding 的獨特之處是什麼？答：Gemini Embedding 在多語言支持方面表現(xiàn)出色，可以處理8000 個標記，並輸出3072 維，確保在分類、檢索和語義搜索方面的效率。

Q3. Gemini Embedding 在多語言任務中的表現(xiàn)如何？答：Gemini Embedding 在英語等高資源語言和阿薩姆語、馬其頓語等低資源語言中的表現(xiàn)都很好。它在MTEB 多語言排行榜上排名第一，展示了其強大的多語言能力。

Q4. Gemini Embedding 模型的架構(gòu)是什麼？答：該模型從Gemini LLM 初始化，使用具有雙向注意力的Transformer 架構(gòu)來生成高質(zhì)量的文本嵌入，捕捉上下文和含義。

Q5. Gemini Embedding 模型是如何訓練的？答：Gemini Embedding 使用帶批內(nèi)負例的噪聲對比估計(NCE) 損失進行訓練。它經(jīng)歷了兩個訓練階段：在一個大型數(shù)據(jù)集上進行預微調(diào)，並在特定於任務的數(shù)據(jù)集上進行微調(diào)，以提高NLP 性能。

以上是與多語言E5-Large和Jina嵌入雙子座的比較的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！