想象一下自己是一個(gè)數(shù)據(jù)專業(yè)人士，負(fù)責(zé)創(chuàng)建有效的數(shù)據(jù)管道來(lái)簡(jiǎn)化流程并生成實(shí)時(shí)信息。聽(tīng)起來(lái)很具有挑戰(zhàn)性，對(duì)嗎？這就是法師AI的來(lái)源，以確保在線運(yùn)營(yíng)的貸方獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。圖片：因此，與許多需要深入設(shè)置和恒定編碼的其他擴(kuò)展名不同，法師AI具有清晰且無(wú)需逐步的逐步設(shè)置，歡迎您使用其清晰的界面而無(wú)需拖放項(xiàng)目。我還將與您分享如何使用PostgreSQL導(dǎo)入Mage AI，以便您可以使用Mage AI創(chuàng)建第一個(gè)數(shù)據(jù)管道。請(qǐng)?jiān)试S我向您介紹有助于使您的數(shù)據(jù)處理更好的步驟！

學(xué)習(xí)成果

• 了解如何配置Mage AI，以與PostgreSQL無(wú)縫集成。
• 學(xué)習(xí)將原始數(shù)據(jù)上傳到PostgreSQL并使用PGADMIN4創(chuàng)建模式。
• 掌握法師AI中構(gòu)建和管理數(shù)據(jù)管道的過(guò)程。
• 探索如何設(shè)置自動(dòng)觸發(fā)器并進(jìn)行數(shù)據(jù)管道計(jì)劃。
• 了解法師AI的高級(jí)功能，例如實(shí)時(shí)處理和監(jiān)視。

本文作為數(shù)據(jù)科學(xué)博客馬拉松的一部分發(fā)表。

目錄

• 學(xué)習(xí)成果
• 什么是法師AI？
• 設(shè)置帶有Postgres的法師AI來(lái)構(gòu)建和管理您的數(shù)據(jù)管道
  • 步驟1：準(zhǔn)備Postgres數(shù)據(jù)庫(kù)
  • 步驟2：收集Postgres配置詳細(xì)信息
  • 步驟3：在VS代碼中使用Docker安裝法師AI
  • 步驟4：配置法師AI與Postgres連接
  • 步驟5：創(chuàng)建第一個(gè)數(shù)據(jù)管道
  • 步驟6：創(chuàng)建觸發(fā)器和調(diào)度管道
• 法師AI的其他功能
• 結(jié)論
• 常見(jiàn)問(wèn)題

什么是法師AI？

法師AI簡(jiǎn)化了成長(zhǎng)的數(shù)據(jù)工作流程作為開(kāi)源工具的集成。借助其干凈的設(shè)計(jì)和類似應(yīng)用程序的接口，數(shù)據(jù)工程師和分析師可以使用一鍵式選項(xiàng)輕松地創(chuàng)建數(shù)據(jù)管道，從而消除了編碼的需求。 Mage AI的導(dǎo)入，分析和操縱大數(shù)據(jù)要容易得多，該功能具有拖放，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)源兼容性等功能。前者使用戶能夠?qū)r(shí)間花在分析方面，而不必?fù)?dān)心要設(shè)置的基礎(chǔ)架構(gòu)。法師AI還支持Python腳本，其中可以定義自定義轉(zhuǎn)換，從而使其適合技術(shù)用戶和非技術(shù)用戶。

將法師AI與PostgreSQL一起使用的好處

讓我們研究與PostgreSQL一起使用法師AI的好處。

• 簡(jiǎn)化數(shù)據(jù)管理：法師AI使用其拖放接口簡(jiǎn)化了數(shù)據(jù)管道創(chuàng)建，從而易于加載，轉(zhuǎn)換和導(dǎo)出來(lái)自PostgreSQL的數(shù)據(jù)，而無(wú)需手動(dòng)編碼。
• 增強(qiáng)的自動(dòng)化：通過(guò)設(shè)置觸發(fā)器和計(jì)劃的管道來(lái)自動(dòng)化重復(fù)的數(shù)據(jù)任務(wù)，例如ETL過(guò)程，從而減少了對(duì)持續(xù)的手動(dòng)干預(yù)的需求。
• 無(wú)縫集成：法師AI與PostgreSQL平穩(wěn)集成，使用戶能夠有效地管理大型數(shù)據(jù)集并在同一工作流程內(nèi)執(zhí)行復(fù)雜的數(shù)據(jù)操作。
• 可自定義的轉(zhuǎn)換：利用法師AI中的Python腳本來(lái)執(zhí)行PostgreSQL數(shù)據(jù)的自定義數(shù)據(jù)轉(zhuǎn)換，從而可以靈活地進(jìn)行高級(jí)數(shù)據(jù)處理。
• 可擴(kuò)展和可靠：法師AI有效地管理管道，確保對(duì)小型和大型數(shù)據(jù)集的平穩(wěn)處理，而PostgreSQL的可伸縮性支持業(yè)務(wù)增長(zhǎng)而無(wú)需績(jī)效瓶頸。
• 用戶友好：直觀界面使具有不同技術(shù)專業(yè)知識(shí)水平的用戶可以訪問(wèn)它，從而可以更快地學(xué)習(xí)并更快地部署數(shù)據(jù)解決方案。

設(shè)置帶有Postgres的法師AI來(lái)構(gòu)建和管理您的數(shù)據(jù)管道

用Postgres設(shè)置法師AI使您可以無(wú)縫構(gòu)建和管理功能強(qiáng)大的數(shù)據(jù)管道，自動(dòng)化工作流以及簡(jiǎn)化復(fù)雜的數(shù)據(jù)任務(wù)以獲得有效的見(jiàn)解。讓我們研究設(shè)置帶有Postgres的法師AI所需的步驟。

步驟1：準(zhǔn)備Postgres數(shù)據(jù)庫(kù)

在進(jìn)入Mage AI之前，請(qǐng)使用PGADMIN4將原始數(shù)據(jù)文件上傳到Postgres，然后為每個(gè)文件創(chuàng)建正確的架構(gòu)。這是開(kāi)始的方法：

通過(guò)pgadmin4上傳RAW文件到Postgres44

• 打開(kāi)PGADMIN4并連接到您的Postgres服務(wù)器。
• 創(chuàng)建一個(gè)新的數(shù)據(jù)庫(kù)或使用現(xiàn)有數(shù)據(jù)庫(kù)。
• 確保為每個(gè)原始數(shù)據(jù)文件添加正確的架構(gòu)。
• 將數(shù)據(jù)文件上傳/導(dǎo)出到本架構(gòu)中的適當(dāng)表中。

導(dǎo)入大熊貓作為pd
進(jìn)口瓦片

＃以二進(jìn)制模式打開(kāi)文件并閱讀示例
打開(kāi)（“ expensemaster.csv”，'rb'）作為文件：
    示例= file.read（10000）＃讀取第一個(gè)10,000字節(jié)作為示例

＃檢測(cè)編碼
檢測(cè)到= chardet.detect（樣品）
打印（檢測(cè)到['編碼']）

＃使用檢測(cè)到的編碼讀取CSV
嘗試：
    df = pd.read_csv（“ expensemaster.csv”，encoding = dented ['encoding']）
除了Unicodedecodeerror：
    ＃如果閱讀失敗，請(qǐng)嘗試使用UTF-8等常見(jiàn)編碼
    df = pd.read_csv（“ expensemaster.csv”，encoding =“ utf-8”）

＃推斷數(shù)據(jù)類型
dtype_mapping = {
    '對(duì)象'：'text'，
    'int64'：'bigint'，
    'float64'：'雙精度'，
    'datetime64 [ns]'：'timestamp'，
    “布爾”：'布爾'
}

column_definitions ='，'.join（[f'“ {col}” {dtype_mapping [str（df [col] .dtype）}'} col for df.columns中的col]）））

＃生成創(chuàng)建表SQL
table_name ='Expensemaster'
create_table_sql = f'create table {table_name}（{column_definitions}）;'
打?。╟reate_table_sql）

單擊“表”上的“刷新”以獲取新創(chuàng)建的表。

啟動(dòng)Postgres服務(wù)

確保Postgres服務(wù)正在運(yùn)行。您可以在PGADMIN4或使用PSQL終端檢查此問(wèn)題。

步驟2：收集Postgres配置詳細(xì)信息

您需要特定的詳細(xì)信息來(lái)配置使用Postgres的法師AI。這是您需要的以及如何找到它：

• postgres_dbname ：Postgres數(shù)據(jù)庫(kù)的名稱。
• postgres_schema ：上傳數(shù)據(jù)文件的架構(gòu)。
• Postgres_user ：Postgres數(shù)據(jù)庫(kù)的用戶名。
• Postgres_password ：Postgres數(shù)據(jù)庫(kù)的密碼。
• postgres_host ：Postgres服務(wù)器的主機(jī)IP地址。
• Postgres_port ：通常為Postgres的5432。

步驟3：在VS代碼中使用Docker安裝法師AI

要安裝法師AI，我們將在Visual Studio代碼（VS代碼）中使用Docker擴(kuò)展名。確保您安裝了VS代碼的Docker桌面和Docker擴(kuò)展程序。

安裝Docker桌面

從此處下載并安裝Docker桌面并初始化。

安裝VS代碼的Docker擴(kuò)展名：

• 打開(kāi)VS代碼，然后單擊窗口側(cè)面的活動(dòng)欄或按下CTRL Shift X的活動(dòng)欄中的擴(kuò)展圖標(biāo)，轉(zhuǎn)到“擴(kuò)展”視圖。
• 搜索“ Docker”，并通過(guò)Microsoft安裝Docker擴(kuò)展程序。

拉法師AI Docker Image

• 打開(kāi)VS代碼的終端并導(dǎo)航到您的項(xiàng)目文件夾。
• 運(yùn)行以下命令來(lái)拉出最新的法師AI Docker映像：

 Docker Pull Mageai/Mageai：最新

運(yùn)行法師AI Docker Image

• 拉出法師AI映像后，請(qǐng)轉(zhuǎn)到VS代碼中的Docker選項(xiàng)卡。
• 找到法師AI圖像并運(yùn)行它。這將創(chuàng)建一個(gè)新容器。
• 右鍵單擊新創(chuàng)建的容器，然后選擇“在瀏覽器中打開(kāi)”。
• MAGE AI接口現(xiàn)在應(yīng)加載到默認(rèn)的Web瀏覽器中。

步驟4：配置法師AI與Postgres連接

在io_config.yaml中配置數(shù)據(jù)庫(kù)連接：

• 導(dǎo)航到管道的所有文件部分。
• 找到并打開(kāi)io_config.yaml文件。
• 如下添加您的Postgres連接詳細(xì)信息

允許Mage AI訪問(wèn)Postgres數(shù)據(jù)庫(kù)

• 要授予IP地址上數(shù)據(jù)庫(kù)的訪問(wèn)，您需要修改PG_HBA.conf文件。
• 在C：\ Program Files \ Postgresql \ 16 \ Data上找到pg_hba.conf文件。
• 打開(kāi)文件并在＃ipv4本地連接部分下添加行，如圖4所示。

步驟5：創(chuàng)建第一個(gè)數(shù)據(jù)管道

現(xiàn)在，法師AI已配置為與Postgres連接，我們可以創(chuàng)建第一個(gè)數(shù)據(jù)管道。首先，我們?yōu)槊總€(gè)數(shù)據(jù)集設(shè)置數(shù)據(jù)加載器塊，并使用拖放功能將它們連接到流程圖中。

創(chuàng)建數(shù)據(jù)加載器塊

• 對(duì)于每個(gè)數(shù)據(jù)集，創(chuàng)建一個(gè)單獨(dú)的數(shù)據(jù)加載程序塊。
• 在法師AI接口中，將數(shù)據(jù)加載程序塊拖放到每個(gè)數(shù)據(jù)集的畫(huà)布上，您需要從Postgres加載。
• 使用適當(dāng)?shù)倪B接詳細(xì)信息配置每個(gè)數(shù)據(jù)加載器塊，并查詢從Postgres獲取數(shù)據(jù)。

將數(shù)據(jù)加載器塊連接到變壓器塊

使用拖放功能將流程圖中的數(shù)據(jù)加載程序塊連接到下一個(gè)變壓器代碼塊。此視覺(jué)表示有助于理解數(shù)據(jù)流并確保正確連接所有步驟。

創(chuàng)建數(shù)據(jù)出口商塊

• 在法師AI接口中，配置數(shù)據(jù)加載程序和轉(zhuǎn)換塊后，將數(shù)據(jù)出口商塊添加到畫(huà)布中。
• 選擇“ Postgres”作為Python下數(shù)據(jù)的目的地。
• 向Postgres數(shù)據(jù)庫(kù)提供必要的連接詳細(xì)信息。編寫(xiě)代碼將轉(zhuǎn)換后的數(shù)據(jù)導(dǎo)出到PostgreSQL數(shù)據(jù)庫(kù)。

步驟6：創(chuàng)建觸發(fā)器和調(diào)度管道

Mage AI提供了創(chuàng)建觸發(fā)器以運(yùn)行管道并安排定期執(zhí)行的觸發(fā)器的能力。這樣可以確保您的數(shù)據(jù)始終是最新的，而無(wú)需手動(dòng)干預(yù)。

創(chuàng)建觸發(fā)器

• 在法師AI中，您可以根據(jù)特定事件或條件設(shè)置觸發(fā)器來(lái)運(yùn)行管道。例如，每當(dāng)將新數(shù)據(jù)添加到Postgres數(shù)據(jù)庫(kù)中時(shí)，您都可以觸發(fā)管道以運(yùn)行。
• 要?jiǎng)?chuàng)建觸發(fā)器，請(qǐng)導(dǎo)航到管道設(shè)置并根據(jù)需要配置觸發(fā)條件。

安排管道

• 法師AI支持安排管道定期運(yùn)行。這可以通過(guò)法師AI儀表板中的調(diào)度設(shè)置來(lái)完成。
• 您可以指定頻率（每日，每周等）以及管道運(yùn)行的時(shí)間。

法師AI的其他功能

Mage AI提供了幾個(gè)強(qiáng)大功能來(lái)自動(dòng)化和增強(qiáng)您的數(shù)據(jù)管道：

• 與多個(gè)數(shù)據(jù)源集成： Mage AI還接受多種數(shù)據(jù)輸入：數(shù)據(jù)庫(kù)，云存儲(chǔ)和API，使您能夠構(gòu)建各種而廣泛的數(shù)據(jù)流。
• 高級(jí)轉(zhuǎn)換功能：基于Python，Mage AI為您提供了一個(gè)機(jī)會(huì)，可以在裝飾器的幫助下實(shí)施自定義轉(zhuǎn)換，從而有助于實(shí)現(xiàn)各種數(shù)據(jù)轉(zhuǎn)換算法的過(guò)程。
• 可伸縮性：法師AI優(yōu)化您的大數(shù)據(jù)吞吐量，使其能夠隨著數(shù)據(jù)的增長(zhǎng)而處理越來(lái)越多的數(shù)據(jù)。
• 監(jiān)視和警報(bào)：法師AI提供了強(qiáng)大的監(jiān)視和警報(bào)功能，并允許人們監(jiān)視管道的工作流程以及接收失敗的通知。
• 用戶友好的接口：數(shù)據(jù)管道的圖形布局意味著用戶不必?fù)?dān)心復(fù)雜的編碼即可操縱和轉(zhuǎn)換其數(shù)據(jù)。

他們使法師AI成為將數(shù)據(jù)工作流動(dòng)自動(dòng)化為數(shù)據(jù)基礎(chǔ)架構(gòu)的工具，以便您不需要花費(fèi)太多時(shí)間。

結(jié)論

如今，信息是一項(xiàng)寶貴的資產(chǎn)，使數(shù)據(jù)管理對(duì)組織至關(guān)重要。本文提供了有關(guān)使用PostgreSQL配置法師AI的明確指南，可幫助您構(gòu)建強(qiáng)大的數(shù)據(jù)管道，不僅簡(jiǎn)化了多個(gè)過(guò)程，而且可以顯著提高生產(chǎn)率。借助軟件助理，Mage AI以及諸如PostgreSQL之類的強(qiáng)大數(shù)據(jù)庫(kù)的利用使用戶能夠在最短的時(shí)間內(nèi)處理，分析和做出正確的決策。隨著組織在數(shù)據(jù)驅(qū)動(dòng)的方法和框架方面加大了努力，諸如AI之類的技術(shù)已成為管理數(shù)據(jù)的主要模型。

在Github上探索本文背后的代碼！

常見(jiàn)問(wèn)題

A. Mage AI是一種開(kāi)源工具，旨在簡(jiǎn)化構(gòu)建和管理數(shù)據(jù)工作流程的過(guò)程。它提供了一個(gè)用戶友好的界面和自動(dòng)化功能，可幫助數(shù)據(jù)專業(yè)人員創(chuàng)建管道，而無(wú)需大量的編碼知識(shí)。

A. PostgreSQL是一種功能強(qiáng)大的開(kāi)源關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)，以其穩(wěn)健性和可擴(kuò)展性而聞名。與Mage AI配對(duì)時(shí)，它允許用戶有效地存儲(chǔ)，檢索和操縱大型數(shù)據(jù)集，從而成為數(shù)據(jù)管道的理想選擇。

答：雖然對(duì)編程概念的熟悉程度可能會(huì)有所幫助，但Mage AI旨在對(duì)具有不同技術(shù)專長(zhǎng)水平的用戶進(jìn)行用戶友好且可訪問(wèn)。許多任務(wù)可以通過(guò)其直觀界面來(lái)完成。

答：是的，法師AI支持與各種數(shù)據(jù)源集成，使用戶可以構(gòu)建全面的數(shù)據(jù)管道，從而從多個(gè)平臺(tái)中吸引數(shù)據(jù)，從而增強(qiáng)了整體數(shù)據(jù)生態(tài)系統(tǒng)。

A.法師AI是一種開(kāi)源工具，這意味著它可以免費(fèi)使用。但是，用戶可能會(huì)根據(jù)其基礎(chǔ)架構(gòu)選擇而產(chǎn)生與托管，存儲(chǔ)和其他相關(guān)服務(wù)相關(guān)的成本。

本文所示的媒體不由Analytics Vidhya擁有，并由作者酌情使用。

以上是設(shè)置法師AI與Postgres的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！