婷婷亚洲综合五月天小说,国产成人精品亚洲线观看,√天堂资源在线中文8在线最新版

想像一下自己是一個數(shù)據(jù)專業(yè)人士，負責創(chuàng)建有效的數(shù)據(jù)管道來簡化流程並生成實時信息。聽起來很具有挑戰(zhàn)性，對嗎？這就是法師AI的來源，以確保在線運營的貸方獲得競爭優(yōu)勢。圖片：因此，與許多需要深入設置和恆定編碼的其他擴展名不同，法師AI具有清晰且無需逐步的逐步設置，歡迎您使用其清晰的界面而無需拖放項目。我還將與您分享如何使用PostgreSQL導入Mage AI，以便您可以使用Mage AI創(chuàng)建第一個數(shù)據(jù)管道。請允許我向您介紹有助於使您的數(shù)據(jù)處理更好的步驟！

學習成果

了解如何配置Mage AI，以與PostgreSQL無縫集成。
學習將原始數(shù)據(jù)上傳到PostgreSQL並使用PGADMIN4創(chuàng)建模式。
掌握法師AI中構建和管理數(shù)據(jù)管道的過程。
探索如何設置自動觸發(fā)器並進行數(shù)據(jù)管道計劃。
了解法師AI的高級功能，例如實時處理和監(jiān)視。

本文作為數(shù)據(jù)科學博客馬拉鬆的一部分發(fā)表。

學習成果
什麼是法師AI？
設置帶有Postgres的法師AI來構建和管理您的數(shù)據(jù)管道
- 步驟1：準備Postgres數(shù)據(jù)庫
- 步驟2：收集Postgres配置詳細信息
- 步驟3：在VS代碼中使用Docker安裝法師AI
- 步驟4：配置法師AI與Postgres連接
- 步驟5：創(chuàng)建第一個數(shù)據(jù)管道
- 步驟6：創(chuàng)建觸發(fā)器和調度管道
法師AI的其他功能
結論
常見問題

什麼是法師AI？

法師AI簡化了成長的數(shù)據(jù)工作流程作為開源工具的集成。借助其乾淨的設計和類似應用程序的接口，數(shù)據(jù)工程師和分析師可以使用一鍵式選項輕鬆地創(chuàng)建數(shù)據(jù)管道，從而消除了編碼的需求。 Mage AI的導入，分析和操縱大數(shù)據(jù)要容易得多，該功能具有拖放，數(shù)據(jù)轉換，數(shù)據(jù)源兼容性等功能。前者使用戶能夠將時間花在分析方面，而不必擔心要設置的基礎架構。法師AI還支持Python腳本，其中可以定義自定義轉換，從而使其適合技術用戶和非技術用戶。

將法師AI與PostgreSQL一起使用的好處

讓我們研究與PostgreSQL一起使用法師AI的好處。

簡化數(shù)據(jù)管理：法師AI使用其拖放接口簡化了數(shù)據(jù)管道創(chuàng)建，從而易於加載，轉換和導出來自PostgreSQL的數(shù)據(jù)，而無需手動編碼。
增強的自動化：通過設置觸發(fā)器和計劃的管道來自動化重複的數(shù)據(jù)任務，例如ETL過程，從而減少了對持續(xù)的手動干預的需求。
無縫集成：法師AI與PostgreSQL平穩(wěn)集成，使用戶能夠有效地管理大型數(shù)據(jù)集並在同一工作流程內(nèi)執(zhí)行複雜的數(shù)據(jù)操作。
可自定義的轉換：利用法師AI中的Python腳本來執(zhí)行PostgreSQL數(shù)據(jù)的自定義數(shù)據(jù)轉換，從而可以靈活地進行高級數(shù)據(jù)處理。
可擴展和可靠：法師AI有效地管理管道，確保對小型和大型數(shù)據(jù)集的平穩(wěn)處理，而PostgreSQL的可伸縮性支持業(yè)務增長而無需績效瓶頸。
用戶友好：直觀界面使具有不同技術專業(yè)知識水平的用戶可以訪問它，從而可以更快地學習並更快地部署數(shù)據(jù)解決方案。

設置法師AI與Postgres

設置帶有Postgres的法師AI來構建和管理您的數(shù)據(jù)管道

用Postgres設置法師AI使您可以無縫構建和管理功能強大的數(shù)據(jù)管道，自動化工作流以及簡化複雜的數(shù)據(jù)任務以獲得有效的見解。讓我們研究設置帶有Postgres的法師AI所需的步驟。

步驟1：準備Postgres數(shù)據(jù)庫

在進入Mage AI之前，請使用PGADMIN4將原始數(shù)據(jù)文件上傳到Postgres，然後為每個文件創(chuàng)建正確的架構。這是開始的方法：

通過pgadmin4上傳RAW文件到Postgres44

打開PGADMIN4並連接到您的Postgres服務器。
創(chuàng)建一個新的數(shù)據(jù)庫或使用現(xiàn)有數(shù)據(jù)庫。
確保為每個原始數(shù)據(jù)文件添加正確的架構。
將數(shù)據(jù)文件上傳/導出到本架構中的適當表中。

導入大熊貓作為pd
進口瓦片

＃以二進制模式打開文件並閱讀示例
打開（“ expensemaster.csv”，'rb'）作為文件：
    示例= file.read（10000）＃讀取第一個10,000字節(jié)作為示例

＃檢測編碼
檢測到= chardet.detect（樣品）
打?。z測到['編碼']）

＃使用檢測到的編碼讀取CSV
嘗試：
    df = pd.read_csv（“ expensemaster.csv”，encoding = dented ['encoding']）
除了Unicodedecodeerror：
    ＃如果閱讀失敗，請嘗試使用UTF-8等常見編碼
    df = pd.read_csv（“ expensemaster.csv”，encoding =“ utf-8”）

＃推斷數(shù)據(jù)類型
dtype_mapping = {
    '對象'：'text'，
    'int64'：'bigint'，
    'float64'：'雙精度'，
    'datetime64 [ns]'：'timestamp'，
    “布爾”：'布爾'
}

column_definitions ='，'.join（[f'“ {col}” {dtype_mapping [str（df [col] .dtype）}'} col for df.columns中的col]）））

＃生成創(chuàng)建表SQL
table_name ='Expensemaster'
create_table_sql = f'create table {table_name}（{column_definitions}）;'
打?。╟reate_table_sql）

設置法師AI與Postgres

單擊“表”上的“刷新”以獲取新創(chuàng)建的表。

設置法師AI與Postgres

啟動Postgres服務

確保Postgres服務正在運行。您可以在PGADMIN4或使用PSQL終端檢查此問題。

步驟2：收集Postgres配置詳細信息

您需要特定的詳細信息來配置使用Postgres的法師AI。這是您需要的以及如何找到它：

postgres_dbname ：Postgres數(shù)據(jù)庫的名稱。
postgres_schema ：上傳數(shù)據(jù)文件的架構。
Postgres_user ：Postgres數(shù)據(jù)庫的用戶名。
Postgres_password ：Postgres數(shù)據(jù)庫的密碼。
postgres_host ：Postgres服務器的主機IP地址。
Postgres_port ：通常為Postgres的5432。

步驟3：在VS代碼中使用Docker安裝法師AI

要安裝法師AI，我們將在Visual Studio代碼（VS代碼）中使用Docker擴展名。確保您安裝了VS代碼的Docker桌面和Docker擴展程序。

安裝Docker桌面

從此處下載並安裝Docker桌面並初始化。

安裝VS代碼的Docker擴展名：

打開VS代碼，然後單擊窗口側面的活動欄或按下CTRL Shift X的活動欄中的擴展圖標，轉到“擴展”視圖。
搜索“ Docker”，並通過Microsoft安裝Docker擴展程序。

拉法師AI Docker Image

打開VS代碼的終端並導航到您的項目文件夾。
運行以下命令來拉出最新的法師AI Docker映像：

 Docker Pull Mageai/Mageai：最新

運行法師AI Docker Image

拉出法師AI映像後，請轉到VS代碼中的Docker選項卡。
找到法師AI圖像並運行它。這將創(chuàng)建一個新容器。
右鍵單擊新創(chuàng)建的容器，然後選擇“在瀏覽器中打開”。
MAGE AI接口現(xiàn)在應加載到默認的Web瀏覽器中。

設置法師AI與Postgres

步驟4：配置法師AI與Postgres連接

在io_config.yaml中配置數(shù)據(jù)庫連接：

導航到管道的所有文件部分。
找到並打開io_config.yaml文件。
如下添加您的Postgres連接詳細信息

設置法師AI與Postgres

允許Mage AI訪問Postgres數(shù)據(jù)庫

要授予IP地址上數(shù)據(jù)庫的訪問，您需要修改PG_HBA.conf文件。
在C：\ Program Files \ Postgresql \ 16 \ Data上找到pg_hba.conf文件。
打開文件並在＃ipv4本地連接部分下添加行，如圖4所示。

步驟5：創(chuàng)建第一個數(shù)據(jù)管道

現(xiàn)在，法師AI已配置為與Postgres連接，我們可以創(chuàng)建第一個數(shù)據(jù)管道。首先，我們?yōu)槊總€數(shù)據(jù)集設置數(shù)據(jù)加載器塊，並使用拖放功能將它們連接到流程圖中。

創(chuàng)建數(shù)據(jù)加載器塊

對於每個數(shù)據(jù)集，創(chuàng)建一個單獨的數(shù)據(jù)加載程序塊。
在法師AI接口中，將數(shù)據(jù)加載程序塊拖放到每個數(shù)據(jù)集的畫布上，您需要從Postgres加載。
使用適當?shù)倪B接詳細信息配置每個數(shù)據(jù)加載器塊，並查詢從Postgres獲取數(shù)據(jù)。

設置法師AI與Postgres

將數(shù)據(jù)加載器塊連接到變壓器塊

使用拖放功能將流程圖中的數(shù)據(jù)加載程序塊連接到下一個變壓器代碼塊。此視覺表示有助於理解數(shù)據(jù)流並確保正確連接所有步驟。

設置法師AI與Postgres

創(chuàng)建數(shù)據(jù)出口商塊

在法師AI接口中，配置數(shù)據(jù)加載程序和轉換塊後，將數(shù)據(jù)出口商塊添加到畫布中。
選擇“ Postgres”作為Python下數(shù)據(jù)的目的地。
向Postgres數(shù)據(jù)庫提供必要的連接詳細信息。編寫代碼將轉換後的數(shù)據(jù)導出到PostgreSQL數(shù)據(jù)庫。

設置法師AI與Postgres

步驟6：創(chuàng)建觸發(fā)器和調度管道

Mage AI提供了創(chuàng)建觸發(fā)器以運行管道並安排定期執(zhí)行的觸發(fā)器的能力。這樣可以確保您的數(shù)據(jù)始終是最新的，而無需手動干預。

創(chuàng)建觸發(fā)器

在法師AI中，您可以根據(jù)特定事件或條件設置觸發(fā)器來運行管道。例如，每當將新數(shù)據(jù)添加到Postgres數(shù)據(jù)庫中時，您都可以觸發(fā)管道以運行。
要創(chuàng)建觸發(fā)器，請導航到管道設置並根據(jù)需要配置觸發(fā)條件。

安排管道

法師AI支持安排管道定期運行。這可以通過法師AI儀表板中的調度設置來完成。
您可以指定頻率（每日，每周等）以及管道運行的時間。

設置法師AI與Postgres

法師AI的其他功能

Mage AI提供了幾個強大功能來自動化和增強您的數(shù)據(jù)管道：

與多個數(shù)據(jù)源集成： Mage AI還接受多種數(shù)據(jù)輸入：數(shù)據(jù)庫，雲(yún)存儲和API，使您能夠構建各種而廣泛的數(shù)據(jù)流。
高級轉換功能：基於Python，Mage AI為您提供了一個機會，可以在裝飾器的幫助下實施自定義轉換，從而有助於實現(xiàn)各種數(shù)據(jù)轉換算法的過程。
可伸縮性：法師AI優(yōu)化您的大數(shù)據(jù)吞吐量，使其能夠隨著數(shù)據(jù)的增長而處理越來越多的數(shù)據(jù)。
監(jiān)視和警報：法師AI提供了強大的監(jiān)視和警報功能，並允許人們監(jiān)視管道的工作流程以及接收失敗的通知。
用戶友好的接口：數(shù)據(jù)管道的圖形佈局意味著用戶不必擔心複雜的編碼即可操縱和轉換其數(shù)據(jù)。

他們使法師AI成為將數(shù)據(jù)工作流動自動化為數(shù)據(jù)基礎架構的工具，以便您不需要花費太多時間。

結論

如今，信息是一項寶貴的資產(chǎn)，使數(shù)據(jù)管理對組織至關重要。本文提供了有關使用PostgreSQL配置法師AI的明確指南，可幫助您構建強大的數(shù)據(jù)管道，不僅簡化了多個過程，而且可以顯著提高生產(chǎn)率。借助軟件助理，Mage AI以及諸如PostgreSQL之類的強大數(shù)據(jù)庫的利用使用戶能夠在最短的時間內(nèi)處理，分析和做出正確的決策。隨著組織在數(shù)據(jù)驅動的方法和框架方面加大了努力，諸如AI之類的技術已成為管理數(shù)據(jù)的主要模型。

在Github上探索本文背後的代碼！