プロセスを合理化し、リアルタイム情報(bào)を生成するための効率的なデータパイプラインを作成することを任されているデータプロフェッショナルとして自分自身を想像してください。挑戦的ですね。そこで、Mage AIが登場(chǎng)するために、オンラインで運(yùn)営する貸し手が競(jìng)爭(zhēng)力を高めることを保証します。これを想像してください。したがって、深いセットアップや一定のコーディングを必要とする他の多くの拡張機(jī)能とは異なり、Mage AIには明確で段階的なステップバイステップのセットアップがあり、アイテムをドラッグアンドドロップすることなくクリアインターフェイスを使用できます。また、Mage AIを使用して最初のデータパイプラインを作成できるように、Mage AIをPostgreSQLでインポートする方法も共有します。データ処理をさらに改善するのに役立つ手順を紹介してください！

學(xué)習(xí)成果

• PostgreSQLとのシームレスな統(tǒng)合のためにMage AIを構(gòu)成する方法を理解してください。
• 生データをアップロードすることを?qū)Wび、psgreSQLにPGADMIN4を使用してスキーマを作成します。
• Mage AIのデータパイプラインの構(gòu)築と管理のプロセスを習(xí)得します。
• 自動(dòng)トリガーをセットアップし、データパイプラインのスケジュールを設(shè)定する方法を調(diào)べます。
• リアルタイムの処理や監(jiān)視などのMage AIの高度な機(jī)能に関する洞察を得る。

この記事は、データサイエンスブログソンの一部として公開されました。

目次

• 學(xué)習(xí)成果
• メイジAIとは何ですか？
• データパイプラインを構(gòu)築および管理するためのpostgresを備えたメイジAIをセットアップ
  • ステップ1：Postgresデータベースの準(zhǔn)備
  • ステップ2：ポストグレスの構(gòu)成の詳細(xì)を収集します
  • ステップ3：VSコードでDockerを使用してMage AIのインストール
  • ステップ4：Mage AIをPostgresに接続するように構(gòu)成します
  • ステップ5：最初のデータパイプラインの作成
  • ステップ6：トリガーの作成とパイプラインのスケジューリング
• メイジAIの追加機(jī)能
• 結(jié)論
• よくある質(zhì)問

メイジAIとは何ですか？

Mage AIは、オープンソースツールとしての成長(zhǎng)データワークフローの統(tǒng)合を簡(jiǎn)素化します。クリーンなデザインとアプリのようなインターフェイスにより、データエンジニアとアナリストは、ワンクリックオプションを使用してデータパイプラインを簡(jiǎn)単に作成でき、コーディングの必要性を排除できます。ドラッグアンドドロップ、データ変換、データソースの互換性などの機(jī)能が付屬するMage AIでは、ビッグデータのインポート、分析、および操作がはるかに簡(jiǎn)単です。前者により、ユーザーは、基礎(chǔ)となるインフラストラクチャをセットアップするのではなく、分析側(cè)に時(shí)間を費(fèi)やすことができます。 Mage AIは、Python Scriptingをサポートしています。ここでは、技術(shù)的なユーザーと非技術(shù)的なユーザーである両方に適したカスタム変換を定義できます。

Mage AIをPostgreSQLで使用することの利點(diǎn)

PostgreSQLでMage AIを使用することの利點(diǎn)を調(diào)べてみましょう。

• 合理化されたデータ管理：Mage AIは、ドラッグアンドドロップインターフェイスでデータパイプラインの作成を簡(jiǎn)素化し、手動(dòng)コーディングなしでPostgreSQLからデータを簡(jiǎn)単に読み込み、変換し、エクスポートできます。
• 強(qiáng)化された自動(dòng)化：トリガーとスケジュールされたパイプラインをセットアップすることにより、ETLプロセスなどの繰り返しのデータタスクを自動(dòng)化し、一定の手動(dòng)介入の必要性を減らします。
• シームレスな統(tǒng)合：Mage AIはPostgreSQLとスムーズに統(tǒng)合され、ユーザーが大規(guī)模なデータセットを効率的に管理し、同じワークフロー內(nèi)で複雑なデータ操作を?qū)g行できるようにします。
• カスタマイズ可能な変換：Mage AIでPythonスクリプトを活用して、PostgreSQLデータでカスタムデータ変換を?qū)g行し、高度なデータ処理の柔軟性を可能にします。
• スケーラブルで信頼性：Mage AIはパイプラインを効率的に管理し、小規(guī)模および大規(guī)模なデータセットの両方のスムーズな処理を確保し、PostgreSQLのスケーラビリティはパフォーマンスボトルネックなしでビジネスの成長(zhǎng)をサポートします。
• ユーザーフレンドリー：直感的なインターフェイスにより、さまざまなレベルの技術(shù)的専門知識(shí)を持つユーザーがアクセスしやすく、データソリューションの迅速な學(xué)習(xí)と迅速な展開を可能にします。

データパイプラインを構(gòu)築および管理するためのpostgresを備えたメイジAIをセットアップ

Mage AIをPostgresでセットアップすると、強(qiáng)力なデータパイプラインをシームレスに構(gòu)築および管理し、ワークフローの自動(dòng)化、効率的な洞察のための複雑なデータタスクを簡(jiǎn)素化できます。 Postgresを使用してMage AIをセットアップするために必要な手順を調(diào)べてみましょう。

ステップ1：Postgresデータベースの準(zhǔn)備

Mage AIに飛び込む前に、RAWデータファイルをPGADMIN4を使用してPOSTGREにアップロードし、各ファイルの正しいスキーマを作成します。開始方法は次のとおりです。

pgadmin4を介してpostgresにRawファイルをアップロードします

• PGADMIN4を開き、Postgresサーバーに接続します。
• 新しいデータベースを作成するか、既存のデータベースを使用します。
• RAWデータファイルごとに正しいスキーマを追加してください。
• このスキーマ內(nèi)の適切なテーブルにデータファイルをアップロード/エクスポートします。

 PDとしてパンダをインポートします
インポートチャード

＃バイナリモードでファイルを開き、サンプルを読む
open（ "expensemaster.csv"、 'rb'）として：
    sample = file.read（10000）＃サンプルとして最初の10,000バイトを読む

＃エンコーディングを検出します
検出= chardet.detect（サンプル）
印刷（検出された['エンコード']）

＃検出されたエンコードを使用して、CSVを読み取ります
試す：
    df = pd.read_csv（ "expensemaster.csv"、encoding =検出['encoding']）
UnicodedeCodeErrorを除く：
    ＃読みが失敗した場(chǎng)合は、UTF-8のような一般的なエンコードで試してください
    df = pd.read_csv（ "expensemaster.csv"、encoding = "utf-8"）

＃データ型を推測(cè)します
dtype_mapping = {
    「オブジェクト」：「テキスト」、
    'int64'： 'bigint'、
    'float64'： 'ダブル精度'、
    'DateTime64 [NS]'： 'Timestamp'、
    「ブール」：「ブール」
}

column_definitions = '、' .jein（[f '"{col}" {dtype_mapping [str（df [col] .dtype）]}' df.columnsのcolの} ']））

＃作成テーブルSQLを生成します
table_name = 'expensemaster'
create_table_sql = f'create table {table_name}（{column_definitions}）; '
print（create_table_sql）

「テーブル」をクリックして、新しく作成したテーブルを取得します。

Postgresサービスを開始します

Postgresサービスが実行されていることを確認(rèn)してください。これをPGADMIN4またはPSQL端子を使用して確認(rèn)できます。

ステップ2：ポストグレスの構(gòu)成の詳細(xì)を収集します

Mage AIをPostgresで構(gòu)成するには、特定の詳細(xì)が必要です。これがあなたが必要とするものとそれを見つける方法です：

• postgres_dbname ：postgresデータベースの名前。
• Postgres_schema ：データファイルがアップロードされるスキーマ。
• Postgres_user ：Postgresデータベースのユーザー名。
• postgres_password ：postgresデータベースのパスワード。
• Postgres_host ：PostgresサーバーのホストIPアドレス。
• postgres_port ：通常、postgresの場(chǎng)合は5432です。

ステップ3：VSコードでDockerを使用してMage AIのインストール

Mage AIをインストールするには、Visual Studioコード（VSコード）でDocker拡張機(jī)能を使用します。 DockerデスクトップとVSコードのDocker拡張機(jī)能がインストールされていることを確認(rèn)してください。

Dockerデスクトップをインストールします

ここからDockerデスクトップをダウンロードしてインストールし、初期化します。

VSコードのDocker拡張子をインストールします。

• コードを開き、ウィンドウの側(cè)面にあるアクティビティバーの拡張機(jī)能アイコンをクリックするか、Ctrl Shift xを押して拡張機(jī)能ビューに移動(dòng)します。
• 「Docker」を検索し、MicrosoftによるDocker拡張機(jī)能をインストールします。

Mage AI Docker畫像を引っ張ります

• VSコードで端末を開き、プロジェクトフォルダーに移動(dòng)します。
• 次のコマンドを?qū)g行して、最新のMage AI Docker畫像をプルします。

 Docker Pull Mageai/Mageai：最新

Mage AI Docker畫像を?qū)g行します

• Mage AIの畫像が引かれたら、VSコードのDockerタブに移動(dòng)します。
• 魔術(shù)師AIの畫像を見つけて実行します。これにより、新しいコンテナが作成されます。
• 新しく作成されたコンテナを右クリックして、[ブラウザで開く]を選択します。
• Mage AIインターフェイスは、デフォルトのWebブラウザーにロードするようになりました。

ステップ4：Mage AIをPostgresに接続するように構(gòu)成します

io_config.yamlでデータベース接続を構(gòu)成します：

• パイプラインのすべてのファイルセクションに移動(dòng)します。
• io_config.yamlファイルを見つけて開きます。
• 次のようにPostgres接続の詳細(xì)を追加します

Mage AIがPostgresデータベースにアクセスできるようにします

• IPアドレスのデータベースへのアクセスを許可するには、PG_HBA.CONFファイルを変更する必要があります。
• C：\ Program Files \ postgreSql \ 16 \ dataでPG_HBA.CONFファイルを見つけます。
• 図4に示すように、ファイルを開き、＃ipv4ローカル接続セクションの下に行を追加します。

ステップ5：最初のデータパイプラインの作成

Mage AIがPostgresに接続するように構(gòu)成されたため、最初のデータパイプラインを作成できます。各データセットのデータローダーブロックを設(shè)定し、ドラッグアンドドロップ機(jī)能を使用してフローチャートに接続することから始めます。

データローダーブロックを作成します

• 各データセットについて、別のデータローダーブロックを作成します。
• Mage AIインターフェイスでは、Postgresからロードする必要がある各データセットのデータローダーブロックをキャンバスにドラッグアンドドロップします。
• 適切な接続の詳細(xì)とクエリで各データローダーブロックを構(gòu)成して、Postgresからデータを取得します。

データローダーブロックを変圧器ブロックに接続します

ドラッグアンドドロップ機(jī)能を使用して、フローチャート內(nèi)のデータローダーブロックを次のトランスコードブロックに接続します。この視覚表現(xiàn)は、データフローを理解し、すべてのステップが正しく接続されるようにするのに役立ちます。

データエクスポートブロックの作成

• Mage AIインターフェイスでは、データローダーと変換ブロックを構(gòu)成した後、データ輸出ブロックをキャンバスに追加します。
• Pythonの下のデータの宛先として「Postgres」を選択します。
• 必要な接続の詳細(xì)をPostgresデータベースに提供します。 TransformedデータをPostgreSQLデータベースにエクスポートするためにコードを記述します。

ステップ6：トリガーの作成とパイプラインのスケジューリング

Mage AIは、パイプラインを?qū)g行し、定期的な実行のためにスケジュールするためのトリガーを作成する機(jī)能を提供します。これにより、手動(dòng)介入なしでデータが常に最新の狀態(tài)になることが保証されます。

トリガーを作成します

• Mage AIでは、特定のイベントまたは條件に基づいてパイプラインを?qū)g行するようにトリガーを設(shè)定できます。たとえば、Postgresデータベースに新しいデータが追加されるたびに、パイプラインをトリガーして実行できます。
• トリガーを作成するには、パイプライン設(shè)定に移動(dòng)し、必要に応じてトリガー條件を構(gòu)成します。

パイプラインのスケジュール

• Mage AIは、定期的にパイプラインのスケジューリングをサポートしています。これは、Mage AIダッシュボードのスケジューリング設(shè)定を介して実行できます。
• 周波數(shù)（毎日、毎週など）とパイプラインが実行される時(shí)間を指定できます。

メイジAIの追加機(jī)能

Mage AIは、データパイプラインを自動(dòng)化および強(qiáng)化するためのいくつかの強(qiáng)力な機(jī)能を提供します。

• 複數(shù)のデータソースとの統(tǒng)合： Mage AIは、データベース、クラウドストレージ、APIの多數(shù)の種類のデータ入力も受け入れ、多様で広範(fàn)なデータフローを構(gòu)築できます。
• 高度な変換機(jī)能： Pythonに基づいて、Mage AIは、さまざまなデータ変換アルゴリズムの実現(xiàn)プロセスを促進(jìn)するデコレーターの助けを借りて、カスタム変換を?qū)g裝する機(jī)會(huì)を提供します。
• スケーラビリティ： Mage AIは、ビッグデータのスループットを最適化し、成長(zhǎng)に応じてますます多くのデータを処理できるようにします。
• 監(jiān)視とアラート： Mage AIは、強(qiáng)力な監(jiān)視とアラート機(jī)能を提供し、パイプラインのワークフローを監(jiān)視し、障害に関する通知を受け取ることができます。
• ユーザーフレンドリーインターフェイス：データパイプラインのグラフィカルなレイアウトは、データを操作および変換するために複雑なコーディングを心配する必要がないことを意味します。

Mage AIをデータワークフローをデータインフラストラクチャとして自動(dòng)化するためのツールにして、多くの時(shí)間を費(fèi)やす必要がないようにします。

結(jié)論

今日、情報(bào)は貴重な資産であり、組織にとってデータ管理が不可欠になっています。この記事では、PostgreSQLを使用してMage AIの構(gòu)成に関する明確なガイダンスを提供し、複數(shù)のプロセスを合理化するだけでなく、生産性を大幅に向上させる堅(jiān)牢なデータパイプラインを構(gòu)築するのに役立ちます。ソフトウェアアソシエイトとともに、Mage AIの使用は、PostgreSQLなどの堅(jiān)牢なデータベースとともに、ユーザーが可能な限り短い時(shí)間で適切な決定を処理、分析、および行うことができます。組織がデータ駆動(dòng)型の方法論とフレームワークの取り組みを強(qiáng)化したため、Mage AIなどのテクノロジーは、データを管理するための支配的なモデルになりました。

Githubでこの記事の背後にあるコードを調(diào)べてください！

よくある質(zhì)問

A. Mage AIは、データワークフローの構(gòu)築と管理のプロセスを簡(jiǎn)素化するために設(shè)計(jì)されたオープンソースツールです。データの専門家が広範(fàn)なコーディングの知識(shí)なしにパイプラインを作成するのに役立つユーザーフレンドリーなインターフェイスと自動(dòng)化機(jī)能を提供します。

A. PostgreSQLは、その堅(jiān)牢性とスケーラビリティで知られている強(qiáng)力なオープンソースのリレーショナルデータベース管理システムです。 Mage AIと組み合わせると、ユーザーは大規(guī)模なデータセットを効率的に保存、取得、操作できるようになり、データパイプラインに理想的な選択肢になります。

A.プログラミングの概念に精通していることは役立ちますが、Mage AIは、さまざまなレベルの技術(shù)的専門知識(shí)を持つユーザーがユーザーフレンドリーでアクセスできるように設(shè)計(jì)されています。多くのタスクは、直感的なインターフェイスを通じて実現(xiàn)できます。

A.はい、Mage AIはさまざまなデータソースとの統(tǒng)合をサポートし、ユーザーが複數(shù)のプラットフォームからデータを引き込む包括的なデータパイプラインを構(gòu)築し、データエコシステム全體を強(qiáng)化することができます。

A. Mage AIはオープンソースツールです。つまり、自由に使用できることを意味します。ただし、ユーザーは、インフラストラクチャの選択に応じて、ホスティング、ストレージ、およびその他の関連サービスに関連するコストを負(fù)擔(dān)する場(chǎng)合があります。

この記事に示されているメディアは、Analytics Vidhyaが所有しておらず、著者の裁量で使用されています。

以上がPostgresを使用したMage AIをセットアップしますの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語 Web サイトの他の関連記事を參照してください。