Stellen Sie sich vor, Sie haben sich als Datenprofi vor, die mit der Erstellung einer effizienten Datenpipeline beauftragt sind, Prozesse zu optimieren und Echtzeitinformationen zu generieren. Klingt herausfordernd, oder? Hier kommt Mage AI ins Spiel, um sicherzustellen, dass die Kreditgeber, die online arbeiten, einen Wettbewerbsvorteil erreichen. Stellen Sie sich dies vor: Im Gegensatz zu vielen anderen Erweiterungen, die eine tiefe Setup und eine konstante Codierung erfordern, verfügt die Mage AI über ein klares und unbest?ndiges Schritt-für-Schritt-Setup. Ich werde Ihnen auch mitteilen, wie Sie Mage AI mit PostgreSQL importieren, damit Sie Ihre erste Datenpipeline mit Mage AI erstellen k?nnen. Erlauben Sie mir, Ihnen die Schritte vorzustellen, die dazu beitragen, dass Ihre Datenverarbeitung noch besser wird!

Lernergebnisse

• Verstehen Sie, wie Sie Mage AI für die nahtlose Integration in PostgreSQL konfigurieren.
• Erfahren Sie, dass Rohdaten nach postgresql hochladen und Schemas mit PGADMIN4 erstellen.
• Beherrschen Sie den Prozess des Erstellens und Verwaltens von Datenpipelines in Magier AI.
• Entdecken Sie, wie automatisierte Trigger und Planung für Datenpipelines eingerichtet werden.
• Gewinnen Sie Einblicke in die erweiterten Funktionen von Mage AI wie Echtzeitverarbeitung und -überwachung.

Dieser Artikel wurde als Teil des Data Science -Blogathons ver?ffentlicht.

Inhaltsverzeichnis

• Lernergebnisse
• Was ist Magier AI?
• Setzen Sie die Mage AI mit Postgres ein, um Ihre Datenpipeline zu erstellen und zu verwalten
  • STEP1: Vorbereitung Ihrer Postgres -Datenbank
  • Schritt 2: Sammeln Sie Postgres -Konfigurationsdetails
  • Schritt 3: Installieren von Magage AI mit Docker in VS Code
  • Schritt 4: Konfigurieren von Mage AI, um eine Verbindung mit Postgres herzustellen
  • Schritt 5: Erstellen Ihrer ersten Datenpipeline
  • STEP6: Erstellen von Triggern und Planung von Pipelines
• Zus?tzliche Merkmale von Magier AI
• Abschluss
• H?ufig gestellte Fragen

Was ist Magier AI?

Mage AI vereinfacht die Integration wachsender Datenworkflows als Open-Source-Tool. Mit ihrer sauberen Design und der App-?hnlichen Schnittstelle k?nnen Dateningenieure und Analysten Datenpipelines mit One-Click-Optionen problemlos erstellen, wodurch die Notwendigkeit einer Codierung beseitigt wird. Das Importieren, Analysieren und Manipulieren von Big Data ist bei der Mage AI, die unter anderem mit Merkmalen wie Drag & Drop, Datenumwandlung und Datenquellenkompatibilit?t ausgestattet ist. Ersteres erm?glicht es den Benutzern, ihre Zeit auf der Analytics -Seite zu verbringen, anstatt sich Sorgen über die zugrunde liegenden Infrastrukturen zu machen. Mage AI unterstützt auch Python Scripting, bei dem man benutzerdefinierte Transformationen definieren kann, die es sowohl für einen technischen als auch für einen nicht technischen Benutzer geeignet machen.

Vorteile der Verwendung von Magier AI mit PostgreSQL

Sehen wir uns die Vorteile der Verwendung von Magier AI mit PostgreSQL an.

• Stromlinienverwaltung : Mage AI vereinfacht die Erstellung von Datenpipeline mit seiner Drag & Drop-Schnittstelle und erleichtert es einfach, Daten ohne manuelle Codierung von PostgreSQL zu laden, zu transformieren und zu exportieren.
• Verbesserte Automatisierung : Automatisieren wiederkehrende Datenaufgaben wie ETL -Prozesse, indem sie Ausl?ser und geplante Pipelines einrichten und die Notwendigkeit konstanter manueller Eingriffe verringern.
• Nahlose Integration : Mage AI integriert reibungslos in PostgreSQL, sodass Benutzer gro?e Datens?tze effizient verwalten und komplexe Datenvorg?nge innerhalb desselben Workflows durchführen k?nnen.
• Anpassbare Transformationen : Nutzen Sie das Python -Skript in der Mage AI, um benutzerdefinierte Datentransformationen in PostgreSQL -Daten durchzuführen, sodass Flexibilit?t für die erweiterte Datenverarbeitung erm?glicht werden kann.
• Skalierbar und zuverl?ssig : Mage AI verwaltet effizient Pipelines und sorgt für eine reibungslose Handhabung kleiner und gro?er Datens?tze, w?hrend die Skalierbarkeit von PostgreSQL das Gesch?ftswachstum ohne Leistungs Engp?sse unterstützt.
• Benutzerfreundlich : Die intuitive Benutzeroberfl?che macht es Benutzern mit unterschiedlichem technischem Fachwissen zug?nglich, wodurch ein schnelleres Lernen und eine schnellere Bereitstellung von Datenl?sungen erm?glicht werden kann.

Setzen Sie die Mage AI mit Postgres ein, um Ihre Datenpipeline zu erstellen und zu verwalten

Durch das Einrichten von Mage AI mit Postgres k?nnen Sie leistungsstarke Datenpipelines nahtlos erstellen und verwalten, Workflows automatisieren und komplexe Datenaufgaben für effiziente Erkenntnisse vereinfachen. Schauen wir uns die Schritte an, die erforderlich sind, um die Mage AI mit Postgres einzurichten.

STEP1: Vorbereitung Ihrer Postgres -Datenbank

Laden Sie vor dem Tauchen in die Mage AI Ihre Rohdatendateien in Postgres mit PGADMIN4 hoch und erstellen Sie das richtige Schema für jede Datei. Hier erfahren Sie, wie man anf?ngt:

Laden Sie Rohdateien über PGADMIN4 in Posten von Dateien hoch

• ?ffnen Sie PGADMIN4 und stellen Sie eine Verbindung zu Ihrem Postgres -Server her.
• Erstellen Sie eine neue Datenbank oder verwenden Sie eine vorhandene.
• Stellen Sie sicher, dass Sie das richtige Schema für jede Rohdatendatei hinzufügen.
• Laden/exportieren Sie Ihre Datendateien in die entsprechenden Tabellen in diesem Schema.

 Pandas als PD importieren
Chardet importieren

# ?ffnen Sie die Datei im Bin?rmodus und lesen Sie ein Beispiel
mit Open ("expensemaster.csv", 'rb') als Datei:
    sample = file.read (10000) # Lesen Sie die ersten 10.000 Bytes als Beispiel

# Codierung erkennen
erkannt = chardet.detekte (Probe)
print (erkannt ['codieren'])

# Verwenden Sie die erkannte Codierung, um den CSV zu lesen
versuchen:
    df = pd.read_csv ("expensemaster.csv", coding = detektiert ['coding']))
Au?er UnicodEdeCodeError:
    # Wenn das Lesen fehlschl?gt, versuchen Sie es mit einer gemeinsamen Codierung wie UTF-8
    df = pd.read_csv ("expensemaster.csv", coding = "utf-8")

# Datentypen schlie?en
DTYPE_MAPPING = {
    'Objekt': 'Text',
    'int64': 'Bigint',,
    'float64': 'doppelte Pr?zision',
    'DateTime64 [NS]': 'Timestamp',,
    'bool': 'boolean' '
}

column_definitions = ',' .join ([f '"{col}" {dtype_mapping [str (df [col] .dType)]}' für Col in df.columns])

# Generieren Sie die Tabelle Creating SQL
TABLE_NAME = 'expensemaster'
create_table_sql = f'create table {table_name} ({column_definitions}); '
print (create_table_sql)

Klicken Sie auf die ?Tabellen“ aktualisieren, um die neu erstellte Tabelle zu erhalten.

Starten Sie den Postgres -Service

Stellen Sie sicher, dass der Postgres -Dienst ausgeführt wird. Sie k?nnen dies in Pgadmin4 oder mithilfe des PSQL -Terminals überprüfen.

Schritt 2: Sammeln Sie Postgres -Konfigurationsdetails

Sie ben?tigen spezifische Details, um Mage AI mit Postgres zu konfigurieren. Folgendes brauchen Sie und wie Sie es finden:

• Postgres_dbname : Der Name Ihrer Postgres -Datenbank.
• Postgres_schema : Das Schema, in dem Ihre Datendateien hochgeladen werden.
• Postgres_user : Der Benutzername für Ihre Postgres -Datenbank.
• Postgres_password : Das Kennwort für Ihre Postgres -Datenbank.
• Postgres_host : Die Host -IP -Adresse Ihres Postgres -Servers.
• Postgres_port : normalerweise 5432 für postgres.

Schritt 3: Installieren von Magage AI mit Docker in VS Code

Um Mage AI zu installieren, verwenden wir die Docker -Erweiterung im Visual Studio Code (VS -Code). Stellen Sie sicher, dass Sie Docker Desktop und die Docker -Erweiterung für den VS -Code installiert haben.

Installieren Sie Docker Desktop

Laden Sie den Docker -Desktop von hier herunter und installieren Sie ihn initialisieren.

Installieren Sie die Docker -Erweiterung für den VS -Code:

• ?ffnen Sie VS -Code und wenden Sie sich zur Erweiterungsansicht, indem Sie auf das Symbol für Erweiterungen in der Aktivit?tsleiste an der Seite des Fensters oder durch Drücken von STRG Shift X klicken.
• Suchen Sie nach "Docker" und installieren Sie die Docker -Erweiterung durch Microsoft.

Ziehen Sie das Magier -Ai -Docker -Bild

• ?ffnen Sie ein Terminal in VS -Code und navigieren Sie zu Ihrem Projektordner.
• Führen Sie den folgenden Befehl aus, um das neueste Mage AI Docker -Bild zu ziehen:

 Docker Pull MALEAI/MALEAI: Neueste

Führen Sie das Magier -Ai -Docker -Bild aus

• Sobald das Mage AI -Bild gezogen ist, gehen Sie in VS Code zur Registerkarte Docker.
• Finden Sie das Mage AI -Bild und führen Sie es aus. Dies erstellt einen neuen Container.
• Klicken Sie mit der rechten Maustaste auf den neu erstellten Container und w?hlen Sie "im Browser ?ffnen".
• Die Mage AI -Schnittstelle sollte nun in Ihren Standard -Webbrowser geladen werden.

Schritt 4: Konfigurieren von Mage AI, um eine Verbindung mit Postgres herzustellen

Konfigurieren Sie die Datenbankverbindung in io_config.yaml:

• Navigieren Sie zum Abschnitt Alle Dateien Ihrer Pipeline.
• Suchen und ?ffnen Sie die Datei io_config.yaml.
• Fügen Sie Ihre Postgres -Verbindungsdetails wie folgt hinzu

Lassen Sie die Mage AI auf die Postgres -Datenbank zugreifen

• Um Zugriff auf die Datenbank in Ihrer IP -Adresse zu gew?hren, müssen Sie die Datei pg_hba.conf ?ndern.
• Suchen Sie die Datei pg_hba.conf unter C: \ Programme \ postgreSQL \ 16 \ Data.
• ?ffnen Sie die Datei und fügen Sie die Zeile unter dem Abschnitt # IPv4 -Anschlüsse hinzu, wie in Abb. 4 gezeigt.

Schritt 5: Erstellen Ihrer ersten Datenpipeline

Jetzt, da die Mage AI so konfiguriert ist, dass sie mit Postgres eine Verbindung herstellen, k?nnen wir unsere erste Datenpipeline erstellen. Wir werden damit beginnen, Datenladebl?cke für jeden Datensatz einzustellen und die Drag & Drop-Funktion zu verwenden, um sie in einem Flowdiagramm zu verbinden.

Erstellen Sie Datenladerbl?cke

• Erstellen Sie für jeden Datensatz einen separaten Datenladerblock.
• Ziehen Sie in der Schnittstelle der Mage AI einen Datenloader -Block für jeden Datensatz auf die Leinwand ein und lassen Sie sie aus postgres laden.
• Konfigurieren Sie jeden Datenladerblock mit den entsprechenden Verbindungsdetails und Abfragen, um die Daten von Postgres abzurufen.

Schlie?en Sie die Datenloaderbl?cke mit dem Transformatorblock an

Verwenden Sie die Drag-and-Drop-Funktion, um die Datenladerbl?cke im Flowdiagramm mit dem n?chsten Transformator-Code-Block zu verbinden. Diese visuelle Darstellung hilft beim Verst?ndnis des Datenflusss und der korrekten Verbindung, dass alle Schritte korrekt verbunden sind.

Erstellen von Datenexporterbl?cken

• Fügen Sie nach Konfiguration Ihrer Datenlader- und Transformationsbl?cke einen Datenexporterblock zu der Leinwand hinzu.
• W?hlen Sie "Postgres" als Ziel für die Daten unter Python.
• Geben Sie die erforderlichen Verbindungsdetails Ihrer Postgres -Datenbank an. Schreiben Sie den Code, um die transformierten Daten in die PostgreSQL -Datenbank zurück zu exportieren.

STEP6: Erstellen von Triggern und Planung von Pipelines

Mage AI bietet die M?glichkeit, Ausl?ser für das Ausführen Ihrer Pipeline zu erstellen und sie für die regelm??ige Ausführung zu planen. Dies stellt sicher, dass Ihre Daten ohne manuelle Intervention immer aktuell sind.

Erstellen eines Ausl?sers

• In der Mage AI k?nnen Sie Trigger einrichten, um Ihre Pipeline basierend auf bestimmten Ereignissen oder Bedingungen auszuführen. Sie k?nnen beispielsweise eine Pipeline ausl?sen, die ausgeführt werden kann, wenn Ihre Postgres -Datenbank neue Daten hinzugefügt werden.
• Um einen Ausl?ser zu erstellen, navigieren Sie zu den Pipeline -Einstellungen und konfigurieren Sie die Triggerbedingungen nach Bedarf.

Planen der Pipeline

• Mage AI unterstützt die Planung von Pipelines in regelm??igen Abst?nden. Dies kann durch die Planungseinstellungen im Magier -AI -Dashboard erfolgen.
• Sie k?nnen die Frequenz (t?glich, w?chentlich usw.) und die Zeit für die Pipeline angeben.

Zus?tzliche Merkmale von Magier AI

Mage AI bietet mehrere leistungsstarke Funktionen zur Automatisierung und Verbesserung Ihrer Datenpipelines:

• Integration mit mehreren Datenquellen: Mage AI akzeptiert auch zahlreiche Arten von Dateneingaben: Datenbanken, Cloud -Speicher und APIs, mit denen Sie verschiedene und umfangreiche Datenstr?me erstellen k?nnen.
• Fortgeschrittene Transformationsfunktionen: Basierend auf Python bietet Mage AI die M?glichkeit, mithilfe von Dekoratoren benutzerdefinierte Transformation zu implementieren, was den Prozess der Realisierung verschiedener Datentransformationsalgorithmen erleichtert.
• Skalierbarkeit: Magier AI optimiert Ihren Durchsatz für Big Data und erm?glicht es ihm, zunehmende Mengen an Daten zu bew?ltigen, wenn sie wachsen.
• überwachung und Warnungen: Mage AI bietet eine starke überwachungs- und Alarmierungsfunktion und erm?glicht es, den Workflow der Pipeline zu überwachen und Benachrichtigungen über Fehler zu erhalten.
• Benutzerfreundliche Schnittstelle: Das grafische Layout der Datenpipelines bedeutet, dass Benutzer sich keine Sorgen über komplizierte Codierung machen müssen, um ihre Daten zu manipulieren und zu transformieren.

Sie machen Mage AI zu einem Tool, um die Datenworkflows als Dateninfrastruktur zu automatisieren, sodass Sie nicht viel Zeit damit verbringen müssen.

Abschluss

Heutzutage sind Informationen ein wertvolles Gut, das das Datenmanagement für Organisationen wesentlich macht. Dieser Artikel enth?lt klare Leitlinien zur Konfiguration von Mage AI mit PostgreSQL und hilft Ihnen dabei, eine robuste Datenpipeline zu erstellen, die nicht nur mehrere Prozesse optimiert, sondern auch die Produktivit?t erheblich erh?ht. Mit dem Software -Associate erm?glichen die Nutzung von Mage AI neben robusten Datenbanken wie PostgreSQL den Benutzern die richtigen Entscheidungen in kürzester Zeit, um die richtigen Entscheidungen zu verarbeiten, zu analysieren und zu treffen. Da Organisationen die Anstrengungen in datengesteuerten Methoden und Rahmenbedingungen gesteigert haben, sind Technologien wie Mage AI die dominierenden Modelle für die Verwaltung von Daten.

Erkunden Sie den Code hinter diesem Artikel auf Github!

H?ufig gestellte Fragen

A. Mage AI ist ein Open-Source-Tool, mit dem der Prozess des Erstellens und Verwaltens von Datenworkflows vereinfacht wird. Es bietet eine benutzerfreundliche Schnitt- und Automatisierungsfunktionen, mit denen Datenfachleute Pipelines ohne umfangreiche Codierungskenntnisse erstellen k?nnen.

A. PostgreSQL ist ein leistungsstarkes, open-Source Relational Database Management-System, das für seine Robustheit und Skalierbarkeit bekannt ist. In Kombination mit Mage AI k?nnen Benutzer gro?e Datens?tze effizient speichern, abrufen und manipulieren, wodurch es zu einer idealen Wahl für Datenpipelines wird.

A. Eine gewisse Vertrautheit mit Programmierkonzepten kann hilfreich sein, aber die Mage AI ist so konzipiert, dass sie benutzerfreundlich und für Benutzer mit unterschiedlichem technischen Fachkenntnis zug?nglich sind. Viele Aufgaben k?nnen über seine intuitive Schnittstelle erledigt werden.

A. Ja, Mage AI unterstützt die Integration mit verschiedenen Datenquellen, sodass Benutzer umfassende Datenpipelines erstellen k?nnen, die Daten von mehreren Plattformen anziehen und das Gesamtdaten -?kosystem verbessern.

A. Magier AI ist ein Open-Source-Tool, was bedeutet, dass es kostenlos verwendet werden kann. Benutzer k?nnen jedoch je nach Auswahl der Infrastruktur Kosten im Zusammenhang mit Hosting, Speicherung und anderen verwandten Diensten entstehen.

Die in diesem Artikel gezeigten Medien sind nicht im Besitz von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Das obige ist der detaillierte Inhalt vonSetup Magage AI mit Postgres einrichten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!