Kurz gesagt: Dieser Leitfaden zeigt den Aufbau eines E-Commerce-Scrapers mithilfe der KI-gestützten Extraktion und der Pydantic-Datenmodelle von crawl4ai. Der Scraper ruft asynchron sowohl Produktlisten (Namen, Preise) als auch detaillierte Produktinformationen (Spezifikationen, Bewertungen) ab.

Greifen Sie auf den vollst?ndigen Code auf Google Colab zu

Müden Sie die Komplexit?t des traditionellen Web-Scrapings zur E-Commerce-Datenanalyse? Dieses Tutorial vereinfacht den Prozess mithilfe moderner Python-Tools. Wir nutzen crawl4ai für die intelligente Datenextraktion und Pydantic für eine robuste Datenmodellierung und -validierung.

Warum Crawl4AI und Pydantic w?hlen?

• crawl4ai: Optimiert Web-Crawling und Scraping mithilfe KI-gesteuerter Extraktionsmethoden.
• Pydantic: Bietet Datenvalidierung und Schemaverwaltung und sorgt so für strukturierte und genaue Scraping-Daten.

Warum Tokopedia ins Visier nehmen?

Tokopedia, eine gro?e indonesische E-Commerce-Plattform, dient uns als Beispiel. (Hinweis: Der Autor ist Indonesier und Nutzer der Plattform, aber nicht mit ihr verbunden.) Die Grunds?tze gelten auch für andere E-Commerce-Websites. Dieser Scraping-Ansatz ist für Entwickler von Vorteil, die sich für E-Commerce-Analysen, Marktforschung oder automatisierte Datenerfassung interessieren.

Was zeichnet diesen Ansatz aus?

Anstatt uns auf komplexe CSS-Selektoren oder XPath zu verlassen, nutzen wir die LLM-basierte Extraktion von crawl4ai. Das bietet:

• Verbesserte Widerstandsf?higkeit gegenüber ?nderungen der Website-Struktur.
• Sauberere, strukturiertere Datenausgabe.
• Reduzierter Wartungsaufwand.

Einrichten Ihrer Entwicklungsumgebung

Beginnen Sie mit der Installation der erforderlichen Pakete:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

Für die asynchrone Codeausführung in Notebooks verwenden wir auch nest_asyncio:

import crawl4ai
import asyncio
import nest_asyncio
nest_asyncio.apply()

Datenmodelle mit Pydantic definieren

Wir verwenden Pydantic, um die erwartete Datenstruktur zu definieren. Hier sind die Modelle:

from pydantic import BaseModel, Field
from typing import List, Optional

class TokopediaListingItem(BaseModel):
    product_name: str = Field(..., description="Product name from listing.")
    product_url: str = Field(..., description="URL to product detail page.")
    price: str = Field(None, description="Price displayed in listing.")
    store_name: str = Field(None, description="Store name from listing.")
    rating: str = Field(None, description="Rating (1-5 scale) from listing.")
    image_url: str = Field(None, description="Primary image URL from listing.")

class TokopediaProductDetail(BaseModel):
    product_name: str = Field(..., description="Product name from detail page.")
    all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.")
    specs: str = Field(None, description="Technical specifications or short info.")
    description: str = Field(None, description="Long product description.")
    variants: List[str] = Field(default_factory=list, description="List of variants or color options.")
    satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.")
    total_ratings: Optional[str] = Field(None, description="Total number of ratings.")
    total_reviews: Optional[str] = Field(None, description="Total number of reviews.")
    stock: Optional[str] = Field(None, description="Stock availability.")

Diese Modelle dienen als Vorlagen, stellen die Datenvalidierung sicher und sorgen für eine klare Dokumentation.

Der Schabeprozess

Der Schaber arbeitet in zwei Phasen:

1. Crawlen von Produktlisten

Zuerst rufen wir Suchergebnisseiten ab:

async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1):
    # ... (Code remains the same) ...

2. Produktdetails abrufen

Als n?chstes rufen wir für jede Produkt-URL detaillierte Informationen ab:

async def crawl_tokopedia_detail(product_url: str):
    # ... (Code remains the same) ...

Kombination der Stufen

Schlie?lich integrieren wir beide Phasen:

async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15):
    # ... (Code remains the same) ...

Den Scraper ausführen

So führen Sie den Schaber aus:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

Profi-Tipps

1. Ratenbegrenzung: Respektieren Sie die Server von Tokopedia; Verz?gerungen zwischen Anfragen für gro? angelegtes Scraping einführen.
2. Caching: Aktivieren Sie das Caching von crawl4ai w?hrend der Entwicklung (cache_mode=CacheMode.ENABLED).
3. Fehlerbehandlung: Implementieren Sie umfassende Fehlerbehandlungs- und Wiederholungsmechanismen für den Produktionseinsatz.
4. API-Schlüssel:Speichern Sie Gemini-API-Schlüssel sicher in Umgebungsvariablen, nicht direkt im Code.

N?chste Schritte

Dieser Schaber kann erweitert werden auf:

• Daten in einer Datenbank speichern.
• überwachen Sie Preis?nderungen im Laufe der Zeit.
• Produkttrends und -muster analysieren.
• Vergleichen Sie die Preise in mehreren Gesch?ften.

Fazit

Die LLM-basierte Extraktion von crawl4ai verbessert die Wartbarkeit des Web Scraping im Vergleich zu herk?mmlichen Methoden erheblich. Die Integration mit Pydantic gew?hrleistet Datengenauigkeit und -struktur.

Halten Sie sich vor dem Scrapen immer an die robots.txt und Nutzungsbedingungen einer Website.

Wichtige Links:

Crawl4AI

• Offizielle Website: http://ipnx.cn/link/1026d8c97a822ee171c6cbf939fe4aca
• GitHub-Repository: http://ipnx.cn/link/62c1b075041300455ec2b54495d93c99
• Dokumentation: http://ipnx.cn/link/1026d8c97a822ee171c6cbf939fe4aca/mkdocs/core/installation/

Pydantisch

• Offizielle Dokumentation: http://ipnx.cn/link/a4d4ec4aa3c45731396ed6e65fee40b9
• PyPI-Seite: http://ipnx.cn/link/4d8ab89733dd9a88f1a9d130ca675c2e
• GitHub-Repository: http://ipnx.cn/link/22935fba49f7d80d5adf1cfa6b0344f4

Hinweis: Der vollst?ndige Code ist im Colab-Notizbuch verfügbar. Probieren Sie es einfach aus und passen Sie es an Ihre spezifischen Bedürfnisse an.

Das obige ist der detaillierte Inhalt vonErstellen eines asynchronen E-Commerce-Web-Scrapers mit Pydantic, Crawl & Gemini. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!