要約: このガイドでは、crawl4ai の AI を活用した抽出と Pydantic データ モデルを使用して、e コマース スクレーパーを構(gòu)築する方法を説明します。 スクレイパーは、製品リスト (名前、価格) と詳細(xì)な製品情報 (仕様、レビュー) の両方を非同期的に取得します。

Google Colab で完全なコードにアクセスします

電子商取引データ分析のための従來の Web スクレイピングの複雑さにうんざりしていませんか?このチュートリアルでは、最新の Python ツールを使用してプロセスを簡素化します。インテリジェントなデータ抽出には crawl4ai を、堅牢なデータ モデリングと検証には Pydantic を活用します。

Crawl4AI と Pydantic を選ぶ理由

• crawl4ai: AI 主導(dǎo)の抽出方法を使用して、Web のクローリングとスクレイピングを合理化します。
• Pydantic: データ検証とスキーマ管理を提供し、構(gòu)造化された正確なスクレイピング データを保証します。

なぜ Tokopedia をターゲットにするのですか?

インドネシアの大手電子商取引プラットフォームである Tokopedia が例として挙げられます。 (注: 著者はインドネシア人であり、プラットフォームのユーザーですが、提攜はしていません。) この原則は他の電子商取引サイトにも適用されます。 このスクレイピング アプローチは、e コマース分析、市場調(diào)査、自動データ収集に興味のある開発者にとって有益です。

このアプローチの特徴は何ですか?

複雑な CSS セレクターや XPath に依存する代わりに、crawl4ai の LLM ベースの抽出を利用します。これにより以下が提供されます:

• Web サイト構(gòu)造の変更に対する復(fù)元力の強(qiáng)化
• よりクリーンで構(gòu)造化されたデータ出力。
• メンテナンスのオーバーヘッドを削減します。

開発環(huán)境のセットアップ

必要なパッケージをインストールすることから始めます:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

ノートブックでの非同期コード実行の場合は、nest_asyncio:

import crawl4ai
import asyncio
import nest_asyncio
nest_asyncio.apply()

Pydantic を使用したデータ モデルの定義

私たちは Pydantic を使用して、予想されるデータ構(gòu)造を定義します。 モデルは次のとおりです:

from pydantic import BaseModel, Field
from typing import List, Optional

class TokopediaListingItem(BaseModel):
    product_name: str = Field(..., description="Product name from listing.")
    product_url: str = Field(..., description="URL to product detail page.")
    price: str = Field(None, description="Price displayed in listing.")
    store_name: str = Field(None, description="Store name from listing.")
    rating: str = Field(None, description="Rating (1-5 scale) from listing.")
    image_url: str = Field(None, description="Primary image URL from listing.")

class TokopediaProductDetail(BaseModel):
    product_name: str = Field(..., description="Product name from detail page.")
    all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.")
    specs: str = Field(None, description="Technical specifications or short info.")
    description: str = Field(None, description="Long product description.")
    variants: List[str] = Field(default_factory=list, description="List of variants or color options.")
    satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.")
    total_ratings: Optional[str] = Field(None, description="Total number of ratings.")
    total_reviews: Optional[str] = Field(None, description="Total number of reviews.")
    stock: Optional[str] = Field(None, description="Stock availability.")

これらのモデルはテンプレートとして機(jī)能し、データ検証を確実にし、明確なドキュメントを提供します。

スクレイピングプロセス

スクレーパーは 2 つのフェーズで動作します:

1.商品リストをクロール

まず、検索結(jié)果ページを取得します。

async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1):
    # ... (Code remains the same) ...

2.製品詳細(xì)を取得しています

次に、製品 URL ごとに詳細(xì)情報を取得します。

async def crawl_tokopedia_detail(product_url: str):
    # ... (Code remains the same) ...

ステージの結(jié)合

最後に、両方のフェーズを統(tǒng)合します。

async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15):
    # ... (Code remains the same) ...

スクレーパーの実行

スクレイパーを?qū)g行する方法は次のとおりです:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

プロのヒント

1. レート制限: Tokopedia のサーバーを尊重します。大規(guī)模なスクレイピングのリクエスト間に遅延が発生します。
2. キャッシュ: 開発中に roll4ai のキャッシュを有効にします (cache_mode=CacheMode.ENABLED)。
3. エラー処理: 運用環(huán)境で使用するための包括的なエラー処理および再試行メカニズムを?qū)g裝します。
4. API キー: Gemini API キーはコード內(nèi)に直接ではなく、環(huán)境変數(shù)に安全に保存します。

次のステップ

このスクレーパーは次のように拡張できます:

• データをデータベースに保存します。
• モニター価格は時間の経過とともに変化します。
• 製品の傾向とパターンを分析します。
• 複數(shù)の店舗の価格を比較します。

結(jié)論

crawl4ai の LLM ベースの抽出により、従來の方法と比較して Web スクレイピングの保守性が大幅に向上します。 Pydantic との統(tǒng)合により、データの正確性と構(gòu)造が保証されます。

スクレイピングする前に、必ず Web サイトの robots.txt と利用規(guī)約を遵守してください。

重要なリンク:

クロール4AI

• 公式ウェブサイト: http://ipnx.cn/link/1026d8c97a822ee171c6cbf939fe4aca
• GitHub リポジトリ: http://ipnx.cn/link/62c1b075041300455ec2b54495d93c99
• ドキュメント: http://ipnx.cn/link/1026d8c97a822ee171c6cbf939fe4aca/mkdocs/core/installation/

ピダンティック

• 公式ドキュメント: http://ipnx.cn/link/a4d4ec4aa3c45731396ed6e65fee40b9
• PyPI ページ: http://ipnx.cn/link/4d8ab89733dd9a88f1a9d130ca675c2e
• GitHub リポジトリ: http://ipnx.cn/link/22935fba49f7d80d5adf1cfa6b0344f4

注: 完全なコードは Colab ノートブックで入手できます。 自由に実験して、特定のニーズに合わせて調(diào)整してください。

以上がPydantic、Crawl、Gemini を使用した非同期電子商取引 Web スクレイパーの構(gòu)築の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。