コアポイント

<ul>

node.jsのWebクローリングには、リモートサーバーからソースコードをダウンロードし、cheerioなどのモジュールを使用して実裝できます。 request

モジュールは、HTML文字列からDOMを構(gòu)築および解析できるjQueryのサブセットを?qū)g裝していますが、構(gòu)造が不十分なHTMLに対処することは困難です。 <code>cheerio

requestとcheerioを組み合わせると、Webページの特定の要素を抽出するための完全なWeb Crawlerを作成できますが、動的なコンテンツの処理、禁止の避け、ログインまたは使用を必要とするWebサイトの処理はより複雑で、必要になる場合があります。追加のツールまたは戦略。

Web Crawlerは、Webページにプログラム的にアクセスし、それらからデータを抽出するソフトウェアです。コンテンツの重複などの問題のため、Webクローリングはやや物議を醸すトピックです。ほとんどのウェブサイトの所有者は、公開されているAPIを介してデータにアクセスすることを好みます。殘念ながら、多くのWebサイトはAPIの品質(zhì)が低く、APIもまったくありません。これにより、多くの開発者がWebクロールに目を向けることを余儀なくされました。この記事では、node.jsで獨自のWeb Crawlerを?qū)g裝する方法を教えてください。 Web Crawlingの最初のステップは、リモートサーバーからソースコードをダウンロードすることです。 「node.jsでhttpリクエストを作成する」で、読者はrequestモジュールのダウンロードページの使用方法を?qū)Wびました。次の例では、node.jsでゲットリクエストを作成する方法をすばやく確認(rèn)します。

var request = require("request");

request({
  uri: "http://www.sitepoint.com",
}, function(error, response, body) {
  console.log(body);
});

Webクロールの2番目のステップは、これもより難しいステップですが、ダウンロードされたソースコードからデータを抽出することです。クライアント側(cè)では、このタスクは、セレクターAPIやjQueryなどのライブラリを使用して簡単に実現(xiàn)できます。殘念ながら、これらのソリューションは、DOMを照會できるという仮定に依存しています。殘念ながら、node.jsはDOMを提供しません。または何かありますか？

cheerioモジュール

node.jsには組み込みのDOMがありませんが、HTMLソースコード文字列からDOMを構(gòu)築できるモジュールがいくつかあります。 2つの一般的なDOMモジュールは、cheerioとjsdomです。この記事では、次のコマンドを使用してインストールできます。 cheerio

npm install cheerio

モジュールは、jQueryのサブセットを?qū)g裝しています。これは、多くの開発者が迅速に開始できることを意味します。実際、

はjQueryに非常に似ており、cheerioで実裝されていないjQuery関數(shù)を使用しようとするのは簡単です。次の例は、cheerioを使用してHTML文字列を解析する方法を示しています。最初の行はプログラムにcheerioをインポートします。 <code>cheerio変數(shù)は、解析するHTMLフラグメントを保存します。 3行目では、cheerioを使用してHTMLを解析します。結(jié)果はhtml変數(shù)に割り當(dāng)てられます。ドル記號は、伝統(tǒng)的にjQueryで使用されていたため、選択されました。行4では、CSSスタイルセレクターを使用して、 <code>cheerio 要素を選択します。最後に、リストの內(nèi)部HTMLを印刷するには、$メソッドを使用します。 <ul>

var request = require("request");

request({
  uri: "http://www.sitepoint.com",
}, function(error, response, body) {
  console.log(body);
});

制限

cheerioは積極的な開発中であり、常に改善されています。ただし、まだいくつかの制限があります。 <code>cheerio最もイライラする側(cè)面は、HTMLパーサーです。 HTML解析は難しい問題であり、悪いHTMLを含む多くのWebページがあります。これらのページではcheerioはクラッシュしませんが、要素を選択できないことがあります。これにより、エラーがセレクターかページ自體であるかを判斷することが困難になります。

jspro

クロール

次の例では、requestとcheerioを組み合わせて、完全なWebクローラーを構(gòu)築します。このサンプルクローラーは、JSPROホームページ上のすべての記事のタイトルとURLを抽出します。最初の2行は、必要なモジュールを例にインポートします。 JSPROホームページのソースコードを3行目から5行目からダウンロードします。次に、ソースコードを解析のためにcheerioに渡します。

npm install cheerio

JSPROソースコードを見ると、各投稿タイトルはentry-title要素に含まれるリンクであることがわかります。 7行目のセレクターは、すべての記事リンクを選択します。次に、すべての記事を反復(fù)するために<a></a>関數(shù)を使用します。最後に、記事のタイトルとURLは、それぞれリンクのテキストとeach()プロパティから取得されます。 href

結(jié)論

この記事は、node.jsでシンプルなWebクローラーを作成する方法を示しています。これがWebページをcraう唯一の方法ではないことに注意してください。ヘッドレスブラウザの使用など、他のテクノロジーがあります。これらは、より強(qiáng)力ですが、シンプルさや速度に影響を與える可能性があります。 Phantomjsヘッドレスブラウザに関する今後の記事をフォローアップしてください。

node.js webクローリングFAQ（FAQ）

node.js webクロールで動的コンテンツを処理する方法は？

Node.jsの動的コンテンツの処理は、コンテンツが非同期にロードされているため、少し難しい場合があります。 Pupteerのようなライブラリを使用できます。これは、DevToolsプロトコルを介してChromeまたはChromiumを制御するための高レベルAPIを提供するNode.jsライブラリであるライブラリです。 Puppeteerはデフォルトでヘッドレスモードで実行されますが、フル（ヘッドレスではない）クロムまたはクロムを完全に実行するように構(gòu)成できます。これにより、ユーザーのインタラクションをシミュレートすることにより、動的なコンテンツをクロールできます。

Webページをrawったときに禁止されないようにするにはどうすればよいですか？

Webサイトが異常なトラフィックを検出した場合、WebクロールはIPを禁止することがあります。これを回避するために、IPアドレスの回転、遅延の使用、さらにはこれらの問題を自動的に処理するクロールAPIを使用するなどの手法を使用できます。

ログインする必要があるWebサイトからデータをcraうちにどのようにクロールするか？

ログインする必要があるWebサイトからのデータをクロールするには、操り人形を使用できます。 Puppeteerは、ログインフォームに記入して送信することにより、ログインプロセスをシミュレートできます。ログインしたら、必要なページに移動してデータをクロールすることができます。

クロールされたデータをデータベースに保存する方法は？

データをrawった後、選択したデータベースのデータベースクライアントを使用できます。たとえば、MongoDBを使用している場合は、MongoDB node.jsクライアントを使用してデータベースに接続してデータを保存できます。

ページングのあるウェブサイトからデータをクロールする方法は？

ページングのあるウェブサイトからデータをクロールするには、ループを使用してページを閲覧できます。各反復(fù)では、現(xiàn)在のページからデータをクロールし、[次のページ]ボタンをクリックして次のページに移動できます。

無限のスクロールを備えたWebサイトからデータをクロールする方法は？

無限のスクロールを備えたWebサイトからデータをクロールするには、操り人形師を使用してスクロールダウンをシミュレートできます。ループを使用して、新しいデータがロードされなくなるまで継続的にスクロールダウンできます。

Webクロールでエラーを処理する方法は？

エラー処理は、Webクロールで重要です。トライキャッチブロックを使用してエラーを処理できます。キャッチブロックでは、エラーメッセージをログに記録できます。これにより、問題をデバッグできます。

ajaxを使用してウェブサイトからデータをcraう？

Ajaxを使用するWebサイトからデータをクロールするには、操り人形を使用できます。操り人形師は、AJAXコールが完了してからデータを取得するのを待つことができます。

node.jsでWebクロールをスピードアップする方法は？

Webクロールをスピードアップするには、並列処理などの手法を使用して、異なるタブで複數(shù)のページを開き、同時にデータを取得できます。ただし、IPが禁止される可能性があるため、あまりにも多くのリクエストでWebサイトを過負(fù)荷にしないように注意してください。

Captchaを使用してWebサイトからデータをcraうちにクロールする方法は？

Captchaを使用したWebサイトからのデータをクロールするのは難しい場合があります。 Captchaを解決するためにAPIを提供する2captchaなどのサービスを使用できます。ただし、場合によっては、これは違法または不道徳な場合があることを忘れないでください。ウェブサイトの利用規(guī)約を常に尊重してください。

以上がnode.jsでのWebスクレイピングの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。