簡介

上周，我寫了一篇關(guān)于抓取網(wǎng)頁以收集元數(shù)據(jù)的介紹，并提到不可能抓取《紐約時(shí)報(bào)》網(wǎng)站。 《紐約時(shí)報(bào)》付費(fèi)墻會阻止您收集基本元數(shù)據(jù)的嘗試。但有一種方法可以使用紐約時(shí)報(bào) API 來解決這個(gè)問題。

最近我開始在 Yii 平臺上構(gòu)建一個(gè)社區(qū)網(wǎng)站，我將在以后的教程中發(fā)布該網(wǎng)站。我希望能夠輕松添加與網(wǎng)站內(nèi)容相關(guān)的鏈接。雖然人們可以輕松地將 URL 粘貼到表單中，但提供標(biāo)題和來源信息卻非常耗時(shí)。

因此，在今天的教程中，我將擴(kuò)展我最近編寫的抓取代碼，以在添加《紐約時(shí)報(bào)》鏈接時(shí)利用《紐約時(shí)報(bào)》API 來收集頭條新聞。

請記住，我參與了下面的評論主題，所以請告訴我您的想法！您還可以通過 Twitter @lookahead_io 與我聯(lián)系。

開始使用

注冊 API 密鑰

首先，讓我們注冊并請求 API 密鑰：

提交表單后，您將通過電子郵件收到密鑰：

探索紐約時(shí)報(bào) API

The Times 提供以下類別的 API：

• 存檔
• 文章搜索
• 書籍
• 社區(qū)
• 地理
• 最受歡迎
• 電影評論
• 語義
• 泰晤士報(bào)
• 時(shí)代標(biāo)簽
• 頭條新聞

很多。并且，在“圖庫”頁面中，您可以單擊任何主題來查看各個(gè) API 類別文檔：

《紐約時(shí)報(bào)》使用 LucyBot 為其 API 文檔提供支持，并且有一個(gè)有用的常見問題解答：

他們甚至向您展示如何快速獲取 API 使用限制（您需要插入密鑰）：

 curl --head 
   https://api.nytimes.com/svc/books/v3/lists/overview.json?api-key=<your-api-key>
    2>/dev/null | grep -i "X-RateLimit"
    X-RateLimit-Limit-day: 1000
    X-RateLimit-Limit-second: 5
    X-RateLimit-Remaining-day: 180
    X-RateLimit-Remaining-second: 5

我最初很難理解該文檔 - 它是基于參數(shù)的規(guī)范，而不是編程指南。不過，我在紐約時(shí)報(bào) API GitHub 頁面上發(fā)布了一些問題，這些問題很快就得到了有用的解答。

使用文章搜索

在今天的節(jié)目中，我將重點(diǎn)介紹如何使用《紐約時(shí)報(bào)》文章搜索。基本上，我們將擴(kuò)展上一個(gè)教程中的創(chuàng)建鏈接表單：

當(dāng)用戶點(diǎn)擊查找時(shí)，我們將向 鏈接::grab($url)。這是 jQuery：

$(document).on("click", '[id=lookup]', function(event) {
  $.ajax({
     url: $('#url_prefix').val()+'/link/grab',
     data: {url:   $('#url').val()},
     success: function(data) {
       $('#title').val(data);
       return true;
     }
  });
});

這是控制器和模型方法：

// Controller call via AJAX Lookup request
public static function actionGrab($url) {
  Yii::$app->response->format = Response::FORMAT_JSON;
  return Link::grab($url);
}
...
// Link::grab() method
public static function grab($url) {
  //clean up url for hostname
  $source_url = parse_url($url);
  $source_url = $source_url['host'];  
  $source_url=str_ireplace('www.','',$source_url);
  $source_url = trim($source_url,' \\');
  // use the NYT API when hostname == nytimes.com 
  if ($source_url=='nytimes.com') {
   ...

接下來，讓我們使用 API 密鑰發(fā)出文章搜索請求：

    $nytKey=Yii::$app->params['nytapi'];    
    $curl_dest = 'http://api.nytimes.com
        /svc/search/v2/articlesearch.json?fl=headline&fq=web_url:%22'.
        $url.'%22&api-key='.$nytKey;
    $curl = curl_init();
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($curl, CURLOPT_URL,$curl_dest);
    $result = json_decode(curl_exec($curl));
    $title = $result->response->docs[0]->headline->main;
  } else {
    // not NYT, use the standard metatag scraper from last episode
         ...
    }
  }
  return $title;
}

它的工作原理非常簡單 - 這是生成的標(biāo)題（順便說一句，氣候變化正在殺死北極熊，我們應(yīng)該關(guān)心）：

如果您想了解 API 請求的更多詳細(xì)信息，只需向 ?fl 添加其他參數(shù)即可=headline?請求例如 關(guān)鍵字 和 lead_paragraph:

Yii::$app->response->format = Response::FORMAT_JSON;
$nytKey=Yii::$app->params['nytapi'];
$curl_dest = 'http://api.nytimes.com/svc/search/v2/articlesearch.json?'.
  'fl=headline,keywords,lead_paragraph&fq=web_url:%22'.$url.'%22&api-key='.$nytKey;
$curl = curl_init();
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_URL,$curl_dest);
$result = json_decode(curl_exec($curl));
var_dump($result);

結(jié)果如下：

也許我會在接下來的劇集中編寫一個(gè) PHP 庫來更好地解析 NYT API，但此代碼打破了關(guān)鍵字和引導(dǎo)段落：

Yii::$app->response->format = Response::FORMAT_JSON;
$nytKey=Yii::$app->params['nytapi'];
$curl_dest = 'http://api.nytimes.com/svc/search/v2/articlesearch.json?'.
  'fl=headline,keywords,lead_paragraph&fq=web_url:%22'.$url.'%22&api-key='.$nytKey;
$curl = curl_init();
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_URL,$curl_dest);
$result = json_decode(curl_exec($curl));
echo $result->response->docs[0]->headline->main.'<br />'.'<br />';
echo $result->response->docs[0]->lead_paragraph.'<br />'.'<br />';
foreach ($result->response->docs[0]->keywords as $k) {
  echo $k->value.'<br/>';
}

以下是本文顯示的內(nèi)容：

Polar Bears’ Path to Decline Runs Through Alaskan Village

The bears that come here are climate refugees, on land because
the sea ice they rely on for hunting seals is receding.

Polar Bears
Greenhouse Gas Emissions
Alaska
Global Warming
Endangered and Extinct Species
International Union for Conservation of Nature
National Snow and Ice Data Center
Polar Bears International
United States Geological Survey

希望這能開始擴(kuò)展您對如何使用這些 API 的想象力。現(xiàn)在可能實(shí)現(xiàn)的事情非常令人興奮。

結(jié)束中

紐約時(shí)報(bào) API 非常有用，我很高興看到他們向開發(fā)者社區(qū)提供它。通過 GitHub 獲得如此快速的 API 支持也令人耳目一新——我只是沒想到會這樣。請記住，它適用于非商業(yè)項(xiàng)目。如果您有一些賺錢的想法，請給他們留言，看看他們是否愿意與您合作。出版商渴望新的收入來源。

I hope you find these web scraping snippets helpful and implement them into your projects. If you want to watch today's show, you can try some web scraping on my website Active Together .

Please share any thoughts and feedback in the comments. You can also always contact me directly on Twitter @lookahead_io. Be sure to check out my instructor page and other series: Building Your Startup with PHP and Programming with Yii2.

Related Links

• New York Times API Library
• The New York Times Public API Specification on GitHub
• How to crawl metadata in web pages (Envato Tuts)
• How to use Node.js and jQuery to crawl web pages (Envato Tuts)
• Build your first Web Scraper in Ruby (Envato Tuts)

The above is the detailed content of Metadata scraping using the New York Times API. For more information, please follow other related articles on the PHP Chinese website!