国产麻豆成人精品av,一本色道久久综合亚洲精品不卡,日本强伦片中文字幕免费看

首頁

php教程

PHP源碼

用 PHP 爬蟲做旅遊數(shù)據(jù)分析

大家講道理

Nov 11, 2016 pm 03:15 PM

隨著物質(zhì)的提高，旅遊漸漸成為人們的焦點，火熱的國慶剛剛過去，乘著這股餘熱，我想很多人都想知道，大家一般會去哪裡玩呢，於是我花了10分鐘寫了採集馬蜂窩遊記的小程序，當然速度能有這麼快，完全依賴PHP著名爬蟲框架phpspider。

國際慣例，我們先來看看代碼怎麼寫，算作拋磚引玉吧?^_^

馬蜂窩不同於常規(guī)網(wǎng)站，因為並發(fā)量高並且某些數(shù)據(jù)需要實時，比如觀看人數(shù)，點讚人數(shù)，所以網(wǎng)站多處使用了Ajax，而Ajax對於一般採集者來說，是個比較大的問題。

觀察了一下馬蜂窩網(wǎng)站，最終確定了採集路線：

獲取熱門城市-> 獲取城市下的遊記列表-> 獲取遊記內(nèi)容-> 提取遊記內(nèi)容的遊記標題、城市、出發(fā)時間等，接下來我們用三個步驟來實現(xiàn)它。。。

用 PHP 爬蟲做旅遊數(shù)據(jù)分析

我們點選頁數(shù)的時候，發(fā)現(xiàn)他的資料是Ajax載入的，末頁是297，而且使用的是POST方法用 PHP 爬蟲做旅遊數(shù)據(jù)分析

提交的參數(shù)如下：用 PHP 爬蟲做旅遊數(shù)據(jù)分析

很明顯這個page就是頁數(shù)了，這裡就有個問題，phpspider框架是有URL 去重機制的，POST的話URL只有一個，但是query_string是不影響POST資料的，我們可以在後面加上?page=1|2|3…，所以我們程式碼可以這麼寫：用 PHP 爬蟲做旅遊數(shù)據(jù)分析

設(shè)定列表頁規(guī)則：

&#39;list_url_regexes&#39; => array(
    "http://www.mafengwo.cn/mdd/base/list/pagedata_citylist?page=d+",
)

在入口回調(diào)函數(shù)入口所有城市列表：

$spider->on_scan_page = function($page, $content, $phpspider) 
{
    // 上面Ajax分頁的末頁是297頁
    for ($i = 0; $i  $url,
            &#39;method&#39; => &#39;post&#39;,
            &#39;fields&#39; => array(
                &#39;mddid&#39;=>21536,
                &#39;page&#39;=>$i,
            )
        );
        // 熱點城市列表頁URL入隊列
        $phpspider->add_url($url, $options);
    }
};

2、獲取熱門城市下的遊記列表

點擊進入一個城市後，我們可以看到他下面的遊記列表

當然和上面一樣，也是Ajax加載的，我們可以打開chrome的開發(fā)者工具，點擊Network，然後隨意點擊一個分頁得到Ajax的URL：用 PHP 爬蟲做旅遊數(shù)據(jù)分析

和城市列表一樣，也是POST，參數(shù)如下：用 PHP 爬蟲做旅遊數(shù)據(jù)分析

很明顯page就是頁數(shù)了，當然我們直接用POST方式訪問Ajax地址：用 PHP 爬蟲做旅遊數(shù)據(jù)分析

http://www.mafengwo.cn/gonglve/ajax.php?act=get_t …

是直接報錯的，他需要來路，綜合以上，我們程式碼可以這麼來寫：

首先我們要在on_start 回呼函數(shù)裡面加上來路URL

$spider->on_start = function($phpspider)
{
    $phpspider->add_header(&#39;Referer&#39;,&#39;http://www.mafengwo.cn/mdd/citylist/21536.html&#39;);
};

和上面獲取城市列表一樣，設(shè)定列表匹配裡面加上來路URL

&#39;list_url_regexes&#39; => array(
    "http://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist&mddid=d+", 
)

和上面獲取城市列表一樣，設(shè)定列表匹配規(guī)則：

preg_match(&#39;#<span class="count">共<span>(.*?)</span>頁#&#39;, $data_page, $out);
for ($i = 0; $i < $out[1]; $i++) 
{
    $v = $page[&#39;request&#39;][&#39;fields&#39;][&#39;mddid&#39;];
    $url = "http://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist&mddid={$v}&page={$i}";
    $options = array(
        &#39;url_type&#39; => $url,
        &#39;method&#39; => &#39;post&#39;,
        &#39;fields&#39; => array(
            &#39;mddid&#39;=>$v,
            &#39;pageid&#39;=>&#39;mdd_index&#39;,
            &#39;sort&#39;=>1,
            &#39;cost&#39;=>0,
            &#39;days&#39;=>0,
            &#39;month&#39;=>0,
            &#39;tagid&#39;=>0,
            &#39;page&#39;=>$i,
        )
    );
    // 游記列表頁URL入隊列
    $phpspider->add_url($url, $options);
}

然後在on_list_page 回調(diào)裡面判斷如果是第一頁就獲取總頁數(shù)，然後循環(huán)入隊列：

// 獲取內(nèi)容頁
preg_match_all(&#39;#<a href="/i/(.*?).html" target="_blank">#&#39;, $html, $out);
if (!empty($out[1])) 
{
    foreach ($out[1] as $v) 
    {
        $url = "http://www.mafengwo.cn/i/{$v}.html";
        // 內(nèi)容頁URL入隊列
        $phpspider->add_url($url);
    }
}

通過上面兩個步驟，我們就把所有熱門城市下的遊記列表都放入到了隊列，接下來我們進行第三步，從這些清單裡面取得內(nèi)容頁URL，然後提取內(nèi)容。

3、取得熱門城市下的遊記清單

在on_list_page 方法裡面會得到清單頁的內(nèi)容，從這些內(nèi)容裡面我們可以提取內(nèi)容頁的URL

&#39;fields&#39; => array(
    // 標題
    array(
        &#39;name&#39; => "name",
        &#39;selector&#39; => "//h1[contains(@class,&#39;headtext&#39;)]",
        &#39;required&#39; => true,
    ),
    // 分類
    array(
        &#39;name&#39; => "city",
        &#39;selector&#39; => "//div[contains(@class,&#39;relation_mdd&#39;)]//a",
        &#39;required&#39; => true,
    ),
    // 出發(fā)時間
    array(
        &#39;name&#39; => "date",
        &#39;selector&#39; => "//li[contains(@class,&#39;time&#39;)]",
        &#39;required&#39; => true,
    ),
)

下來我們來設(shè)定field提取內(nèi)容頁欄位

rrreee

下來我們來設(shè)定field提取內(nèi)容頁欄位

rrreee

rrreee 用 PHP 爬蟲做旅遊數(shù)據(jù)分析下來我們來設(shè)定field提取內(nèi)容頁欄設(shè)計一張資料表：