摘要：本文是結(jié)合前面的三篇關(guān)于python制作爬蟲的基礎(chǔ)文章，給大家分享的一份爬取糗事百科的小段子的源碼，有需要的小伙伴可以參考下早上起來閑來無事做，莫名其妙的就彈出了糗事百科的段子，轉(zhuǎn)念一想既然你送上門來，那我就寫個(gè)爬蟲到你網(wǎng)站上爬一爬吧，一來當(dāng)做練練手，二來也算找點(diǎn)樂子。其實(shí)這兩天也正在接觸數(shù)據(jù)庫(kù)的內(nèi)容，可以將爬取下來的數(shù)據(jù)保存在數(shù)據(jù)庫(kù)中，以待以后的利用。好了，廢話不多說了，先來看看程序爬取的數(shù)據(jù)結(jié)

本文是結(jié)合前面的三篇關(guān)于python制作爬蟲的基礎(chǔ)文章，給大家分享的一份爬取糗事百科的小段子的源碼，有需要的小伙伴可以參考下

早上起來閑來無事做，莫名其妙的就彈出了糗事百科的段子，轉(zhuǎn)念一想既然你送上門來，那我就寫個(gè)爬蟲到你網(wǎng)站上爬一爬吧，一來當(dāng)做練練手，二來也算找點(diǎn)樂子。

其實(shí)這兩天也正在接觸數(shù)據(jù)庫(kù)的內(nèi)容，可以將爬取下來的數(shù)據(jù)保存在數(shù)據(jù)庫(kù)中，以待以后的利用。好了，廢話不多說了，先來看看程序爬取的數(shù)據(jù)結(jié)果

值得一提的是，我在程序中想一下子爬取糗事百科 30 頁(yè)的內(nèi)容，但是出現(xiàn)了連接錯(cuò)誤，當(dāng)我把頁(yè)數(shù)降到 20 頁(yè)的時(shí)候，程序就可以正常的跑起來了，不知道是什么原因，渴望知道的大神可以告訴我一聲，感激不盡。

程序非常簡(jiǎn)單，直接上源代碼咯

# coding=utf8
 
import re
import requests
from lxml import etree
from multiprocessing.dummy import Pool as ThreadPool
import sys
 
reload(sys)
sys.setdefaultencoding('utf-8')
 
 
def getnewpage(url, total):
 nowpage = int(re.search('(\d+)', url, re.S).group(1))
 urls = []
 
 for i in range(nowpage, total + 1):
  link = re.sub('(\d+)', '%s' % i, url, re.S)
  urls.append(link)
 
 return urls
 
 
def spider(url):
 html = requests.get(url)
 SELECTor = etree.HTML(html.text)
 
 author = SELECTor.xpath('//*[@id="content-left"]/div/div[1]/a[2]/@title')
 content = SELECTor.xpath('//*[@id="content-left"]/div/div[2]/text()')
 vote = SELECTor.xpath('//*[@id="content-left"]/div/div[3]/span/i/text()')
 
 length = len(author)
 for i in range(0, length):
  f.writelines('作者 : ' + author[i] + '\n')
  f.writelines('內(nèi)容 ：' + str(content[i]).replace('\n','') + '\n')
  f.writelines('支持 ： ' + vote[i] + '\n\n')
 
 
if __name__ == '__main__':
 
 f = open('info.txt', 'a')
 url = 'http://www.qiushibaike.com/text/page/1/'
 urls = getnewpage(url, 20)
 
 pool = ThreadPool(4)
 pool.map(spider,urls)
 f.close()