在get_level2_topics這里并沒有循環(huán),不知道哪里出了問題,怎么就跳出了,我在get_level1_topics測試過,可以看到所有的topic_id都有輸出。
不知哪里出了問題,請指教!
問題:
get_level1_topics 循環(huán)-> get_level2_topics(并沒有循環(huán))
代碼如下:
def get_level1_topics(self, response):
# 計(jì)數(shù)
count = 0
# print topic_ids
for u in urls:
yield scrapy.Request(
url=self.zhihu_topics_url + u,
headers=headers,
meta={
"proxy": proxy,
"cookiejar": response.meta["cookiejar"],
# 傳遞參數(shù)topic_id
"topic_id": topic_ids[count],
},
callback=self.get_level2_topics
)
count +=1
def get_level2_topics(self, response):
print response.meta['topic_id']
歡迎選擇我的課程,讓我們一起見證您的進(jìn)步~~
Maybe your urls are empty, so the yield will not be executed