使用 python 抓取具有无限滚动的网站

Question

我一直在做研究，到目前为止我发现了我将计划使用它的 scrapy 的 python 包，现在我试图找出使用 scrapy 构建一个爬虫的好方法来爬取无限滚动的网站。在四处挖掘之后，我发现有一个包调用 selenium 并且它有 python 模块。我有一种感觉，有人已经使用 Scrapy 和 Selenium 通过无限滚动来抓取网站。如果有人可以指出一个例子，那就太好了。

原文由 add-semi-colons 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

您可以使用 selenium 废弃无限滚动的网站，例如 twitter 或 facebook。

第 1 步：使用 pip 安装 Selenium

 pip install selenium

第 2 步：使用下面的代码实现自动无限滚动并提取源代码

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select
from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import NoSuchElementException
from selenium.common.exceptions import NoAlertPresentException
import sys

import unittest, time, re

class Sel(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Firefox()
        self.driver.implicitly_wait(30)
        self.base_url = "https://twitter.com"
        self.verificationErrors = []
        self.accept_next_alert = True
    def test_sel(self):
        driver = self.driver
        delay = 3
        driver.get(self.base_url + "/search?q=stackoverflow&src=typd")
        driver.find_element_by_link_text("All").click()
        for i in range(1,100):
            self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(4)
        html_source = driver.page_source
        data = html_source.encode('utf-8')

if __name__ == "__main__":
    unittest.main()

for 循环允许您解析无限滚动并发布您可以提取加载数据的内容。

第 3 步：如果需要，打印数据。

原文由 Pawan Kumar 发布，翻译遵循 CC BY-SA 3.0 许可协议