Python selenium chrome 爬虫 好像被识别了,除了调用js外还能怎么绕过去?

Question

是这样的,我在拿食品药品安全的网站做练习,发现这个网站有这么一种情况.只要用selenium驱动chrome去做任何浏览器操作操作都无法获得数据

但是通过selenium打开网站后,如果手动点击操作是没有问题问题的.
我也尝试后,先通过selenium填入input数据,然后手动点击,但是仍然提示"服务器未返回数据".

from selenium import webdriver
import time

browser = webdriver.Chrome()
url = "http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=89&tableName=TABLE89&title=%CA%B3%C6%B7%CC%ED%BC%D3%BC%C1%C9%FA%B2%FA%D0%ED%BF%C9%BB%F1%D6%A4%C6%F3%D2%B5&bcId=137403916083811026153735196207"  
browser.get(url)
browser.find_element_by_id("goInt").send_keys("4")
#单击搜索按钮
time.sleep(5)
browser.find_element_by_xpath('//*[@id="content"]/div/table[4]/tbody/tr/td[7]/input').click() 

希望大家能点拨一下.

Answer 1

目测是一种基于js的反selenium手段, 你不能掉任何的browser.find_element。
例如：你调用browser.find_element_by_id("goInt"), 之后的所有请求返回值都是400。
以下是个人的理解：
selenium的find_element是向本地服务器（chromediver，解析html和js的）发送请求拿到数据，之前看过selenium的源码，在本地开了一个服务，通过网址可以直接访问。

提供一种其他的解决思路：

from PyQt5.QtWidgets import QApplication
from PyQt5.QtWebEngineWidgets import QWebEngineView
from PyQt5.QtCore import QUrl
import time

app = QApplication([])
view = QWebEngineView()
view.load(QUrl("http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=89&tableName=TABLE89&title=%CA%B3%C6%B7%CC%ED%BC%D3%BC%C1%C9%FA%B2%FA%D0%ED%BF%C9%BB%F1%D6%A4%C6%F3%D2%B5&bcId=137403916083811026153735196207"))
view.show()
page = view.page()

def test():
    page.runJavaScript("document.getElementById('goInt').value = 5")
    page.runJavaScript("document.getElementById('goInt').parentNode.parentNode.childNodes[7].childNodes[0].click()")
    #todo 你的爬虫程序

view.loadFinished.connect(test)
app.exec_()

补充内容：
异步写法：

from PyQt5.QtWidgets import QApplication
from PyQt5.QtWebEngineWidgets import QWebEngineView
from PyQt5.QtCore import QUrl, QThread, pyqtSignal
import time

cnt = 2
app = QApplication([])
view = QWebEngineView()
view.load(QUrl("http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=89&tableName=TABLE89&title=%CA%B3%C6%B7%CC%ED%BC%D3%BC%C1%C9%FA%B2%FA%D0%ED%BF%C9%BB%F1%D6%A4%C6%F3%D2%B5&bcId=137403916083811026153735196207"))
view.show()

class WorkThread(QThread):
    # 定义一个信号
    trigger = pyqtSignal(int)
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)

    def run(self):
        time.sleep(2)
        self.trigger.emit(cnt)


def output(_):
    global cnt
    view.page().runJavaScript('_x("//*[@id=\\"content\\"]/table[2]/tbody/tr[1]/td/p/a")[0].text', lambda r: print(r))
    if cnt < 6:
        cnt += 2
        work.trigger.disconnect()
        work.trigger.connect(next)
        work.start()

def next(id):
    view.page().runJavaScript('_x("//*[@id=\\"goInt\\"]")[0].value = %d' % id)
    time.sleep(0.5)
    view.page().runJavaScript('_x("//*[@src=\\"images/dataanniu_11.gif\\"]")[0].click()')
    work.trigger.disconnect()
    work.trigger.connect(output)
    work.start()

work = WorkThread()
work.trigger.connect(next)

def main():
    view.page().runJavaScript("""
        function _x(STR_XPATH) {
            var xresult = document.evaluate(STR_XPATH, document, null, XPathResult.ANY_TYPE, null);
            var xnodes = [];
            var xres = xresult.iterateNext();
            while (xres) {
                xnodes.push(xres);
                xres = xresult.iterateNext();
            }
            return xnodes;
        }""")
    view.page().runJavaScript('_x("//*[@id=\\"content\\"]/div/table[2]/tbody/tr[1]/td/p/a")[0].text', lambda r: print(r))
    work.start();

view.loadFinished.connect(main)
app.exec_()

结果：

Answer 2

兄弟解决了吗 我也在搞这个网站