pyspider的代理使用的问题

redyoshi
  • 2
新手上路,请多包涵

我在公司的服务器上部署了pyspider,最近发现公司内部的的代理使用不了(之前是可以的),而在同一部机器上用wget试了同样的网址就没问题。不知道大家有没有遇到过同样的问题,目前没什么头绪呢。代码顺便也贴一下好了。具体代理信息涉及到公司秘密我就不贴出来了,不过绝对不是代理的信息写错了,查看好几遍了。

wget -SO /dev/null -q -e "http-proxy=***" --proxy-user=*** --proxy-passwd=*** -T 5 -t 3 https://play.google.com/store/apps/category/PRODUCTIVITY/collection/topselling_free?hl=ms

下面是python的代码

from pyspider.libs.base_handler import *

class CommonRankingHandler(BaseHandler):

    def on_start(self):
        url = 'https://play.google.com/store/apps/category/PRODUCTIVITY/collection/topselling_free?hl=ms'
        self.crawl(url ,
            callback=self.ranking_list_page,
            proxy=***,
       )

    def ranking_list_page(self, response):
        print response
    
    

报错信息如下:

[E 160929 16:05:31 base_handler:194] HTTP 599: Proxy CONNECT aborted
    Traceback (most recent call last):
      File "/data/project/app_info_crawler/package/pyspider/libs/base_handler.py", line 187, in run_task
        result = self._run_task(task, response)
      File "/data/project/app_info_crawler/package/pyspider/libs/base_handler.py", line 166, in _run_task
        response.raise_for_status()
      File "/data/project/app_info_crawler/package/pyspider/libs/response.py", line 183, in raise_for_status
        raise http_error
    HTTPError: HTTP 599: Proxy CONNECT aborted
回复
阅读 5.3k
2 个回答

你设置代理的用户名密码了吗

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏