郭同jet

郭同jet 查看完整档案

北京编辑北京大学  |  HowToAllFocus 编辑AGI-Research  |  Engineer 编辑 weibo.com/guotong1988 编辑
编辑

AllIn

个人动态

郭同jet 提出了问题 · 2019-02-16

scrapy,我想模拟登陆天眼查网站,那个网站要滑动对齐验证,我能怎么办才能模拟登陆成功呢?

这是我模拟登陆的核心代码:

def __init__(self):
        dcap = dict(webdriver.DesiredCapabilities.PHANTOMJS)  # 设置userAgent
        # dcap[
        #     "phantomjs.page.settings.userAgent"] = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0"
        self.driver = webdriver.PhantomJS(
            executable_path='C:\\Users\\gt\\Desktop\\tutorial\\phantomjs.exe',
            desired_capabilities=dcap)

        self.driver.maximize_window()

def start_requests(self):
        print("start request!!!")
        yield scrapy.Request(self.login_url, callback=self.parse)

def parse(self, response):
        print("parse!!!")

        self.driver.get(response.url)
        self.set_sleep_time()
        # print(self.driver.page_source)
        self.driver.find_element_by_xpath('//*[@id="web-content"]/div/div[2]/div/div[2]/div/div[3]/div[1]/div[1]').click()
        print("CLICK LEFT")
        time.sleep(1)
        temp = self.driver.find_element_by_xpath('//*[@id="web-content"]/div/div[2]/div/div[2]/div/div[3]/div[3]/div[2]/input')
        temp.click()
        temp.send_keys(PHONE)
        print("PHONE SENT")
        self.driver.find_element_by_xpath('//*[@id="web-content"]/div/div[2]/div/div[2]/div/div[3]/div[1]/div[2]').click()
        print("CLICK RIGHT")
        time.sleep(5)
        temp2 = self.driver.find_element_by_xpath('//*[@id="web-content"]/div/div[2]/div/div[2]/div/div[3]/div[2]/div[3]/input')
        temp2.click()
        temp2.send_keys(PASSWORD)
        print("PASSWORD SENT")
        self.driver.find_element_by_xpath('//*[@id="web-content"]/div/div[2]/div/div[2]/div/div[3]/div[2]/div[5]').click()
        self.set_sleep_time()
        time.sleep(3)
        # print self.driver.page_source
        print("准备进入解析。。。。。")
        cookies = self.driver.get_cookies()
        # print(cookies)

        f = open('data/url_list.txt', mode='r', encoding='utf-8')
        for line in f.readlines():
            url = str(line.replace('\r', '').replace('\n', '').replace('=', ''))
            print(url)
            time.sleep(1)
            print("停顿1秒...............")
            requests = scrapy.Request(url, cookies=cookies,
                                      callback=self.sub_parse)
            yield requests

关注 3 回答 1

郭同jet 提出了问题 · 2019-02-16

请问下scrapy爬虫的问题,多谢,在线等

问下,
scrapy爬虫,为啥我传进scrapy.Request去的是

https://www.tianyancha.com/reportContent/24505794/2017

然后在callback里打印出url变成

https://www.tianyancha.com/login?from=https://www.tianyancha.com/reportContent/24505794/2017


我先进行了模拟登陆

关注 2 回答 1

郭同jet 提出了问题 · 2019-02-16

请问下scrapy爬虫的问题,多谢,在线等

问下,
scrapy爬虫,为啥我传进scrapy.Request去的是

https://www.tianyancha.com/reportContent/24505794/2017

然后在callback里打印出url变成

https://www.tianyancha.com/login?from=https://www.tianyancha.com/reportContent/24505794/2017


我先进行了模拟登陆

关注 2 回答 1

郭同jet 关注了问题 · 2018-09-04

解决 axios可以解决跨域访问的问题吗?

在vue2中使用的vue,到现在遇到跨域的问题,不能跨域访问。有办法解决吗?前提是必须使用axios。 还有,axios和vue-resource哪个好些?

关注 45 回答 9

郭同jet 收藏了问题 · 2018-09-04

axios可以解决跨域访问的问题吗?

在vue2中使用的vue,到现在遇到跨域的问题,不能跨域访问。有办法解决吗?前提是必须使用axios。 还有,axios和vue-resource哪个好些?

郭同jet 赞了问题 · 2018-09-04

解决 axios可以解决跨域访问的问题吗?

在vue2中使用的vue,到现在遇到跨域的问题,不能跨域访问。有办法解决吗?前提是必须使用axios。 还有,axios和vue-resource哪个好些?

关注 45 回答 9

郭同jet 提出了问题 · 2018-09-04

vue + django 跨域问题 急急急!

报错信息

我尝试了https://blog.csdn.net/haeasri...

急急急!

关注 1 回答 0

郭同jet 收藏了问题 · 2018-07-21

c语言中分配一个很大的数组,运行时段错误

int main(int argc, char const *argv[])
{
    int j;
    int a[100000000];

    for (j = 0; j < 100000000; ++j)
    {
        a[j] = j;
    }
    return 0;
}

运行结果:
Segmentation fault (core dumped)
编译时没有错误,这里错误是因为数组太大,导致栈空间不够吗?那一个程序允许的最大栈是多少呢

郭同jet 赞了问题 · 2018-07-21

解决c语言中分配一个很大的数组,运行时段错误

int main(int argc, char const *argv[])
{
    int j;
    int a[100000000];

    for (j = 0; j < 100000000; ++j)
    {
        a[j] = j;
    }
    return 0;
}

运行结果:
Segmentation fault (core dumped)
编译时没有错误,这里错误是因为数组太大,导致栈空间不够吗?那一个程序允许的最大栈是多少呢

关注 1 回答 2

郭同jet 收藏了问题 · 2018-06-14

高手接招! 小应用 用python3判断一个字符串是不是中文组成的

由于业务需求,需要写一个小程序,来判断一个字符串中是不是纯中文字符 ( 一个字符串中不能包含符号,英文 )
比如

a = "你好"

这个就是一个纯中文

再比如

a = "</p>你好"

这个就不行~

那么需要如何优雅的来实现?

认证与成就

  • 获得 25 次点赞
  • 获得 216 枚徽章 获得 6 枚金徽章, 获得 76 枚银徽章, 获得 134 枚铜徽章

擅长技能
编辑

开源项目 & 著作
编辑

(゚∀゚ )
暂时没有

注册于 2014-10-16
个人主页被 1.4k 人浏览