pyspider 如果从网页的输入框中往 pyspider传值？

Question

如果从网页的输入框中往 pyspider传值？
如，我有一个机票搜索网页类似携程去哪儿，在网页上填写出发城市、抵达城市和出发日期，点击搜索按钮，怎么去调用 pyspider，并将这些参数传给 pyspider呢？
初学者跪求答案，谢谢！

Answer 1

实时爬取不推荐使用pyspider，改用scrapy可解决

Answer 2

pyspider 不关心页面行为，只关心 http 层行为。
你要搞清楚页面行为是怎么映射到 http 请求的。

Answer 3

如果从网页的输入框中往 pyspider传值？

• 如果：估计是笔误，应该是如何

需要搞懂：

输入框输入了内容 + 触发搜索 + 返回结果 + 页面加载显示

这套操作背后的逻辑，即调用了哪些http的接口，传递了哪些参数，然后才能去把相关的逻辑，转换为，写成PySpider中的Python爬虫代码

如，我有一个机票搜索网页类似携程去哪儿，在网页上填写出发城市、抵达城市和出发日期，点击搜索按钮，怎么去调用 pyspider，并将这些参数传给 pyspider呢？
初学者跪求答案，谢谢！

基于你的需求，如果只是想要模拟浏览器操作，抓取返回结果的话，其实更适合用Selenium

但是不论用Selenium还是你说的PySpider，都先要搞懂如何分析内部逻辑。

其实作为一个，你自己也提到了的，初学者，在此之前需要搞懂整个爬虫的爬虫的核心逻辑，知道了爬虫是啥，一般包含哪些步骤，然后你才知道，要先去抓包分析，搞懂内部逻辑后才涉及到写Python的爬虫代码，以及如何写成PySpider的代码，最后才能抓取到你要的数据。

总结：

• 不论做什么事情，都是：先要搞懂基本逻辑，才好下手。

  • 但是初学者，往往很难搞懂基本逻辑

    • 所以我才写教程，尽量让你们搞懂

      • 这样你们

        • 才好入手

        • 才能知道后续需要做啥

          • 然后就才有继续自己完成任务的可能性

    • 具体有哪些教程：

      • 先看：

        • 爬取你要的数据：爬虫技术

      • 再看：

        • 如何用Python写爬虫

      • 然后看：

        • Python爬虫框架：PySpider
        • Selenium知识总结