请问pyspider中一个页面内如果要返回多条数据怎么做？

Question

我试过用yield或者数组返回都不行：
1.yield：只会得到第一条数据
2.数组：会把整个数组当一个字段
我想每一条数据作为一行在result里边，应该怎么做？

from pyspider.libs.base_handler import *
from pyquery import PyQuery


class Handler(BaseHandler):
    crawl_config = {
    }

    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://www.fortunechina.com/fortune500/c/2015-07/08/content_242859.htm', callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('.f500c2 a').items():
            self.crawl(each.attr.href, callback=self.detail_page)

    @config(priority=2)
    def detail_page(self, response):
        res = {}
        res["industry"] = response.doc('.title').text()[18:]
        for each in response.doc('.contentp tr')[1:]:
            each = PyQuery(each)
            res["name"] = each.find('.f500c3 > a').text()
            res["url"] = each.find('.f500c3 > a').attr.href
            res["income"] = each.find('.f500c4').text().replace(',','')
            yield res//试过这样只有一条数据

Answer 1

如果你要用内置的 resultdb, 用 http://docs.pyspider.org/en/latest/apis/self.send_message/ 为毎一个结果生成一个虚拟 url.

Answer 2

参考这里：https://github.com/binux/pyspider/issues/90#issuecomment-71056018

顺带一提，res 最好在循环内定义，否则每次 yield 的都是同一个对象，容易出问题。

Answer 3

把yield 改成return 返回一个数组
然后那些取值在index_page里面获取

Answer 4

这样只有一条数据的原因难道不是　反复操作同一个res切res的key都一样？
这样每循环一次，上一次的结果就被覆盖掉．

Answer 5

如作者 足兆叉虫 以及官网文档 Want to return more than one result in callback?所说：

用 send_message + on_message 即可:

def detail_page(self, response):
    for li in response.doc('li').items():
        self.send_message(self.project_name, {
            ...
        }, url=response.url+"#"+li('a.product-sku').text())

def on_message(self, project, msg):
    return msg

实际案例

    # @config(age=10 * 24 * 60 * 60)
    def baiduHome(self, response):
        titleItemGenerator = response.doc('span[class="title-content-title"]').items()
        # for eachItem in titleItemGenerator:
        for curIdx, eachItem in enumerate(titleItemGenerator):
            print("[%d] eachItem=%s" % (curIdx, eachItem))
            itemTitleStr = eachItem.text()
            print("itemTitleStr=%s" % itemTitleStr)
            curUrl = "%s#%d" % (response.url, curIdx)
            curResult = {
                # "url": curUrl,
                "百度热榜标题": itemTitleStr,
            }
            # return curResult
            self.send_message(self.project_name, curResult, url=curUrl)

    def on_message(self, project, msg):
        print("on_message: msg=", msg)
        return msg

即可。

注意事项：确保返回的多条数据的url是不同的

注意上述代码中，用for循环中的index，去加到url尾部，即，把每次重复的相同的url：

https://www.baidu.com/

变成：

https://www.baidu.com/#0
...
https://www.baidu.com/#6

以确保后续多条数据能正确返回，而不会由于url重复而被忽略掉。