一般根据数据的唯一编号(如ID),先比较已经在列表中的数据并剔除已经在列表中的数据,再加入到列表中。如果列表属于更新比较频繁的话(如高频UGC信息),建议不要采用分页方式获取,而是通过最后或最前项目的编号获取之后或之前的项目,这样既不用去重,也避免因为更新过快去重时把整页剔除掉。
一般根据数据的唯一编号(如ID),先比较已经在列表中的数据并剔除已经在列表中的数据,再加入到列表中。
如果列表属于更新比较频繁的话(如高频UGC信息),建议不要采用分页方式获取,而是通过最后或最前项目的编号获取之后或之前的项目,这样既不用去重,也避免因为更新过快去重时把整页剔除掉。