请问用python抓取网页标题时如何让批量抓取二级域名的标题

新手上路,请多包涵
# -*- coding: utf-8 -*-
import urllib
import re

d = 1000
url = 'http://gae-xseven01.appspot.com/2'
html = urllib.urlopen(url).read()
m = re.search(r'<title>(.*)</title>', html, flags=re.I)
print  m and m.group(1)or ''
i = m.group(1)
if (i == '503 Over Quota'):
    d =d-1
    print d

我有APPID从01到09.请问如何批量抓取呢

阅读 7.6k
1 个回答

你是问 请问有人可以提供一个搭建在openshift(或者其他免费云平台)上的一个监测gae appid是否超出配额的源代码么?(供公共goagent服务端使用) 这个吧,应该说的比较清楚了,请求一下http://wwqgtxxproxy-1.appspot.com/2就可以了。

看你申请的id名字不太规律,建议你将名字放到一个数组里面,遍历数组即可。遍历数组过程中取一下对应网页标题(比如写一个获取函数),最后怎么保存结果就看你自己了

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题