准备做个检测新股申购的iphone widget(下滑屏幕顶就出来的那个),widget方面pytonista里面有案例应该不难
目标网址:
http://m.data.eastmoney.com/x...
网页源代码分析
json 内容 搜 defaultData
另一个是 div clasa= day-list
试了两个返回都是空
下面是代码
import requests
import json
import html5lib
from bs4 import BeautifulSoup as BS
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}
url = 'http://m.data.eastmoney.com/xg/xgsg.html'
r = requests.get(url, headers = headers)
r.encoding = 'UTF-8'
soup = BS(r.text, 'html5lib')
div = soup.find_all('div day-list')
因为他是在这里加载的
你最开始爬虫的html里没有day-list