用beautifulsoup解析网页没有想要的内容，但源代码是有的，该怎么抓取？

Question

import urllib.request
from bs4 import BeautifulSoup

url="http://roll.finance.qq.com/"
html=urllib.request.urlopen(url)
response=html.read()
soup=BeautifulSoup(response,'lxml')
print(soup)

Answer 1

大概是缺了HTTP Header，使用requests库就没有这个问题了。

import requests
from bs4 import BeautifulSoup
url = "http://roll.finance.qq.com"
response = requests.get(url)
soup = BeautifulSoup(response.text,'lxml')
print(soup.prettify())

这段代码亲测没有问题