不知道你做了多少次重复的测试呢,单凭一次的测试结果不说明任何问题,我觉得有以下几点可以说明
- 抓取网页的时间很多取决于http连接建立和数据传输的时间,所以网络状况的影响很大,如果每次都是重新建立连接,和采用什么python库关系不大
- urllib3可以复用tcp连接来进行多次http请求,所以可以省掉重新建立tcp的时间;requests会检查是否安装了urllib3。
- head/get请求的时间取决于你请求的server端是否对这两种请求做了不同的处理,如果没有区分的话,两种请求也就没有区别
没有足够的数据
Titans 接受了回答 · 2014-08-08
不知道你做了多少次重复的测试呢,单凭一次的测试结果不说明任何问题,我觉得有以下几点可以说明
抓取网页的时间很多取决于http连接建立和数据传输的时间,所以网络状况的影响很大,如果每次都是重新建立连接,和采用什么python库关系不大
Titans 评论了回答 · 2014-08-04
Titans 回答了问题 · 2014-08-04
看着像数据库编码问题,可以试一下这个脚本
import MySQLdb
host = "localhost"
passwd = ""
user = "root"
dbname = "django"
db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()
cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)
sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)
results = cursor.fetchall()
for row in results:
sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
cursor.execute(sql)
db.close()
看着像数据库编码问题,可以试一下这个脚本 {代码...}
关注 1 回答 3
Titans 回答了问题 · 2014-08-01
是的其实你可以在host中添加
127.0.0.1 www.baidu.com 试试,你就明白其原理了。
是的其实你可以在host中添加 127.0.0.1 www.baidu.com 试试,你就明白其原理了。
关注 0 回答 5
Titans 回答了问题 · 2014-07-23
权重一样,哪个排在后面就用哪个样式。相当于覆盖,后来的自然将前面的样式覆盖掉了。
权重一样,哪个排在后面就用哪个样式。相当于覆盖,后来的自然将前面的样式覆盖掉了。
关注 0 回答 8
Titans 回答了问题 · 2014-07-23
试试python django-admin.py startproject mysite
试试python django-admin.py startproject mysite
关注 2 回答 4
Titans 回答了问题 · 2014-07-23
现在不是不支持markdown了吗?需要用pip install django-markdown-deux
现在不是不支持markdown了吗?需要用pip install django-markdown-deux 参见:[链接]
关注 2 回答 3
Titans 回答了问题 · 2014-07-16
我认为最大的坑还是各种编码。包括数据库以及模板等问题。如果设计抓取和采集就更甚了。
我认为最大的坑还是各种编码。包括数据库以及模板等问题。如果设计抓取和采集就更甚了。
关注 0 回答 11
Titans 回答了问题 · 2014-06-16
这里有个方法,不过跟一楼的差不多,只是更全一点。
http://www.oldrss.com/rss/article/1402912573.html
这里有个方法,不过跟一楼的差不多,只是更全一点。[链接]
关注 6 回答 19
Titans 发布了文章 · 2014-05-27
<script>alert(1)</script>
赞 0 收藏 0 评论 0
查看全部 个人动态 →
(゚∀゚ )
暂时没有
(゚∀゚ )
暂时没有
注册于 2013-11-22
个人主页被 288 人浏览
推荐关注