从今天起,我将在这里更新一个系列的python简单爬虫到建立网站的实践手记

内容将会从最简单的开始,环境搭建,基本爬虫,入库,用Django建立可供用户访问的网站,网站部署。

同时打算涉及简单的异步爬虫,piplibe,队列等等。

为了方便,将使用django和sqlite3来作为例子, 虽然有时候这并不是最合适的场景。。

最终目的:一个能用的自动更新的垃圾站

下面进入正题。

第一部分,买VPS,装环境。

本文的一切操作都在vps上

在Runabove建立最便宜的instance.

选择魁省机房-Sandbox-M-Ubuntu14.10-输入Instace名字"PythonSpider"-FireUp!

不出一分钟,VPS就建立好了。

用SSH 连接服务器

先建立一个screen,顺手更新apt-get,以后都在这里面操作,避免掉线导致任务中断。

bashscreen -S spider # 取名叫spider的screen
sudo apt-get update
sudp apt-get upgrade

再顺手安装一些肯定会用的东西

bashsudo apt-get install gcc python-dev -y
sudo - #这一步以后,用户就是root了 记住
nginx=stable # use nginx=development for latest development version
add-apt-repository ppa:nginx/$nginx
apt-get update
apt-get install nginx -y
apt-get install libxml2-dev libxslt1-dev lib32z1-dev -y

装pip和virtualenv

bashwget https://bootstrap.pypa.io/get-pip.py
python get-pip.py
pip install virtualenv

建立~/venv目录,建立virtualenv, 激活virtualenv

bashmkdir ~/venv
cd ~/venv
virtualenv spider
source ~/venv/spider/bin/activate

之后,shell提示符应该是这样

安装django(1.7)

bashpip install django
cd ~ # 返回用户目录

5秒钟后,django安装完毕,现在开始建立项目目录(Django的project)。我们爬虫站点的所有文件都放在里面。

bashdjango-admin startproject python_spider

再测试下安装是否成功

bashservice nginx stop # 为毛? 因为RunAbove的8000神马的端口不好用
python manage.py runserver 0.0.0.0:80 # 只能用80,真蛋疼

现在访问192.99.71.91,我就能看到Django的示例页面

没骗你吧? 好了,看一眼能用就ctrl+c把服务器关掉。

然后,再建立一个app

bashcd python_spider
python manage.py startapp web

所以,现在我有一个Django项目,叫python_spider, 它里面有个app叫web.

未完待续。。。(点击下面阅读)
下一篇,是简单Python爬虫的编写。

log4geek · 3月17日

楼主太监了,我推荐下这个,零基础12天从入门到精通Python爬虫
http://log4geek.cc/2017/03/%e...

+1 回复

1

谢谢分享

eric 作者 · 3月17日
seniorcandy · 2015年05月05日

python manage.py runserver 0.0.0.0:80
python: can't open file 'manage.py': [Errno 2] No such file or directory
到这一步出现这个错误怎么办?
我又试着输入service nginx start
然后我访问我的ip,出现了这个
Welcome to nginx on Debian!

If you see this page, the nginx web server is successfully installed and working on Debian. Further configuration is required.

For online documentation and support please refer to nginx.org

Please use the reportbug tool to report bugs in the nginx package with Debian. However, check existing bug reports before reporting a new bug.

Thank you for using debian and nginx.

回复

载入中...
eric eric

2k 声望

发布于专栏

eric

47 人关注