我想使用flask写个爬虫，通过点击前端的按钮来启动。

Question

我想使用flask写个爬虫，通过点击前端的按钮来启动， 然后将爬取的内容保存在数据库中，前端来展示数据。
主要是怎么调用爬虫，给个思路，谢谢了

Answer 1

1.首先看你的爬虫是如何启动的
2.封装一个api给页面，在这个api里调用subprocess.call(command, shell=True)执行启动爬虫的目录
3.前端按钮点击之后调用这个api

Answer 2

1. flask监听一个http接口，如/api/spider/start?token=xxx
2. 接口里面验证下token（主要是安全）,然后启动爬虫逻辑

Answer 3

可以另外配置一个celery，用来接收flask上启动爬虫的命令并负责调用爬虫。
一般做比较复杂的操作都会用到celery。

Answer 4

项目结构就用flask 应用的项目结构：

---App/
    ---form/
    ---models/
    ---static/
    ---templates/
    ---view/ 
    ---spider/

可以把spider放到spider文件夹中，在models文件中设计数据表结构，在form里验证输入的url,在view中调用爬虫进行爬取，并用视图函数渲染模板展示数据。