1是权重高的网站，蜘蛛比较频繁。2是百度提供了主动推送的api官网

Tieba ，你这个SPIDER名称没有定义好，或者没有为你的蜘蛛命好名。

py 中有字符串池的概念（与 Java 中字符串常量池概念类似），为了节省内存、提高性能，重复定义值相同、长度较短的字符串不会重复分配内存空间。

青云适合部署上去运算完就撤掉的，如果包年包月的话，青云的按秒计费就没什么意义了。。。

分析网站的access_log总是有很多噪音日志，有搜索引擎的蜘蛛，也有订阅源什么的，非常麻烦 我现在的做法是用UA的一些关键字做过滤，维护一个过滤列表，每分析一条就去过滤一次。 我想问问，还有没有其他更好的方案，因为过滤UA的方法，当列表很大的时候，效率非常差，而且这个列表也不一定全，需要定时去观察数据，更新...

你用jquery的ajax.get一个连接，url中指定待修改数据的唯一编号id，可以在点击的时候，把开关量也在url参数中一起传递，服务器端接收到访问请求，根据id和开关量做判断，修改，返回成功信息（根据情况也可以不用返回）。

大哥，百度算不错的了。你看看我的网站[链接]，就百度收录还给权重，360原来收录了，后来给删了，再怎么提交也不收录了。搜狗蜘蛛吧，之前收录还可以，最近登它站长平台，已经很久没来蜘蛛了。所以，百度还算不错的了，用不了Google的情况下至少是这样。

采集时经常遇到被封IP的事儿，自己付费买了包月的代理IP（API），如何在scrapy里面使用代理IP采集呢

你可以搜索一下，目前官方肯定是没有的，只有一个wp插件的交流群，有问题，你可以在[链接]右侧的蓝色窗口提交私密工单，也可在portal界面的右侧咨询和建议，提交你的问题。

使用scrapy-redis蜘蛛爬过以后，再爬就无法爬了。如果给蜘蛛改个名字，就可以重新爬取，如果改回原来的名字就又开始了去重机制，虽然需要dupefilter，但是如果调试中生成一些数据，想重新爬取的话，如何解决这个问题呢。

是不是你服务器不稳定，刚好赶上蜘蛛抓取到维护页面。

我正在尝试使用 php 创建一个注册页面，然后当我在下面编写 mysql 语句时，它不会接受它，而是会吐出一个错误，我现在试图找出几个小时。

laravel里面的文件都是blade.php,需不需要转换为html，更有利于蜘蛛收录？

angular 使用 java后台prerender.io服务，前端需要配置吗，怎么让百度蜘蛛抓取到内容

说到采集，首先应该想到的是php的curl函数 最好的办法就是模拟爬虫（比如：百度蜘蛛爬虫或者google蜘蛛爬虫），同样也支持代理配置 通过爬虫模拟浏览器的head请求，没有什么抓去不到（理论上只要能通过浏览器请求到的数据，不管是要登录还是不要登录都是可以抓去到内容的）

比如 caohangyuan.com 蜘蛛引擎来的时候肯定有来源 那么这个来源属于蜘蛛时候 不进行操作。就给它我要给他看的内容。如是用户那么不给用户看内容，直接跳转到新的页面。

写个脚本定时跑跑？或者直接给一个SiteMap让百度和谷歌的蜘蛛多过来看看？