你看下你网站的robots是不是变成disallow，修改你原站底下的robots，允许蜘蛛爬去,看阁下用的wordpress报着域名/robots.txt是以下就可以了

你是不是跟我一样用的是360安全浏览器，还有安装了腾讯的电脑管家？我的后台就有一条不明来路得请求 {代码...} 最后，我就是搜索qq-url-manager从搜索引擎找到这里回答这个问题的。

补充一下：这个网站可以查到绝大多数浏览器和搜索引擎蜘蛛的UA：[链接]IE的UA说明：[链接]FireFox的UA说明：[链接]Chrome的UA说明：[链接]

HEAD 方法应该是只响应头信息，并不会发送实体内容，有可能是搜索引擎像百度这种在爬虫做收录，当然不排除被攻击的可能，你记录每次请求的ip地址看看是什么情况。

1 Servlet是可以挂在根下面的2 你的需求，也可以考虑是否有可能通过filter实现，那样就无需挂Servlet3 首页用freemarker和jsp都可以，个人比较喜欢freemarker，用ajax不太合适，除非你不需要搜索引擎索引了。

基本上的单页应用，都不利于搜索的，无论是vue还是其他框架都一样的，因为其关键的DOM内容都是利用js临时生成的，除非搜索引擎有完整的js处理支持，解析出相应结果，否则内容为空啊。

npm install经常出现奇怪的问题，有时候把node_modules删掉，在重新安装就好了，排除依赖包版本冲突问题，再在错误日志截取部分关键字去搜索引擎上面搜索下，总会有人遇到过的。

并不是，原因应该是浏览器采集搜索引擎网址时的缓存图标解决方法为：1.清理浏览器缓存文件2.暂时删除添加的搜索网址3.重启浏览器并重新添加正确网址即可。

请问大家一个问题，我们的客户使用的是网易的免费邮箱，现在我们正在开发一个群发邮件的功能，现在要发送群发的用户数500+，从网易的帮助里边查到的是 普通用户群发40人 升级到vip是400人 。我查了一下阿里云有邮件推送的业务，其他的服务商也有。但是客户表明要使用 之前的163邮箱。 我想请教一下大家。我现在想到的几...

1、验证码是一个反人类的产物，在阻止恶意操作的同时也给正常操作带来了麻烦。 最近遇到的一个例子：用手机浏览器访问淘宝，在线与客服交流时需要输入验证码，而验证码图片在这浏览器下默认质量是被再次压缩的，几乎看不清，无法进行正常交流。

如果你的网站只支持第三方登录方式登录，那么不要注册邮箱当然没问题。不过流程上就要有所区别了，那就是绑定多个第三方账号的过程，只能在用户处于登录状态的情况下才能完成。因为你无法通过一个可靠的账号名，来统一所有的账户。

可能是这个第三方把这个服务号绑定了开放平台，所以才添加不进去。后来我使用订阅号也授权了这个第三方的平台，在开放平台里面可以添加这个订阅号，但是添加不了服务号....

为数据库构造一个存储过程，或者其它程序，用于定期扫描用户表，计算未激活的账户信息提交时间，超过固定时长的账户，将账户信息删除。hash字段用于存储为每个用户生成的一段hash值，用于邮箱验证时，使用hash值找到对应用户。active存储两个值，0,1.0代表账户为激活，1代表账户已经激活

搜索引擎的基础爬虫的原理就是抓取你的url，然后获取你的html源代码并解析。 而你的页面通常用了vue等js的数据绑定机制来展示页面数据，爬虫获取到的html是你的模型页面而不是最终数据的渲染页面，所以说用js来渲染数据对seo并不友好。

Sphinx是一个在GPLv2下分发的全文检索引擎；Coreseek 是一个可供企业使用的、基于Sphinx（可独立于Sphinx原始版本运行）的中文全文检索引擎，按照GPLv2协议发行，商业使用（例如, 嵌入到其他程序中）需要联系我们以获得商业授权。

想要开发一个磁力搜索引擎，已经有 DHT 爬虫可以收集 infohash，可是这些 infohash 如何转成 torrent 成了一道难关立在面前。