毕设做一个小型搜索引擎，爬虫系统的数据库该怎样设计？基于phantomjs实现抓取，入库后，剔除重复数据，利用开源的机器学习库做中文分词，然后形成索引。最后再做一套搜索系统。

搜索引擎的数据库分为网页数据库和索引数据库。 比如百度收录一个网站: www.hao123.com 是将这个网站的内容存入到网页数据库还是存入到索引数据库？ 它们之间的关系是什么？

由于网站用vue写很多内容要js执行后得到 比如meta信息现在需要做一个模拟浏览器渲染的过程 以骗搜索引擎爬虫有没有现成的开源方案？题意划重点：知道ssr和预渲染 但是不想自己写了。。。

红色下划线是我的网站，前面一个域名部不是我的网站。按照这个来源去访问，根本访问不了我的网站日志中中有大量这样的记录，下面显示是百度蜘蛛是搜索引擎劫持还是什么？

可以查看这篇文章：Node.js 究竟是什么？[链接] 在提问之前可以搜索下，绝大多数问题都可以解决，这类问题也基本可以通过搜索引擎找到想要的答案，

已通过搜索引擎找到解决办法，用js监控页面resize和scroll事件为外层容器添加一个负的left定位，代码如下，需要的可参考： {代码...}

没有什么你能想到的“巨大”好处，不过参考下面w3school里给出的解释，或许对你理解有帮助。 当搜索引擎或者浏览器拿到语言标签后，有可能做一些针对指定语言的辅助操作

秘密就在于head标签里的的这一行 {代码...} 它使SegmentFault支持了opensearch标准，这一标准可以将你自己的搜索引擎嵌入到浏览器中，具体可以参考这里 [链接]

网站直接引用外链是没有任何问题的，不知道你所说的影响是指的什么，如果是指的你本身的站点的权重的话，你可以在七牛的空间中上传robots.txt防止搜索引擎对资源的收录。

为了提高社区内容搜索精准度，我们增加了下拉框选择搜索引擎，用来提高搜索体验，所以关闭了搜索框的历史纪录，否则会造成下拉框跟搜索记录展示冲突，感谢反馈

查询语句：select id,content from article where match(content) against("this")结果是0条。是哪里没写对吗？还是需要额外配置什么

你这不是搜索引擎吧？是网络爬虫？！ 给你推荐个全文搜索吧，xunsearch，用着蛮好的，php开发的，带中文分词。具体你可以查询它们网站，我现在几十万的数据，搜索一般在0.5s以内。

使用缓存主要目的是为了减轻数据库的压力，过于频繁的更新缓存是不太合理的。 一、放弃实时性，当数据到达某个定义的阀值时更新缓存。 二、使用搜索引擎如sphinx的实时增量索引。