禁止搜索引擎爬取可以修改robots.txt禁止个人爬取的话难度有点大，只能增加难度，比如增加比较复杂的验证码、访问频率、定时换样式/数据格式之类的

事实上；腾讯、百度、网易、新浪都是pathinfo模式；pathinfo模式的url对索索引擎更友好一些；当然；像淘宝这样本来就屏蔽搜索引擎抓取的；还是普通url模式的兼容性更好；

集体智慧编程，这本书里面的第四章就是写搜索引擎的，讲得很详细，从爬虫，分词，倒排索引还有神经网络等，而且代码都有，有基础的看看也挺快

開很多 tab 之後，找到想要的頁面將會很困難，全都是 php php php php 將會無法分辨，只能一個一個看。 希望能將其放到後面。。。對搜索引擎而言相對順序是不必要的。

在没有建立搜索引擎的情况下，怎么样快速地在一个不可知的字段中查找字符串所在的位置？ mysql对于这样的情况是否有优化，是否有类似的sql语句？

我现在想从网上爬特定关键词的网页，目前还没有目标网站，想请问下solr这样的搜索引擎支持没有目标网站的爬取了，爬取的效率大概怎么样？

按照报错信息，你这个文件E:/myProject/Cloudpathology/.git/.COMMIT_EDITMSG.swp同时有多个程序打开，建议检查一下再重新尝试。其实你这个问题用搜索引擎搜索一下就有答案了

1.公司现在的项目需要用到中文全文检索，而数据信息存储在mongodb中，所以需要用到中文搜索引擎，就选择了ElasticSearch，而现在又遇到了数据同步的问题，求指教

自己写了一个PHP博客，可是经常看到我的博客文章被其他一些小网站爬取，很烦，有没有一些比较好的防抓取方案？前提是不要阻挡搜索引擎的抓取。。。

你可以试着在不同的搜索引擎下比对一下，如果是百度一家的搜索结果有问题，那是百度的问题；要是大部分你的权重都很低，那就是你的 SEO 出了问题……

不是大牛, 但希望能帮到你. 一: 总体认识. Python爬虫如何入门 二: 快速上手, Udacity的教程(墙外) 三: 实现简单的搜索引擎, 集体智慧编程, 这本书的第四章专门讲这个.

一般情况下，搜索引擎是（包括Google）不会抓取JS生成的内容的，想要Google抓取JS内容还是需要一些配置呢，Making AJAX Applications Crawlable（可能需翻墙），因此，我觉得使用JS生成内容可行。

看需求，性能要求，等等 楼上说的不大对吧，搜索引擎现在都能解析 JavaScript 了（至少 Google 可以，某度不详），跟 SEO 应该没大关系了吧 一般现在分页用 PJAX 可能体验会比较好

可能是懒，这和腾讯的实力无关(懒得做，你能把她怎么办^^) 网站对SEO有依赖，延迟加载通常靠js操作，那么当搜索引擎爬页面时，拿到的内容里，图片的src都是空的

简单的说说： 前端渲染，第一次加载慢，以后渲染快。 后端渲染，第一次加载快，以后渲染相对慢一些。 另外，如果要做搜索引擎优化，不能用前端渲染。

能被搜索引擎搜索到的页面只有你原始的index.html内容，也就是你右键查看源代码看到的内容。如果这些内容SEO够用的话，可以不用换SSR，否则要换SSR服务端渲染