你说的不可通过浏览器输入URL可访问资源是不是类似于.htaccess，你可以通过类似于www.xxx.com/robots.txt能不能访问到你网站的robots.txt。 如果访问不到，搜索引擎的爬虫也爬不到。

1、自己写插件，wordpress这方面很好，只要你熟悉数据库就行； 2、利用搜索引擎的定制搜索。 甚至这样都可以 keyword1 keyword2 site:example.com

[链接]手机不方便打代码，有劳自己看一下修改HtmlRenderer.php文件文件，然后补充一句，楼上通过jq增加nofollow是无意义的，搜索引擎抓取的是源代码而不是js二次渲染的结构。

iframe页面样式调试麻烦，出现多个滚动条，浏览器的后退按钮失效，iframe过多会增加服务器的HTTP请求，产生多个页面，不易管理，不容易打印，还有就是代码复杂，无法被一些搜索引擎解读。

毕设做一个小型搜索引擎，爬虫系统的数据库该怎样设计？基于phantomjs实现抓取，入库后，剔除重复数据，利用开源的机器学习库做中文分词，然后形成索引。最后再做一套搜索系统。

由于网站用vue写很多内容要js执行后得到 比如meta信息现在需要做一个模拟浏览器渲染的过程 以骗搜索引擎爬虫有没有现成的开源方案？题意划重点：知道ssr和预渲染 但是不想自己写了。。。

a=[]的原型是什么，原型的原型是什么

在以往的项目中使用的是npm的humps转换，但是现在貌似没有提供方法可以转。想咨询是否有可靠的方式可以实现JSON数据下划线命名转驼峰命名。

咨询描述：创建 App 项目，在项目中创建带 native 的静态库 module，打包静态库之后解压解压后可以在 libs/arm64-v8a/ 看到 libc++\_shared.so ，这个 so 是否可以删掉，如何才能删掉

H5使用离线包方案 咨询场景描述： 网络下载打包成zip的网页模块，下载完成后解压出来，通过webview 加载本地解压出来的网页内容。

想咨询下webview该如何给控件截图，h5会传递响应的尺寸以及坐标，但是H5给的是px，怎么准确的截图到对应的区域呢，如果想截一个超长的web，该如何处理呢？

这里的musicLowBandUrl和musicLowBandDataUrl是什么？ lowband是什么意思？

主管要求“看门狗不止要看门，还要在看门成功的同时发送邮件给开发人员”，而且必须使用原有的发送邮件的python脚本。这个脚本叫auto_email.py,具体的脚本内容如下：

自定义了一个表单验证类，但是在django中当我clean_UserName这个方法执行了并抛出异常的时候，其他的验证方法还会继续执行，怎么才能在一个验证方法抛出异常后其他的方法都中止执行呢？

用css很好解决的，完美 {代码...}