问:用node js 模拟浏览器来爬取网页上的数据
在用node js 爬取网站的数据的时候,偶然间发现用我自己的程序并不是所有的网站都可以爬取到,debug的时候发现获取不了网站的源代码,不知道是不是做了什么处理?我现在想模拟浏览器的方式来爬取数据,node js里面有没有这样的模块呢??或者各位大神有没有参考的例子??感谢!!!
2018-09-01
问:wordpress网站使用七牛云镜像存储访问网站时图片经常会出现403,时好时坏,这是因为什么问题。
1.wordpress网站使用七牛云镜像存储访问网站时图片经常会出现403,时好时坏,这是因为什么问题。2.我个人只需要使用CDN就ok了,只是为了网站图片加速,但是由于配置cdn那里,源站测试不知道怎么测试通过。3.有大神能帮帮我么,被这问题纠结几个月了。
2018-10-17
问:网站被国外ip站恶意复制html内容并改动链接显示
不知道是什么技术,网站是美国的一个ip,时时的显示我公司网站内容(内容完全一样,只是把html所有的我们的域名改成对方的了,其它都没变),由于某种原因无法说出我的网站域名,想问一下各位朋友有没有遇到过或能分析出情况的,求解如何解决,十分感谢!!!
2016-08-25
问:nginx、phpweb环境如何配置合理的文件目录权限?
路径需求:上传文件、前端代码缓存、日志、网站的定时任务脚本、网站运行本身需要的权限。详细:上传文件需要一个磁盘缓存路径,前端代码需要稍长时期的缓存路径。脚本还可以被定时任务执行(sh /www/pro1/script/a.sh)
2016-08-31
问:cdn加速对T1和T2的影响是什么呢?
假如现在有一个个人博客网站,不考虑网速,服务器等影响,浏览器输入URL,进入网站首页并显示的时间不妨设为T1,现在在博客里随便点击,打开一篇文章并显示的时间设为T2。
2016-12-19
问:如何把wordpress存储在七牛的图片下载到本地?
之前自己的wp网站,所有的图片是直接上传到七牛,然后wp后台使用MD编辑器,其实是插入的七牛的图片url,但是最近发现,网站在调用七牛的图片的时候,加载非常慢,严重影响了整个网站的速度。
2019-03-13
问:为什么nginx配置https协议的反向代理总是报错?
网站有个功能需要前端请求第三方接口,但是第三方接口是https协议的,而我们网站是HTTP协议的。 但是我在nginx配置反向代理的时候 {代码...} 重启nginx总是报错。但是我把https改成http 就不会报错。 这个是不是我们网站也需要https协议才能代理 第三方为https协议的接口
2019-08-19✓ 已解决
问:一个网站我打不开,其他人都能打开,为什么?
最近遇到一个奇葩的问题。帮同事部署一个网站,部署完后,我打开非常非常慢,而且有时候都打不开。而我打开其他网站都是正常的。其他同事打开这个网站都是正常的,用的都是同一个浏览器,同一个有线网。这是为什么呢,太奇葩了。DNS也刷新了,浏览器缓存也清理了,就是没用!
2018-11-29
问:宝塔创建网站 file not found报错
一开始打开网站一直是403错误,我在nginx错误日志中发现:opendir() "/www/server/nginx/proxy_cache_dir" failed (13: Permission denied)
2021-01-07
问:网站收录页数少,且site指令与站长平台的索引量数量不同?
我网站是2021/7/7-2021/7/8有做A域名至B域名的301跳转,看百度站长的数据,2021/7/7-2021/7/8的索引情况是14但我在百度搜寻引擎用site指令得到的数字是12而且网站的.html网页不止14个想请问:一、为何百度站长、百度搜寻引擎site指令查的数量不一样?二、网站有许多.html网页,为何指收录12个?
2021-07-09
问:ES6兼容性说明,这网站中表格的分数代表什么呢
行是指es6的特性,列是各个JavaScript运行环境,红色代表不支持,绿色代表完全支持,但是里面的0/5,0/24这样的数字该怎样理解呢
2017-10-19✓ 已解决
问:Linux服务器运维问题
问题:白天网站正常,晚上出现网站打不开或打开缓慢,资源加载不出来等现象。ping请求超时,在服务器上ping 127.0.0.1不允许操作,ssh连接在异常时段连接不上(网站打不开时,在资源加载缓慢时有时能连上)
2017-11-01
问:为什么门户网站都没有使用Flexbox?
查看了百度、新浪、搜狐、网易等PC端网站首页源代码和css文件,除了新浪在一小块内容中采用了flex外,其他几个网站均未实现flexbox。是不是因为兼容性的问题,防止IE10以下的浏览器不能正常打开啊?
2017-07-18已关闭
快收藏!古希腊掌管网站导航的终极指南!!!(第一弹)
Hellohello,各位小伙伴们早上好呀!又来到疯狂星期四啦~今天我们来分享一下有关网站导航的内容吧。感兴趣的小伙伴可以点点赞和关注哦!良好的网站导航是网站必不可少的功能。根据 Top Design Firms 的一项研究,38% 的消费者在第一次浏览网站时会查看页面的导航链接和布局。导航的重要性不容低估。而且,不难理解为什么...
2024-06-20
问:Nginx:一个IP,多个网站,如何配置?
一个IP,多个网站,如何配置? ubuntu 14.04 nginx 1.80 php5-fpm 一个网站的时候正常,在sites-available再添加一个配置文件的时候,全部无法访问,请教如何正确配置
问:网站搜索优化
各位大神做网站搜索的时候都是用哪些开源项目的啊?我用的Lucene.net,总感觉效果不怎么好,与各大网站的站内搜索相差很大,求.net方面的推荐!
2016-05-01✓ 已解决
问:如何积累大数据,高并发网站经验?
小弟没有在大网站工作过,但是想积累一些大数据,高并发网站的实际经验,除了换工作,还有其他学习途径吗?哪位大哥指点一下啊?
2013-03-04