最近无聊去爬某眼查的企业数据信息，我已经通过其他方式，把企业数据按照分类和某眼查的属于存到表里面，只要通过某眼查的url地址爬取内容详细页所需要的数据就可以了。但是呢，某眼查作为国内专门抓别人的数据的站，基本上各种反扒机制都有。比如这某眼查如果未登录用户，只能爬100条，超过，立马要求登陆。

多线程日采集几十万（去重后） 前段时间有个哥们非要拉我去学网站群的课程，说是想收集一些网站数据库，还要做一款采集百度搜索的网站域名软件，用来做数据筛选。

单例模式，也叫单子模式，是一种常用的软件设计模式。在应用这个模式时，单例对象的类必须保证只有一个实例存在。许多时候整个系统只需要拥有一个的全局对象，这样有利于我们协调系统整体的行为。比如在某个服务器程序中，该服务器的配置信息存放在一个文件中，这些配置数据由一个单例对象统一读取，然后服务进程中的其...

移动web的调试一直是个难题，前期可以使用模拟器来协助调试，但到了真机调试阶段就让人非常头痛。而 Weinre就是解决这难题的利器。 Weinre的本意是Web Inspector Remote，它是一种远程调试工具。功能与Firebug、Webkit inspector类似，可以帮助我们即时更改页面元素、样式，调试JS等。这篇文章是我之前发表在oschina的博...

Python 模块(Module) 是一个 Python 文件，以 .py 结尾，包含了 Python 对象定义和Python语句 模块让你能够有逻辑地组织你的 Python 代码段。 把相关的代码分配到一个模块里能让你的代码更好用，更易懂。 模块能定义函数，类和变量，模块里也能包含可执行的代码 模块导入 import导入模块执行的操作 产生一个新的名称空间...

Key1: value1 Key2: value2 Key3: value3 Content-Type: application/x-www-form-urlencoded Host: www.baidu.com User-Agent: curl/7.54.0

我们知道，某些网络运营商为了某些目的，对DNS进行了某些操作，导致网民使用正常的上网设置无法通过域名解析出正确的IP地址。常用的手段有：DNS劫持和DNS污染。

经过几个项目的洗礼，团队在开发系统上基本上不存在太大的问题，总结一下问题： UI上的问题比较难发现 很多时候修改了其中一个部分，为什么会造成其他页面的异常 coder做互测的时候只是测试了具体的点，也不想花大量的时间去每个页面看看 怎么样才能让测试员的劳动成果，coder做互测的时候也能复用 基于上面几个问题，萌...

Charles 很早之前用过，后来一直不用都忘记怎么使用了。近期公司叫我去测试一个小程序的安全性，第一时间想到了用 Charles 抓包分析，这里记录一下过程方便后续查阅

注入漏洞作为OWASP Top 10之一，它是一个十分普遍的漏洞，攻击者注入恶意代码后，能引起很严重的后果，而SQL注入又是其中的大头，作为初识安全的小白，这是一个很好的学习方向。

现在开始，我们要正式进入大前端的技能学习了。先来认识什么是网页。不管你是不是小白，是否了解前端， 在日常生活中，这些东西你一定经常接触，比如网站，手机APP，微信小程序，智能电视，数据可视化大屏，地图应用，网页游戏。这些我们看到的界面，其实全部都是网页，我们也会发现一个特点：我们所看到的所有网页，他...

conda包管理：类似pip环境管理：允许用户安装不同版本的python并进行切换。conda将工具和第三方包都当作包看待，甚至将python和conda自身也当作包，从而打破了包管理和环境管理之间的约束，因此能够方便的管理不同版本的pyhtonAnaconda是一个打包的集合，其中预装了conda，某个版本的python和众多的第三方packages。Mini...

写在前面：有别于其他知识点梳理，我这个梳理有点白话，哈哈哈对的，边看边对照图食用效果更佳噢let's go首先我要初始化git仓库git init将修改的文件加入暂存区git add [文件名]git add –A提交到仓库git commit -m "这里是注释信息"提交了后悔怎么办git checkout --[文件名]查看提交日志git log看是否有文件提...

浏览器新标签页插件对于经常使用浏览器的社畜或者学生党来说已经不陌生了，因为在一定程度上可以提高我们的效率，而且浏览器新标签页类插件几乎都有着不低的颜值，所以大家也更乐于安装插件来让浏览器主页更美观。

腾讯广告犀牛鸟专项研究计划是腾讯犀牛鸟产学合作计划的重要项目之一。该项目面向全球高校全职学者或科研机构的全职研究人员，旨在开放腾讯广告业务中的技术挑战，搭建产学研合作平台，共同探索影响广告技术长远发展的前沿问题，并培养优秀人才。

聚合博客网址导航大全代码分享。优秀个人独立博客导航大全是一个专注于收藏有价值的有效更新的优秀个人独立博客的导航网站。集博客趣导航，趣博客，博客库,it博客网、技术博客圈导航、博客录导航，博客屋网址大全等聚合网站[链接]

很多站长朋友们都是直接在万网等域名注册商直接注册域名就开始建站了，其实中间还有一个步骤大多数人都忘记了，那就是域名解析。虽然很多域名注册商提供的DNS解析服务很方便，但是功能大多有限制，特别是一些流量比较大的容易引起DDOS攻击的网站更要注意DNS解析服务商的选择，这里就为大家推荐几款自认为不错的免费DNS解...