lblbzszs

lblbzszs 查看完整档案

填写现居城市  |  填写毕业院校  |  填写所在公司/组织填写个人主网站
编辑

你见过凌晨3点的太阳吗,我说清晨的数据环卫工

个人动态

lblbzszs 发布了文章 · 1月26日

思否平台文章发布审核اختبار

本来以为发一篇hoʻāʻo 文章没有问题,结果思否好像比较怜惜服务器容量。不让发Привет, мир。所以各国语言来一遍
prueba hoʻāʻo контрольная работа
اختبار
f×××k world 

image.png
不过我也好奇这个阅读量都是我自己的吗?

image

好意思问我留下哪些印记? 留下了不让写的印记!

我们一起来期待这篇文章的结果
image.png

*【位>>未】
小编你的鸡腿掉了,你的错别字应该会被分发给很多用户。。如果能看到辛苦回复一下233333*
查看原文

赞 0 收藏 0 评论 0

lblbzszs 关注了专栏 · 2020-11-16

SegmentFault 行业快讯

第一时间为开发者提供行业相关的实时热点资讯

关注 63607

lblbzszs 发布了文章 · 2020-10-22

teambition 评测

SF 给的内部测试还是很香的,提交不久就收到了邀请码。

那么就来看一下 Teambition 网盘的体验。

登录

起初登录的时候还是比较尴尬的,输入验证码的时候重复跳字。(中间提issue的时候群里还有比目鱼yygq骂人)。目前已经修复过了。 进入页面填好验证码, 就可以自由体验了。

整个来看的话布局还是倾向于办公+网盘+coding 一体化的, 初始页面其实是一个展板

查看“全部项目” 有亮点23333

可以建立项目、日程和提醒之类的

有点像Trello

文字编辑

富文本编辑还比较欠缺,比如文字颜色背景之类。 只有这几个还远远不够的

不过,相比shimo这个垃圾来说,也可以了。支持快捷键好评。不知道为啥某收费软件连ctrl+ins和shift+ins这种快捷键都不支持。。。。服气了

速度

既然是网盘,那就要看一下上行下载速度了

百兆网速下 测试单个iso文件

下载速度

上传速度

至于共享功能,暂时还没有上线,所以还是期待一下的, 不知道之后分享会不会有什么限制操作。

此外还有收到提醒消息,codeup 行云 也上线了。代码版本管理。还没有怎么测试,就先不写了。

整体来看这个产品还是比较开放的,作为网盘的角度还是不错的。容量也比较足。适合作为职场或学业文件整理。如果之后能和与语雀打通的话,说不定。。。。有点可怕,说不定我就不用其他产品了。

查看原文

赞 0 收藏 0 评论 0

lblbzszs 赞了文章 · 2018-01-18

Python爬虫实战之(二)| 寻找你的招聘信息

作者:xiaoyu
微信公众号:Python数据科学
知乎:Python数据分析师


最近总被智联招聘广发骚扰,烦死个人了简直。索性点进去看了看爬虫工程师现在市场需求到底怎么样了?发展前景如何?看完了之后感觉目前还不错,根据北京来看职位需求还是蛮多的,薪资也还行,于是就对智联招聘职位信息的爬取发起了一次小小的挑战,今天给大家分享一个爬取招聘网站的工作信息,效果图如下(部分截图)。

图片描述

(更多效果图在后面)

功能需求分析

主要功能需求如下:

  • 用户输入工作地点和感兴趣的职位信息;
  • 根据指定输入信息进行多线程的网页爬取;
  • 解析提取结构化的招聘信息;
  • 将数据存入指定的数据库;

这里由于篇幅和时间原因,功能并没有那么复杂,但是博主会在后续加入更加丰富的功能,并与大家分享,包括:

  • ip池的加入;
  • 爬取和解析效率的优化;
  • 对爬取数据进行数据分析,提供可视化的统计和简单预测;
  • 其它反爬功能;

功能实现分析

明白了要完成的任务,就需要开始分析我们的目标网站了。

1.网页爬取分析

打开智联招聘的搜索界面,输入 “爬虫” 二字为例, 如下:

图片描述

然后我们通过fiddler抓包工具抓取浏览器操作时的信息如下:
图片描述

  • 职位信息输入后看到这个请求是 GET 模式,GET 请求的链接是
    http://sou.zhaopin.com/jobs/s...
  • 浏览器发出请求的headers头信息,copy到代码headers中。

由于浏览器正常操作下是通过点击“搜索按钮”或者“回车”来进行职位搜索的,而我们并不希望使用浏览器内核webdriver的使用来解决此问题。

因此,思路是:我们需要从发出的GET请求的URL进行分析。

在浏览器中显示的URL是这样子的,有汉字。

clipboard.png

  • 北京” 和 “爬虫” 关键词都以汉字形式显示。感觉这和上面蓝色的链接差不多一样啊!没错,上面的URL是北京和爬虫关键字进行编码之后的样子,而我们向服务器提交的正是上面那个编码之后的URL。
  • 后面 “p=1” 的意思是第一页,“adv=0” 经其它数字测试后没有影响,固不做改变。

好了,捋明白了。我们需要做的其实就是将我们输入的关键词汉字进行编码,然后替换掉上面蓝色URL的lj=“”和kw=“”中的内容,再用这个新的URL发出请求就OK了。

2.网页解析分析

这是浏览器搜索之后得到的结果,从招聘信息中我们希望得到一些有用的信息。博主这里定义了五个字段信息:职位名称、反馈率、公司名称、职位月薪、工作地点。这些信息关系到你如何创建数据库表单,后面会提到。

图片描述

这里博主决定使用BeautifulSoup方法解决网页的解析,那么先用F12 element看看网页的结构再说。

博主经分析后发现,其它四个信息提取方式都是一样的,但是工作名称的标签结构是有所不同的,为什么呢?

来,先看一条数据的标签,它是这样的:

图片描述
图片描述

再看,另一条数据的标签,是这样的:

图片描述
图片描述

发现有什么不同了吗?第一个工作名称的标签里有<b></b>,而第二个标签里什么都没有。

看看上面这两个名称不难发现,导致这个问题的原因其实是关键字的存在(第一个标签中有红色关键字)。

而又想到,我们正常搜索的时候一般不会输入完整的工作名称,比如我只输入 “爬虫” 二字,由于可能存在以上关键字的问题,那么标签的结果就会不同。因此,我们需要在代码解析的时候进行特殊处理,下面进行代码实现分析。

代码实现分析

由于需要将解析后的数据存入数据库,因此需要先在命令窗口创建一个数据库(也可以在Python中完成),这里简单提一下所需的操作。

图片描述

  • 使用了MySQL数据库进行储存
  • 数据库表单包含了之前提到的五个字段信息

下面是具体代码的实现。

1.URL的重组实现

图片描述

  • 使用了property修饰器定了函数来接收用户信息
  • 将输入信息用quote进行编码重组,生成爬取所需的目标URL

2.html下载

图片描述

  • 将重新生成的URL放入函数中进行html的下载。

3.html解析

图片描述

  • 使用BeautifulSoup正则表达式从网页解析五个字段信息。

4. 储存解析数据

图片描述

以上是代码的核心内容,完整源码博主已经上传到Github上了,可供参考,链接https://github.com/xiaoyusmd/...

更多效果图展示

展示效果图均为部分截图,用于示意。

(搜索关键词:广告策划,地理位置:北京
图片描述

(搜索关键词:电子工程师,地理位置:上海
图片描述

(搜索关键词:会计,地理位置:深圳
图片描述

(搜索关键词:客户经理,地理位置:广州
图片描述

总结

  • 本篇分享了一个从智联招聘网站爬取工作信息的实战内容,完成了需求的基本功能。
  • 在此实战内容基础上,更多复杂和精彩功能会在后续陆续分享

欢迎关注微信公众号Python数据科学

查看原文

赞 10 收藏 24 评论 4

lblbzszs 回答了问题 · 2017-11-08

开发人员,是用 ubuntu还是fedora好?

我推荐fedora 或者centos , ubuntu没法用。。。

关注 20 回答 19

认证与成就

  • 获得 1 次点赞
  • 获得 2 枚徽章 获得 0 枚金徽章, 获得 0 枚银徽章, 获得 2 枚铜徽章

擅长技能
编辑

(゚∀゚ )
暂时没有

开源项目 & 著作
编辑

(゚∀゚ )
暂时没有

注册于 2016-08-15
个人主页被 378 人浏览