01-Hello World 项目地址 [链接] 一般计算机书的开头都是 Hello World 我们亦不能免俗，所以本章我们的任务就是完成最简单的 Hello World 本章的GitHub链接为： Source, Zip 建立目录结构 与 Python 相比，Go 对代码存放的位置还是有讲究的，毕竟这是由 Go 特殊的 package引用机制 决定的，首先建立自己存放这次代码的文...

不过由于Github Trending经常会实时更新，即使你访问得再勤，难免还是会错过一些你感兴趣的项目，为此不少人都想出了自己的解决办法，例如josephyzhou ，他的 github-trending 项目得到了众多人的青睐，我仔细阅读了他的源码 (Go)，发现实现也较为简单, 就用Python 重写了一下，发现代码少了好多,详见 我的 github-trend...

Edit your own username, password, language and repo in the config.cfg file

爬虫中最经常遇到的问题就是 我们需要对不同的网站上的内容进行抓取，但是抓取到的内容结构都是一样的，后续处理也是一样的，只是不同网站上展示我们要的内容的方式是不一样的，需要我们对各个网站逐一分析，构建需要的适配器去处理

Step2 - 代码优化 简介 这篇我们简要的讨论一下代码优化，这里主要讨论两点 过程到函数 加入对media的处理 PEP8 我们在Step1中的编码是面向过程的，这个不利于复用，所以我们简单的将我们前面的代码函数化，方便以后扩展及别人的调用 另外，Python代码最好符合PEP8规范，方便自己和别人阅读 编码 创建 utils/common.py {...

Step1 - 最简爬虫 环境准备 Python3.5 最好使用venv 另外需要两个必要的库： requests : 一个封装了HTTP服务的python库 pyquery : 类似Jquery，使用非常方便 {代码...} 开始 实现第一个应用 我们第一个应用实现的功能主要如下： 访问一个页面,这里我们以 糗事百科([链接] 为例 获得页面的内容 进行简单的处理，获得我们...

Step0 - 概述 功能描述 看到Twitter上有好多定时更新笑话集锦的帐号，觉得自己也可以试试，就申请了 @xiaolintemple 这个号，利用爬虫定时更新笑话 目前主要笑话来源于 百思不得姐 以及 糗事百科，后期还可以继续扩展 先上效果图 用到的模块和知识点 软件 Mongodb : Nosql数据库 python第三方库 requests : 一个封装了HT...

爬虫练手，主要运用requests，由于要对script内部进行分析，所以就直接用了 re 正则匹配，平时也可以用用Beautifulsoup， 应该更加方便