网页爬虫的文章 - SegmentFault 思否

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。[ 百科 ]

爬虫大佬，把他总结的正则表达式使用给我了！

小傅哥 3月22日发布于 CodeGuide | 程序员编码指南
10 收藏

正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。

Python爬虫系列之爬取美团美食板块商家数据（二）

Cooci 3月15日发布于 self.文章
收藏

今天为大家重写一个美团美食板块小爬虫，说不定哪天做旅游攻略的时候也可以用下呢。废话不多说，让我们愉快地开始吧~开发工具Python版本：3.6.4相关模块：requests模块；argparse模块；pyquery模块；jieba模块；p...

Python爬虫系列之爬取美团美食板块商家数据（一）

Cooci 3月14日发布于 self.文章
收藏

主要思路目的：根据输入的城市名，爬取该城市美团美食板块所有商家的数据。数据包括：店名、评分、评论数量、均价、地址，并将这些数据存入Excel中。最后尝试对爬取到的数据做一个简单的分析。克服反爬虫：爬取每...

常见的反爬虫技术有哪些？如何防止别人爬自己的网站？

妙蛙种子 3月9日发布于 self.文章
收藏

搜索引擎可以通过爬虫抓取网页信息，同时也有很多企业通过爬虫获取其他平台的信息用于数据分析或者内容优化，但是对于自身网站有些页面或者信息并不希望被爬虫抓取，那我们如何来实现反爬虫技术呢？如何防止别人...

全国企业统一社会信用代码（爬虫）工商

赵琛 3月3日发布于 self.文章
收藏

什么是统一社会信用代？法人和其他组织统一社会信用代码相当于让法人和其他组织拥有了一个全国统一的“身份证号”，也就是说公司名可能变，统一社会信用代码却永远不变。我已经收录了1.4亿条统一社会信用代码。官网...

手把手教你爬取优酷电影信息-2

happlyfox 2月26日发布于 self.文章
收藏

上一章节中我们实现了对优酷单页面的爬取，简单进行回顾一下，使用HtmlAgilityPack库，对爬虫的爬取一共分为三步爬虫步骤加载页面解析数据保存数据继第一篇文档后的爬虫进阶，本文章主要是对上一篇的进阶。实现的...

手把手教你爬取优酷电影信息 -1

happlyfox 2月26日发布于 self.文章
收藏

在实际的编码过程中，找到了一个好的类库“HtmlAgilityPack”。介绍：官网：[链接]Html Agility Pack源码中的类大概有28个左右，其实不算一个很复杂的类库，但它的功能确不弱，为解析DOM已经提供了足够强大的功能支...

翻译：《实用的Python编程》02_04_Sequences

codists 2月23日发布于实用的python编程
收藏

目录| 上一节 (2.3 格式化) | 下一节 (2.5 Collections模块)2.4 序列序列数据类型Python 有三种序列数据类型。字符串：如 'Hello'。字符串是字符序列列表：如 [1, 4, 5]。元组：如 ('GOOG', 100, 490.1)。所有的...

翻译：《实用的Python编程》02_02_Containers

codists 2月21日发布于实用的python编程
收藏

目录 | 上一节 (2.1 数据类型) | 下一节 (2.3 格式化)2.2 容器本节讨论列表（list），字典（dict）和集合（set）。概述通常，程序必须处理许多对象。股票的投资组合股票价格表这里有三种主要的选择（译注：数据结...

为什么 Python 的 f-string 可以连接字符串与数字？

豌豆花下猫 2月19日发布于 python无止境
收藏

本文出自“Python为什么”系列，归档在 Github 上：[链接]毫无疑问，Python 是一门强类型语言。强类型语言。强类型语言！（关于强弱类型话题，推荐阅读这篇技术科普文）这就意味着，不同类型的对象通常需要先做显...

翻译：《实用的Python编程》01_06_Files

codists 2月18日发布于实用的python编程
收藏

目录 | 上一节(1.5 列表) | 下一节 (1.7 函数)1.6 文件管理大多数的程序需要从某处读取输入。本节讨论文件访问。文件输入和输出打开一个文件： {代码...} 读取所有的数据： {代码...} 写入一些文本： {代码...} ...

翻译：《实用的Python编程》01_05_Lists

codists 2月17日发布于实用的python编程
收藏

目录 | 上一节 (1.4 字符串) | 下一节 (1.6 文件)1.5 列表本节介绍 Python 原始数据类型列表（list）。列表是一种有序的集合。创建列表使用方括号 [] 来定义列表字面量。 {代码...} 有时候，列表也可以通过其它...

翻译：《实用的Python编程》01_04_Strings

codists 2月16日发布于实用的python编程
收藏

目录 | 上一节 (1.3 数字) | 下一节 (1.5 列表)1.4 字符串本节介绍处理文本的方法。表示字面量文本在程序中字符串字面量使用引号来书写。 {代码...} 通常，字符串只能占一行。三引号捕获在引号结束之前的所有文本...

在 Linux 服务器中创建假桌面运行模拟浏览器有头模式

青南 2月16日发布于 self.文章
9 收藏

经常使用 Selenium 或者 Puppeteer 的同学都知道，他们启动的 Chrome 浏览器分为有头模式和无头模式。在自己电脑上操作时，如果是有头模式，会弹出一个 Chrome 浏览器窗口，然后你能看到这个浏览器里面在自动操作...