问答博客标签用户活动
logo极客观点logo项目管理logoHarmonyOS
javascript
php
java
vue.js
git
html5
python
node.js
android
mysql
react.js
linux
ios
css
golang
spring
docker
程序员
logoONES 研发管理logo思否企业问答logo安谋科技 XPU

我正在写一个爬虫，怎么通过网页内容误别出是否为中文网页？

头像
开元
    8152612

    因定制内容较多，暂时无发现现有爬虫框架满足要求，所以需要自己写（用redis做队列）。
    我的问题是在爬虫得到一个网页之后，怎么识别出这个网页是否为中文网页？

    网页爬虫javapython网页开发
    阅读 10k
    6 个回答
    得票最新
    头像
    依云
      25k62862
      ✓ 已被采纳
      头像
      开元
        8152612

        过了N久，今天总算有时间实验一下了。下面是我综合@依云 和@Syeerzy 的解决方案，谢谢大家的回答。

        #! /usr/bin/env python
# -*- encoding: utf-8 -*-
import requests
import cld2

class Detector(object):
    zh_cn_encodes = ('gbk', 'gb2312', 'gb18030')
    def __init__(self, context):
        self.context = context

    def is_zh_cn_encoding(self, ctype):
        ctype = ctype.lower()
        for ec in self.zh_cn_encodes:
            if ec in ctype:
                return True
        return False

    def detect(self):
        assert type(self.context) == type(u''), 'detect unicode string only'
        ret = cld2.detect(self.context.encode('utf-8'))
        return ret[2][0][1] == 'zh'

    def url_detect(self):
        r = requests.get(self.context)
        assert r.status_code == 200, 'http code 200 is required'
        ctype = r.encoding
        if ctype and self.is_zh_cn_encoding(ctype):
            return True
        else:
            self.context = r.text
            return self.detect()

if __name__ == '__main__':
    print Detector(u'短中文有bug').detect()
    print Detector(u'网页文件一般没问题').detect()
    print Detector(u'これは日本で').detect()
    url = 'http://segmentfault.com/q/1010000000432652'
    print Detector(url).url_detect()
    url = 'https://code.google.com/p/chromium-compact-language-detector/source/browse/README'
    print Detector(url).url_detect()

        输出是

        False
True
False
True
False
        头像
        Syeerzy
          852112

          首先取响应头里的编码,
          如果是几种中文编码之一,则认为中文网页,
          如果不是中文编码, 也不是几种unicode方案之一, 则不是中文.
          否则再在<head>标签里找 charset ,
          如果有并且为几种中文编码之一, 则是中文
          如果不是中文编码, 也不是几种unicode方案之一, 则不是中文.
          否则对body的内容(如果考虑性能问题,可以不对整个body,只对前N个字节)用正则洗标签
          过滤所有ASCII码字符, 剩余部分按字取内码,
          如果考虑性能问题其实取第一个字符就可以了,
          如果性能不重要,可以多采样几个(防止一个页面有中文日文等各种文字混合)
          判断采到的字符的内码是否位于中文unicode区域.

          (PS: 如果性能非常不重要, 只是要代码简单, 那么做法可以: 正则 [^\x00-\xff] 这样可以取到第一个不是ASCII的字符, 判断这个字符是否是中文字符就可以了)

          头像
          zhanlang
            1291710

            检查网页编码，看看有没有对应编码的中文字符。

            头像
            bluefrog
              601

              正则取出中文字符，看看在整个页面上的占比

              头像
              dvorak4tzx
                326117

                我想我的博客是一个会让大多数检测“失效”的站点：http://tangzx.qiniudn.com/

                因为我的 html 里完全没有中文字符，html 全是 ascii 字符，ascii 字符外的内容，都用 html 的 entity（&#entity_number; 或者 &#xentity_number_hex）表示了。比如源码里的“Koans | &#21587;&#35821;”其实就是“Koans | 呓语”。

                我这么做的好处是不用再指定语言，全部 utf-8 解决。只要对方装了相应的字体，就能显示出来。

                查看全部 6 个回答
                被 1 篇内容引用
                推荐问题
                宣传栏