前言
- 当前日期为 2022.10.31
- qbit 当前使用 Python 版本为 3.8
jieba
“结巴”中文分词：做最好的 Python 中文分词组件
qbit：结巴老矣，尚能饭否
- github：https://github.com/fxsjy/jieba
- jieba 分词已经很久没有维护，其词性标注组件
paddlepaddle-tiny最高只支持 Python 3.7
NLTK
Natural Language Toolkit
- GitHub：https://github.com/nltk/nltk
- 似乎没有官方中文词库：
chinese.pickle
spaCy
工业级 NLP
- GitHub：https://github.com/explosion/...
- 各种语言的模型数据：https://github.com/explosion/...
- 官方文档：https://spacy.io/usage
- 安装模型是如果比较慢，可以下载后用 pip 离线安装
# 下载链接示例，可自行替换版本号
https://github.com/explosion/spacy-models/releases/download/zh_core_web_md-3.4.0/zh_core_web_md-3.4.0-py3-none-any.whl
# 英文
python -m pip install E:\分词器\spaCy\en_core_web_sm-3.4.1-py3-none-any.whl
# 中文
python -m pip install E:\分词器\spaCy\zh_core_web_sm-3.4.0-py3-none-any.whl
python -m pip install E:\分词器\spaCy\spacy_pkuseg-0.0.32-cp38-cp38-win_amd64.whlspaCy 词性标注集
part of speech
缩写 全称 中文名 ADJ adjective 形容词 ADP adposition 介词 ADV adverb 副词 AUX auxiliary 助动词 CCONJ coordinating conjunction 并列连词 DET determiner 限定词 INTJ interjection 感叹词 NOUN noun 名词 NUM numeral 数词 PART particle 虚词 PRON pronoun 代词 PROPN proper noun 专有名词 PUNCT punctuation 标点符号 SCONJ subordinating conjunction 从属连词 SYM symbol 符号 VERB verb 动词 X other 其他
pyhanlp
Han Language Processing
qbit: 当前 HanLP 专注于搞钱的 2.x 在线服务，对免费的 1.x 维护较少
GitHub：https://github.com/hankcs/pyh...
HanLP 词性标注集
官方文档：https://www.hankcs.com/nlp/pa...
代码 说明 a 形容词 ad 副形词 ag 形容词性语素 al 形容词性惯用语 an 名形词 b 区别词 begin 仅用于始##始 bg 区别语素 bl 区别词性惯用语 c 连词 cc 并列连词 d 副词 dg 辄,俱,复之类的副词 dl 连语 e 叹词 end 仅用于终##终 f 方位词 g 学术词汇 gb 生物相关词汇 gbc 生物类别 gc 化学相关词汇 gg 地理地质相关词汇 gi 计算机相关词汇 gm 数学相关词汇 gp 物理相关词汇 h 前缀 i 成语 j 简称略语 k 后缀 l 习用语 m 数词 mg 数语素 Mg 甲乙丙丁之类的数词 mq 数量词 n 名词 nb 生物名 nba 动物名 nbc 动物纲目 nbp 植物名 nf 食品，比如“薯片” ng 名词性语素 nh 医药疾病等健康相关名词 nhd 疾病 nhm 药品 ni 机构相关（不是独立机构名） nic 下属机构 nis 机构后缀 nit 教育相关机构 nl 名词性惯用语 nm 物品名 nmc 化学品名 nn 工作相关名词 nnd 职业 nnt 职务职称 nr 人名 nr1 复姓 nr2 蒙古姓名 nrf 音译人名 nrj 日语人名 ns 地名 nsf 音译地名 nt 机构团体名 ntc 公司名 ntcb 银行 ntcf 工厂 ntch 酒店宾馆 nth 医院 nto 政府机构 nts 中小学 ntu 大学 nx 字母专名 nz 其他专名 o 拟声词 p 介词 pba 介词“把” pbei 介词“被” q 量词 qg 量词语素 qt 时量词 qv 动量词 r 代词 rg 代词性语素 Rg 古汉语代词性语素 rr 人称代词 ry 疑问代词 rys 处所疑问代词 ryt 时间疑问代词 ryv 谓词性疑问代词 rz 指示代词 rzs 处所指示代词 rzt 时间指示代词 rzv 谓词性指示代词 s 处所词 t 时间词 tg 时间词性语素 u 助词 ud 助词 ude1 的 底 ude2 地 ude3 得 udeng 等 等等 云云 udh 的话 ug 过 uguo 过 uj 助词 ul 连词 ule 了 喽 ulian 连 （“连小学生都会”） uls 来讲 来说 而言 说来 usuo 所 uv 连词 uyy 一样 一般 似的 般 uz 着 uzhe 着 uzhi 之 v 动词 vd 副动词 vf 趋向动词 vg 动词性语素 vi 不及物动词（内动词） vl 动词性惯用语 vn 名动词 vshi 动词“是” vx 形式动词 vyou 动词“有” w 标点符号 wb 百分号千分号，全角：％ ‰ 半角：% wd 逗号，全角：， 半角：, wf 分号，全角：； 半角： ; wh 单位符号，全角：￥ ＄ ￡ ° ℃ 半角：$ wj 句号，全角：。 wky 右括号，全角：） 〕 ］ ｝ 》 】 〗 〉 半角： ) ] { > wkz 左括号，全角：（ 〔 ［ ｛ 《 【 〖 〈 半角：( [ { <
本文出自 qbit snap
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。