一段文章怎么用js做语义段落的拆解？

Question

有一段文章，中文，需要按语义去拆分成句子。js中有没有类似的nlp这种处理自然语言的库呢？

浏览器环境使用

Answer 1

可以试下原生的Intl.Segmenter

https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Refer...

[...new Intl.Segmenter('zh-Hans-CN', { granularity: 'word' }).segment('我是一段需要被拆解的文字')];

// return
[
{
    "segment": "我是",
    "index": 0,
    "input": "我是一段需要被拆解的文字",
    "isWordLike": true
}
...
]

Answer 2

nodejieba 库：

var nodejieba = require("nodejieba");
var result = nodejieba.cut("我是一段需要被拆解的文字");
console.log(result);
// 输出: [ '我', '是', '一段', '需要', '被', '拆解', '的', '文字' ]

Answer 3

是有一些支持自然语言处理的前端框架，但是基本都不支持中文词法提取，比较有名还能支持中文我推荐两个我知道的：

natural.js
NLP.js

但是目前只能做一些简单的分析，而且无法保证准确度，自己训练模型门槛是比较高的，收集数据也是一个难题

退一步来说，就算成功分词了，只是获得 基础的语料 ，下一步还得你自己处理，这种需求 不是 找个框架调几个接口就能实现的

一般这类需求应该是类似机器客服判断用户情感之类的吧？

可以考虑调用一些大厂的 API ，比如

百度 AI 开放平台 - 情感倾向分析

要是有更高的需求，可以去百度的飞浆平台自己配置需要的模型
百度飞浆 EasyDL