pkuseg-python：多领域中文分词工具包

【Github】项目名：pkuseg-python：多领域中文分词工具

项目简介

pkuseg是一个基于论文[Luo et.al,2019]的多领域中文分词工具包。它简单易用，支持细分领域分词，提供了不同领域（如新闻、网络、医药、旅游等）的预训练模型，用户可根据需求选择。在性能上，相比其他分词工具包（如jieba、THULAC等），在相同训练和测试数据下，pkuseg有更高的分词准确率，并且支持用户自训练模型和词性标注。

编译和安装

目前仅支持python3。为获得好的效果和速度，建议通过pip install更新到最新版本。可通过PyPI安装（自带模型文件）：pip3 install pkuseg，之后通过import pkuseg来引用，也可更新到最新版本：pip3 install -U pkuseg。若PyPI官方源下载速度不理想，可使用镜像源。如果不使用pip安装方式，选择从GitHub下载，运行pythonsetup.py build_ext -i，但GitHub的代码不包括预训练模型，需要用户自行下载或训练模型。注意安装方式1和2目前仅支持linux(ubuntu)、mac、windows64位的python3版本，非以上系统需用安装方式3进行本地编译安装。

使用方式

在python交互式环境下：
1. 使用默认配置分词（适用于不确定分词领域的情况）：import pkuseg，seg = pkuseg.pkuseg()，text = seg.cut(‘我爱北京天安门’)，print(text)。
2. 细领域分词（明确分词领域时）：import pkuseg，seg = pkuseg.pkuseg(model_name=’medicine’)，text = seg.cut(‘我爱北京天安门’)，print(text)。
3. 分词同时进行词性标注：import pkuseg，seg = pkuseg.pkuseg(postag = True)，text = seg.cut(‘我爱北京天安门’)，print(text)。
4. 对文件分词：import pkuseg，pkuseg.test(‘input.txt’,’output.txt’,nthread = 20)。

项目总结

pkuseg – python是一个功能丰富的多领域中文分词工具包，在中文分词方面有着独特的优势。欢迎大家留言讨论关于这个项目的任何想法、使用心得或者问题等。

项目地址

GitHub链接直达