NLP——常用工具汇总

                                              NLP——常用工具汇总

 

目录                               

       1. 中文分词工具LAC:https://github.com/baidu/lac

       2. 新闻网页正文通用抽取器GNE:https://github.com/kingname/GeneralNewsExtractor

       3. 自然语言处理工具包Macadam:https://github.com/yongzhuo/Macadam

       4、程序员客栈:https://www.proginn.com


 

 

为方便自己查找资料,整理些可能会用到的工具:

 

1. 中文分词工具LAC:https://github.com/baidu/lac

        LAC全称Lexical Analysis of Chinese,是百度自然语言处理部研发的一款联合的词法分析工具,实现中文分词、词性标注、专名识别等功能。该工具具有以下特点与优势:

(1)效果好:通过深度学习模型联合学习分词、词性标注、专名识别任务,整体效果F1值超过0.91,词性标注F1值超过0.94,专名识别F1值超过0.85,效果业内领先。

(2)效率高:精简模型参数,结合Paddle预测库的性能优化,CPU单线程性能达800QPS,效率业内领先。

(3)可定制:实现简单可控的干预机制,精准匹配用户词典对模型进行干预。词典支持长片段形式,使得干预更为精准。

(4)调用便捷支持一键安装,同时提供了Python、Java和C++调用接口与调用示例,实现快速调用和集成。

(5)支持移动端: 定制超轻量级模型,体积仅为2M,主流千元手机单线程性能达200QPS,满足大多数移动端应用的需求,同等体积量级效果业内领先。

 

2. 新闻网页正文通用抽取器GNE:https://github.com/kingname/GeneralNewsExtractor

        分别使用今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻做了测试,发现提取效果非常出色,几乎能够达到100%的准确率。在线测试系统:http://gne.kingname.info

 

3. 自然语言处理工具包Macadam:https://github.com/yongzhuo/Macadam

        Macadam是一个以Tensorflow(Keras)和bert4keras为基础,专注于文本分类、序列标注和关系抽取的自然语言处理工具包。支持RANDOM、WORD2VEC、FASTTEXT、BERT、ALBERT、ROBERTA、NEZHA、XLNET、ELECTRA、GPT-2等EMBEDDING嵌入; 支持FineTune、FastText、TextCNN、CharCNN、BiRNN、RCNN、DCNN、CRNN、DeepMoji、SelfAttention、HAN、Capsule等文本分类算法; 支持CRF、Bi-LSTM-CRF、CNN-LSTM、DGCNN、Bi-LSTM-LAN、Lattice-LSTM-Batch、MRC等序列标注算法。

 

4、程序员客栈:https://www.proginn.com

 

 

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页