V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
vway
V2EX  ›  Go 编程语言

Gse v0.40.0 发布了, Go 高性能分词, 增加更多常用 API

  •  
  •   vway ·
    vcaesar · 2019-03-13 08:08:59 +08:00 · 2527 次点击
    这是一个创建于 1843 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Go 语言高效分词, 支持英文、中文、日文等

    词典用双数组 trie ( Double-Array Trie )实现, 分词器算法为基于词频的最短路径加动态规划, DAG 和 HMM (Viterbi) 算法分词, 新增 API 基本和结巴分词保持一致.

    支持普通、搜索引擎、全模式、精确模式和 HMM 模式多种分词模式,支持用户词典、词性标注,可运行 JSON RPC 服务。

    项目地址: https://github.com/go-ego/gse

    Snake River

    Add

    • [NEW] Add more common APIs and more examples
    • [NEW] Export seg.Find() function
    • [NEW] Add AddToken and AddTokenForce func
    • [NEW] Update dictionary code, add LoadNoFreq and MinTokenFreq parameter configuration
    • [NEW] Update examples code, add more examples and documents
    • [NEW] Optimize benchmark test tools code
    • [NEW] Add seg.Find() test
    • [NEW] Add AddToken and AddTokenForce test code
    • [NEW] Add crf.go file directory

    Update

    • [NEW] Add more hmm is bool judge
    • [NEW] Update test dictionary and example code
    • [NEW] Update segmenter test code
    • [NEW] Add clear some internal api name and update godoc
    • [NEW] Add go1.12.x remove go1.10.x
    • [NEW] Add AddToken and AddTokenForce example code
    • [NEW] Add custom dictionary example to example.go
    • [NEW] Update godoc
    • [NEW] Update CHANGELOG.md

    Fix

    • [FIX] Optimize code wait todo load model
    • [FIX] Fixed some README.md benchmark
    • [FIX] Fixed link break
    • [FIX] Fixed goroutines benchmark code open path

    See Commits for more details, after Jan 23.

    2 条回复    2019-03-19 21:32:41 +08:00
    limard
        1
    limard  
       2019-03-18 21:31:07 +08:00
    star 一个
    vway
        2
    vway  
    OP
       2019-03-19 21:32:41 +08:00
    @limard 欢迎贡献代码和反馈
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3108 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 10:56 · PVG 18:56 · LAX 03:56 · JFK 06:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.