php实现BMM分词算法

BMM算法,逆向最大匹配法(backward maximum matching method, BMM),和FMM一样,都是基于词表的分词方法。与FMM不同的是,BMM是对于一段文本从右至左进行扫描,利用词典里面的词汇切分出长度最长的词,也就是说文本扫描的方式刚好与FMM相反。分词效果相对FMM来说,BMM算法更好。以下是简单实现<?php class BMM { //简单定义一

- 阅读全文 -

php实现FMM分词算法

FMM算法,即正向最大匹配法(forward maximum matching method, FMM),是基于词表的分词方法。对于一段文本从左至右进行扫描,利用词典里面的词汇切分出长度最长的词,单词的颗粒度越大,所能表示的含义越确切。以下简单实现<?php class FMM { //简单定义一个词典数组 private $dict = []; private $

- 阅读全文 -