橫瓜中文分詞切詞器主要是用于用戶進(jìn)行網(wǎng)頁(yè)分詞使用的分詞工具，本軟件可支持英文分詞、簡(jiǎn)體中文分詞及繁體中文分詞，有需要的朋友快來(lái)下載試用使用吧！

橫瓜中文分詞切詞器功能

字符匹配

這種方法又叫做機(jī)械分詞方法，它是按照一定的策略將待分析的漢字串與一個(gè)“充分大的”機(jī)器詞典中的詞條進(jìn)行配，若在詞典中找到某個(gè)字符串，則匹配成功（識(shí)別出一個(gè)詞）。按照掃描方向的不同，串匹配分詞方法可以分為正向匹配和逆向匹配；按照不同長(zhǎng)度優(yōu)先匹配的情況，可以分為最大（最長(zhǎng)）匹配和最?。ㄗ疃蹋┢ヅ?；常用的幾種機(jī)械分詞方法如下：

1）正向最大匹配法（由左到右的方向）；

2）逆向最大匹配法（由右到左的方向）；

3）最少切分（使每一句中切出的詞數(shù)最?。?；

4）雙向最大匹配法（進(jìn)行由左到右、由右到左兩次掃描）

技術(shù)難點(diǎn)

有了成熟的分詞算法，是否就能容易的解決中文分詞的問(wèn)題呢？事實(shí)遠(yuǎn)非如此。中文是一種十分復(fù)雜的語(yǔ)言，讓計(jì)算機(jī)理解中文語(yǔ)言更是困難。在中文分詞過(guò)程中，有兩大難題一直沒(méi)有完全突破。

歧義識(shí)別

歧義是指同樣的一句話，可能有兩種或者更多的切分方法。主要的歧義有兩種：交集型歧義和組合型歧義，例如：表面的，因?yàn)椤氨砻妗焙汀懊娴摹倍际窃~，那么這個(gè)短語(yǔ)就可以分成“表面 的”和“表 面的”。這種稱為交集型歧義（交叉歧義）。像這種交集型歧義十分常見，前面舉的“和服”的例子，其實(shí)就是因?yàn)榻患推缌x引起的錯(cuò)誤?！盎瘖y和服裝”可以分成“化妝 和 服裝”或者“化妝 和服 裝”。由于沒(méi)有人的知識(shí)去理解，計(jì)算機(jī)很難知道到底哪個(gè)方案正確。

交集型歧義相對(duì)組合型歧義來(lái)說(shuō)是還算比較容易處理，組合型歧義就必須根據(jù)整個(gè)句子來(lái)判斷了。例如，在句子“這個(gè)門把手壞了”中，“把手”是個(gè)詞，但在句子“請(qǐng)把手拿開”中，“把手”就不是一個(gè)詞；在句子“將軍任命了一名中將”中，“中將”是個(gè)詞，但在句子“產(chǎn)量三年中將增長(zhǎng)兩倍”中，“中將”就不再是詞。這些詞計(jì)算機(jī)又如何去識(shí)別?

如果交集型歧義和組合型歧義計(jì)算機(jī)都能解決的話，在歧義中還有一個(gè)難題，是真歧義。真歧義意思是給出一句話，由人去判斷也不知道哪個(gè)應(yīng)該是詞，哪個(gè)應(yīng)該不是詞。例如：“乒乓球拍賣完了”，可以切分成“乒乓 球拍 賣 完 了”、也可切分成“乒乓球 拍賣 完 了”，如果沒(méi)有上下文其他的句子，恐怕誰(shuí)也不知道“拍賣”在這里算不算一個(gè)詞。