百度分词算法详解

        首先申明本文篇幅较长，如果你想详细了解百度的分词技术，这可能是最适合你的，这个不像上篇谈到的“百度图片的优化”这么短，请耐心，仔细阅读。
        本文通过搜索结果归纳分析+切词通用算法分析的方式对百度预处理阶段的查询处理和中文分词两项技术进行了阐述、总结，如果你对数据结构、算法有一定了解的话，理解起来会相对容易些;个人感觉，得出正向最大匹配算法不够准确，无论是专用词典还是普通词典里的词，都是有不同权重的，这根搜索频率应该有一定关系，基于这点，在出现多个专用词典里的词时，是需要采用双向最大匹配算法来检测到底哪一个专有词汇应该先被切出来。
　　理解分词技术对SEO工作具有极大意义，可以从科学的角度来分析关键词，并构想关键词部署策略;如果正向最大匹配算法的结论是正确的，那基本上可以断定，切词后的分词的权重是按照正向排序的

　　我还想搞明白的是专用词典和普通词典，哪一个权重会更高?

　　以下为转载的原文：

　　查询处理以及分词技术

　　随着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。作为企业，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等;作为普通网民，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料;作为技术人员，会把有代表性的搜索引擎作为研究对象。搜索引擎经济的崛起，又一次向人们证明了网络所蕴藏的巨大商机。网络离开了搜索将只剩下空洞杂乱的数据，以及大量等待去费力挖掘的金矿。

　　但是，如何设计一个高效的搜索引擎?我们可以以百度所采取的技术手段来探讨如何设计一个实用的搜索引擎。搜索引擎涉及到许多技术点，比如查询处理，排序算法，页面抓取算法，CACHE机制，ANTI-SPAM等等。