百度分词算法详解

　　3、假设提交的中文查询包含英文单词，搜索引擎是怎么处理的?比如查询”电影BT下载”，百度的方法是将中文字符串中的英文当作一个整体保留，并以此为断点将中文切分开，这样上述的查询就切为，不论中间的英文是否一个字典里能查到的单词也好，还是随机的字符也好，都会当作一个整体来对待。至于为什么，你用查询 “电影dfdfdf下载”看看结果就知道了。当然如果查询中包含数字，也是如此办理。
　　到目前为止，一切很简单，也很清楚，百度怎么处理用户查询的呢?归纳如下：首先根据分割符号将查询分开，然后看看是否有重复的字符串，如果有，就抛弃多余的，只保留一个，接着判断是否有英文或者数字，如果有的话，把英文或者数字当作一个整体保留并把前后的中文切开。

　　接着该干什么呢?该考虑分词的问题了。

　　二、中文分词

　　首先，讲讲百度的分词时机或者条件问题，是否是个中文字符串百度就拿来切一下呢?非也，要想被百度的分词程序荣幸的切割一下也是要讲条件的，哪能是个字符串就切割啊?你当百度是卖锯条的么?

　　那么什么样的字符串才满足被切割的条件呢?简单说来，如果字符串只包含小于等于3个中文字符的话，那就保留不动，当字符串长度大于4个中文字符的时候，百度的分词程序才出马大干快上，把这个字符串肢解掉。

　　怎么证明呢?我们向百度提交“电影下载”，看看返回结果中标为红字的地方，不难看出来，查询已经被切割成两个单词了，说明分词程序已经开工了，如果是比4个中文字符更长的字符串，那分词程序就更不客气了，一定大卸八块而后快。我们来看看三个字符的情况，提交查询“当然择”，看起来这个查询不伦不类，那是因为我希望看到这个字符串被切分为，返回结果365篇相关页面，翻到最后一页，发现标红的关键