谢邀。不过很遗憾，像俺这样的菜鸟能把现有的开源分词库用好就不错了，实在没啥更深入的见解。再加上我日常的工作和语料分析沾不上边，所以经验也匮乏。且邀请其他大神来为做精彩回答吧！

我印象里还能想起来的资源是曾经在知乎上看到的类似问题，在答案里有很多干货，分享给你做进一步参考：http://www.zhihu.com/question/19578687

简单的中文分词定制类似IKAnalyzer这样的开源库就可以，但是对于要处理歧义，共指，上下文推理之类的需要重量级的框架，可以考虑用斯坦福的GATE NLP框架。

我一直在用GATE进行中文分词标注工作，主要涉及文本过滤清洗，本体识别这些，在GATE中的以PR（语言处理资源）拼装pipeline（管道）进行标注，主要用到
1）Gazetteer词典标注；
2）JAPE标注模式引擎，基于正规表达式编写规则，通过这些规则来进行较准确的命名实体识别；
3）根据业务需要Java编码定制PR对标注结果进行拓扑分析；