晓查 发自 凹非寺
量子位 出品 | 公众号 QbitAI
NLP是个好东西，但是汉语文化实在是博大精深，连长辈都看不懂网络词语，想让机器理解它们就更难了。
如果我们还用“正经”训练数据集，那就明显不够用了。
为了解决这个问题，有人从有人收集了3700万条图书评论和5万条bbs回帖，作为大型非正式汉语数据集（LSICC）。
内容来源分别是“豆瓣读书”和Chiphell论坛。
下面请从数据集中感受一下网络论坛文化的洗礼：
作者从Chiphell中选取了几个主题的回帖，其中有大量的网络用语，甚至还有中英文混用。
“辣鸡”当然不是辣味的鸡，“木有”也不是说木头。如果用正经训练集得到的模型去识别它们，结果恐怕会惨不忍睹。
据统计，这个数据集中非正式用语的比例远远高于一般其他数据集，在7.5亿词语中，非正式用语出现了62万次。比例远高于人民日报这样的官方媒体。
结果表明，现实世界自然语言模型处理和现有语料库的语言之间差距明显。
如果使用从正式汉语语料库中提取的向量表示作为单词嵌入，可能导致不良的表现。
所以，如果你需要训练模型去识别网络语言，那一定要尝试一下这个数据集。
这些抓取内容也并非直接可用，好在作者进行了一些预处理，删除了其中较短的句子，另外也对文中的英文单词做了识别。
资源地址：豆瓣读书评论：
https://github.com/JaniceZhao/Douban-Dushu-Dataset.git
Chiphell回帖：
https://github.com/JaniceZhao/Chinese-Forum-Corpus.git
作者将豆瓣读书评论的内容整理成csv表格，Chiphell回帖则整理成json文件格式。
— 完 —
诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
,
