机器学习深度学习干货栈 www.jqbxx.com

我们在日常消费的决策中,比如选择去哪家餐厅吃饭、是否购买某一件商品时,除了自身的感觉之外,我们常常会参考别人,尤其是已经消费过、体验过的人是什么评价。

现在的电商平台上某件商品的评论数动辄就上千甚至上万,人工逐条看精力有限,在短暂的决策时间窗口中,最多只能抽样查看不超过20条评价,这样的抽样结果总结出来的结论大概率存在偏差,无法反应整体的真实情况。

那有没有大数据的方法,可以保证获得最全面最客观的评价,而不是管中窥豹呢?

幸运的是打分机制很早就被发明出来了,所有人都可以对某一件商品的整体情况在1-5分的评分体系中,给出一个综合评价,再按一人一票制取平均值,用得到的平均分来反映商品在所有人群中的整体评价,简洁民主。

但这样简单粗暴的评分方式无法体现出用户对商品的详细评价,举个简单的例子,同样是5分的评价餐厅,有的人觉得是因为菜品口味好,对自己的胃口,有的人觉得是因为用餐环境舒适,和女神度过了一个浪漫的夜晚。

所以本文就分享一个深度学习的方法,从评论中提取出用户的观点,比如从某火锅店的评价“环境蛮好,没有很重的香料味道,上菜快,不用调料也好吃”中提取出“环境好,上菜快”的评价标签,并和其他有类似标签的评价聚类。

机器学习模型和深度学习模型导出(利用深度学习模型提取商品评论中的典型意见)(1)

本文分享一种用word2vec模型,将词语训练成词向量,作用就是将人类使用的自然语言(相对于计算机可理解的编程语言)中的字词,转换为计算机可以理解的稠密向量(Dense Vector)。在word2vec出现之前,自然语言处理经常把字词转为离散的单独的符号(One-hot Vector)

机器学习模型和深度学习模型导出(利用深度学习模型提取商品评论中的典型意见)(2)

比如上图的例子,在语料库中,四个城市各对应一个向量,向量中有且只有一个值为1,其他位置都为0。

但是用One-hot Vector会有两个问题:

第一,城市编码是随机的,向量之间相互独立,看不出城市之间可能存在的关联关系。

其次,向量维度的大小取决于语料库中字词的多少。如果将世界所有城市名称对应的向量合为一个矩阵的话,那这个矩阵过于稀疏,占用大量空间。

Word2Vec可以将One-hot Vector转化为低维度的连续值,也就是稠密向量,并且其中意思相近的词将被映射到向量空间中相近的位置。

机器学习模型和深度学习模型导出(利用深度学习模型提取商品评论中的典型意见)(3)

上图是将训练好的词向量降维后映射到二维平面的城市间的关系,可以看出亚洲的城市聚集在右上方而美国的城市聚集在左下方

Word2vec模型训练好后,每个词都有与其对应的一个多维向量,向量的维数可以作为参数人工设定,一般情况下维数越高,词与词之间的关系就可以被描述的越准确,当然训练模型所需的硬件和时间成本自然也更高,与其他模型一样,需要在表现和成本之间人工确定一个平衡点。

以训练某手机游戏的评论文本为例,用python genism包提供的Word2vec模块作为训练工具,预测“画面”,“音效”两个词的top20近义词结果如下:

机器学习模型和深度学习模型导出(利用深度学习模型提取商品评论中的典型意见)(4)

机器学习模型和深度学习模型导出(利用深度学习模型提取商品评论中的典型意见)(5)

在模型结果的基础上进行人工筛选后,可以总结出“画工”,“画面质量”,“音响效果”,“音乐感”,“节拍”等词都可以作为近义词添加到人工建立的近义词词典中。

除了近义词之外,word2vec模型还支持预测与输入词出现概率最高的协同词,下图显示的是与“画面”,“音效”一同出现频率最高的top20协同词,可以再模型结果的基础上筛选出“精美”,“唯美”,“细腻”等形容画面的评价,和“震撼”,“逼真”等形容音效的评价。

机器学习模型和深度学习模型导出(利用深度学习模型提取商品评论中的典型意见)(6)

机器学习模型和深度学习模型导出(利用深度学习模型提取商品评论中的典型意见)(7)

再重复向模型输入类似“画面”,“音效”等可以用来评价游戏的维度后,就可以将构建完整的近义词词典作为依据,聚类具有相似观点的评论文本。

整个流程可以整理为以下这张流程图:

机器学习模型和深度学习模型导出(利用深度学习模型提取商品评论中的典型意见)(8)

做过模型的同学都知道,模型只是工具,人工的部分才是区分整套系统质量和表现的关键。这套观点提取系统中需要人工处理的地方包括,数据(语料库)的选择,数据预处理,其中预处理又分分词,去停词,去除噪音数据等细节,人工提供评价维度的种子词(上文提到的“画面”,“音效”等),筛选模型输出的近义词和协同词结果(所有的结果保存在人工构建的词典中)。

这套系统建立完成后,将新的评论文本经过预处理后作为输入,匹配文本中是否包含词典中所有的评价维度的近义词和协同词,将匹配结果作为观点标签标注在该条评论上。这样我们就可以用模型批量的为评论文本打上标签,最后将所有标签的结果汇总相加,就能得到无偏差的,全量的关于商品的评论,全面参考评论意见,辅助购买决策。

机器学习深度学习干货栈 www.jqbxx.com

,