第1章 绪论

1.1 研究背景和意义

一般而言，观点（Opinion）及其相关概念，如情感、评价、态度和情绪，其主题都是研究观点挖掘及观点分析。从心理学方面看，人们的信仰、对现实的看法以及做出的选择在一定程度上取决于人们如何看待和评价这个世界。换言之，观点几乎融入人类的各种活动中，并影响着人们的行为。因此，当需要人们做出决策时，他们通常会参考别人的观点和看法。不仅个人决策过程如此，组织机构也有着类似的决策流程。

观点分析技术的发展离不开社交媒体的发展。社交媒体（Social Media）指允许人们撰写、分享、评价、讨论、相互沟通的网站和技术，其思想和技术基础是Web2.0，其内容基础是用户生成内容（User-Generated Content, UGC）。[1]社交媒体的表现形式包括在线评论网站、讨论组、博客、微博、Twitter以及社交网络等，用户可以通过电脑、智能手机及各种移动终端设备跨越时空限制进行交流。社交媒体为用户提供了一个前所未有的平台，人们通过它分享意见、经验、观点和口碑。作为最流行的互联网用户交流平台，社交媒体拥有世界上最庞大的用户群体。过去十年间，社交媒体数据的快速增长已经完全超出了人类对其内容分析理解的速度，人类历史上首次拥有如此海量的以数码形式存储的观点数据。[2]图1.1是Kantar Media CIC发布的2018年中国社会化媒体生态概览图，这张图谱展示了在社交媒体不同领域内的国内主要网站 。如此庞大的社交媒体数据蕴含着巨大丰富的观点信息，充分分析和利用这些信息，能够为消费者和生产者以及相关人员和机构提供重要的决策支持。

图1.1 2018年中国社会化媒体生态概览图

对消费者个人而言，社交媒体中其他用户针对产品发表的评论信息也称之为口碑（Word-Of-Mouth, WOM），对购买决策有重要的参考价值。无论消费者在线上抑或线下购买产品或服务，通常都可以事先浏览相关评论网站中其他用户对目标产品的评价，如购车评论可以访问汽车之家 、购书评论可以访问豆瓣网、电影评论可以访问时光网等。波士顿咨询发布的统计数据表明，中国消费者发表的在线评论数量最多，也是阅读在线评论最频繁的消费者。BizRate的调查显示，在接受调查的5500名消费者中，约44%在购买前会先参考他人的在线评论，并且有59%的用户认为在线消费者评论比专家评论更有参考价值。[3]一项针对中国消费者的调查显示，91%的被调查者不同程度地信任他人（熟人）所推荐的商品，78%的被调查者信任他人在线发布的评论。[4]微博同样是消费者发表意见及投诉的主要媒体，2017年微博维权重点事件盘点如图1.2所示。图1.3是2017年微博平台商家对投诉的响应时间统计，可以看出商家也越来越重视微博中的消费者投诉 。

图1.2 2017年微博维权重点事件盘点

图1.3 2017年微博平台商家响应时间统计

对商家而言，可以参考社交媒体信息中的用户反馈信息，来提高自身产品的性能，指导新产品、新服务的研发，从根本上减少消费者的负面评论，最终提升产品的销量。最近一项针对亚马逊网站手机销售评论数据的研究表明，在线评论对手机销量有显著的影响。[5]另一项针对国内京东网（JD.com）的销售评论数据的研究表明，不仅内部评论影响销售量，第三方外部评论同样对销售量有着显著的影响。[6]对于电影票房等体验型产品，用户的评论影响更为突出，杨扬等人[7]指出，电影销售商应重点关注与跟踪电影上映第1周的用户评论信息，并及时对负面评论做出响应，从而推动电影票房快速增长。对于其他非交易型评论而言，如通过抽取相关主题信息进一步分析用户立场，可用于选民调查、政治决策等[8-9]；通过股票类相关社交网络信息分析，用于股票预测。[10]

然而，社交媒体非规范性、简短明了的特点和精细化观点提炼的需求为数据分析带来巨大的挑战。

（1）文本的简短造成了文本数据稀疏，为依赖特征构建的机器学习方法带来了挑战。有监督的机器学习方法，如朴素贝叶斯（Naive Bayes）、最大熵（Maximum Entropy）、支持向量机（SVM）、条件随机场（Conditional Random Field）、隐马尔科夫模型（Hidden Markov Model）等，是文本分析通常采用的方法，它们在传统文本的分类及序列标等任务上取得了很好的效果。然而，社交网络文本通常带有噪音数据，而且一段文字由短短几十个词或者几个句子组成，其上下文信息短缺，没有足够的词共现信息进行统计推断，一般的机器学习方法很难在有限的语境中进行准确的推断。[11-12]

（2）精细化观点分析的需求为细粒度的评价目标识别、分组和观点分类提出了更高的要求。观点分析的主要目的是将给定的文本按其观点极性进行分类，类别通常分为积极、消极和中性三类。根据待分析文本的级别，可以分为三个层次，从初期的篇章级（document level）到句子级（sentence level），再到最终的方面（要素）级（aspect level）。对于篇章级和句子级分类，只关注粗粒度的用户喜好，可以直接采用一般的文本分类算法进行处理。对要素级的观点分析，需要先识别出文本中包含的一个或者多个评价目标（即要素aspect，可以是产品的属性或者特征，如汽车产品的操控性、舒适性、乘坐空间等），然后分析用户对每一个要素的观点极性。[13]由于不同用户的用词习惯和语言表达风格不同，尽管描述的是相同的评价目标，但可能采用不同的词语组合，这就需要在识别目标短语的同时，将识别出的目标短语（词）按其所描述的目标进行分组。这些必要的处理步骤无疑为细粒度的要素级观点分类提出了更高的要求。

（3）面向查询的评论摘要是对用户群体观点的总结，既要保证查询的相关性，也要广泛概括用户的意见，要求内容中心性与多样性统一，为摘要技术提出了新的要求。评论摘要是对用户产生的评论的概括性总结，能帮助其他用户快速了解被评价对象（产品、服务等）的优缺点，辅助其从海量的评论中获取需要的信息。自动生成摘要过程中既要考虑用户关注点（中心性），又要考虑评论用户对产品的各方面观点（多样性）。同时，由于用户各种各样的需求，甚至对同一数据源，用户也有可能搜寻不同类型的信息，因此以查询形式反映出的用户需求是评论摘要技术要考虑的重要因素之一。在这种背景下，传统的摘要技术不能满足个性化摘要的需求。比如，户外工作者可能会关注手机评论中关于待机时间的描述，音乐爱好者会关注同一手机评论中关于播放音质的描述。因此，个性化用户需求为评论摘要技术带来了新的挑战。