新浪舆情通

基于大数据技术的舆情监测

互联网+时代，以大数据为基础的舆情监测、移动互联网技术的迅速发展及在各领域的应用，为其他行业的发展提供了技术支撑。舆论的发生、发展、演变和传播都在发生着巨大的变化，舆论监督、舆论分析与之相对应也越来越受到政企单位的重视。运用信息技术、舆情监测等方面的理论，开展基于大数据的网络舆情监测，可以发现舆情主题，分析舆论情绪倾向，分析传播趋势；利用数据挖掘技术，可以帮助政企单位从事件前后阶段进行舆情分析，对舆情进行风险评估，了解舆情发展趋势，及时做出预警。

以大数据技术为基础的舆情分析

由于互联网上大量的文本数据中存在舆情数据，因此对舆情数据进行分析，主要采用文本分析的方法。由于文本数据通常是非结构化的，因此，获得文本数据后的一个重要步骤就是将其转换成结构化数据，以便计算机能够理解和处理，从而进一步对其进行全面系统的处理分析，提炼出有意义的部分。

舆情分析研判大数据的方法

1.数据收集。在明确了分析目标和需要之后，收集数据通过不同的来源渠道。

二、文字的清洗和预处理文字的清洗首先是清除噪声数据，然后根据需要对数据进行重新编码并预处理。

三、分词在实际进行分词时，可能会产生一些不合理的结果。在基于算法和中文词库构建的分词系统基础上，还需不断地进行训练，以提高分词效果，若不能充分考虑汉语各种复杂的语法情况，算法的缺陷很容易影响分词的准确性。四、词频和关键字词频是指文本中某一词出现的频率。简言之，一个单词在文本中出现的频率越高，它在文本中的重要性就越大，也就越可能成为文本中的关键字。

五、语义网分析语义网分析是指对高频词进行筛选后，在高频词两两共现关系的基础上，对其进行数值化处理，再以图形的方式表示高频词之间的结构关系。这种语义网络结构图可以直观地对高频词层次关系、亲疏程度进行分析展示。

六、情绪分析主要是对情绪极性(即情绪的正性、中性、负性)和情绪强度进行分析，其中包含情绪成分的词汇，然后计算每条陈述的总价值，确定其情绪类别。也可综合整个文本中的所有陈述，判断总舆情数据样本的总体情绪倾向。