1引言
随着互联网技术的飞速发展，Web2.0应用，如论坛、博客、微博、微信等逐渐成为信息表达的主要渠道，这些信息有别于传统的专业媒体信息发布，它是由大众主导的信息传播方式，是信息从“点到面“到“点到点”传播方式的转化。自媒体使用者在接收信息的同时也在传播信息，方便快捷，互动好，信息能以最快的速度推送给受众，受众也能给予最快的反馈。自媒体（WeMedia）时代已经到来。在大学校园里，无论教室、食堂还是宿舍，大学生都在使用自媒体进行交流，自媒体给大学生搭建了广泛的社交平台。通过这个平台，大学生可以充分展示自己的才华、个性，同时自媒体也给大学生提供了关注社会热点、讨论时事政策的平台。
2舆情及高校网络舆情的内涵
舆情是公众对社会的态度、观点的集合，从政治学角度来说即是一种政治倾向和态度[1]。传统的舆情来自于民众反馈信息或民意调研，随着网络技术的进步，网络论坛、贴吧、微博等逐渐成为人们交流的重要渠道，由此产生了网络舆情。有学者认为，网络舆情指在以互联网为主的网络上传播的各种网民对社会问题的情绪、态度及意见的集合[2]。网络舆情拥有现实舆情一切特征，区别在于传播媒体的不同。网络舆情由以下要素组成：（1）主体，是指网络舆情的参与者，包括接收者和传播者，具体可分为普通网民、意见领袖、网络推手和五毛党（网络水军）等；（2）客体，即舆情讨论对象，即话题，一般为社会热点事件。（3）内容，代表了舆情参与者对舆情话题的态度、倾向、情绪，内容的有效识别为危机公关提供决策支持。（4）空间，即提供舆情讨论和演化的场所，包括论坛、微博、微信等信息载体。（5）强度，网络舆情强度检测来自于舆情主体发表言论的情感倾向、措辞等。（6）热度，是网民关注的程度，来自于网民的点击、回复、转载等[3]。在校大学生拥有强烈的求知欲和责任感，是一个思想非常活跃的群体，对社会热点事件有更高的敏感度，特别是事关国家民族荣辱、社会不公平现象更会引起他们的强烈关注。目前高校舆情内容主要包括：（1）国内外热点，如钓鱼岛问题；（2）学校突发事件，如灾难事故等；（3）与学生自身利益有关问题，如学校服务质量等[3]。同时由于大学生具有勇于表达、彰显自我、富有激情等特点，但他们缺乏丰富的社会经验，世界观、人生观、价值观仍在形成之中，容易随波逐流、轻信他人。大学生接受新事物能力较强，当代的大学生已习惯于使用自媒体交流信息，一旦有事件发生，他们可通过BBS、微博、微信等途径快速进行信息的传播、讨论，使得高校网络舆情具有突发性、及时性、盲从性、情绪化、群体性等特点[4]。
3网络舆情系统功能
负面舆情会影响高校的稳定发展，如何对高校舆情进行监测，快速准确分析舆情，及时干预和引导舆情走向，是舆情分析系统需要完成的任务。典型的舆情分析系统具有以下主要功能：（1）可根据话题点击数、回复量、转载量等识别出指定时间段的热点话题；（2）对参与话题的信息进行倾向性与趋势分析，判别其发展演化趋势；（3）根据舆情分析系统生成舆情报告，提供决策支持。根据网络舆情系统功能及舆情生命周期过程，高校网络舆情系统结构如图1所示。网络舆情分析系统按照流程可分为4个阶段，分别是：网络舆情信息采集与存储、舆情信息预处理、舆情信息分析与预测、生成舆情分析结果。其中网络舆情信息采集是舆情分析系统的基础和数据来源，其通过相关信息采集技术（如元搜索、微博OpenAPI等）在校园网（BBS、微博、微信等）舆情聚集区域收集各种信息。这些数据数量巨大，并且很多数据非结构化，因此采用Hadoop框架实现分布式存储与计算。舆情信息预处理是对舆情采集系统获取的数据进行编码、去重、去噪、分词、摘要等处理，并提供给舆情信息分析系统做下一步处理。舆情信息分析与预测系统是本系统的最重要部分，主要完成话题检测与追踪、热点话题识别并预警、智能预测等。舆情结果分析阶段可根据用户要求展示各种话题诞生、发展、消亡的整个周期。
4基于Hadoop的高校舆情系统实现
与传统舆情分析相比，自媒体时代的数据量非常庞大，数据类型繁多，数据可分为结构化数据、半结构化数据和非结构化数据，并且非结构化数据占比较高，传统解决方案效率较低，同时自媒体时代舆情挖掘对时效性要求更高，因此采用大数据技术是很好的选择。目前大数据相关技术应用最成熟的是Apache基金会开发的Hadoop分布式架构。其核心机制是HDFS和MapReduce.HDFS提供了海量数据的存储，MapReduce提供了对数据的计算[5]。通过Hadoop技术，可以将多台普通的或低性能的服务器组成分布式服务器集群，以提供大数据量、高性能的存储和处理能力。相较传统的舆情分析系统，Hadoop可将数据采集改进为分布式采集，可大幅提升数据采集效率；Hadoop的HDFS文件系统可跨机器存储海量数据，降低了对硬件和软件的要求，为用户节省了使用成本。实验硬件：8台PC机，CPU为IntelCorei3，2.4GHz，内存为4GB，硬盘大小为500GB，网络环境为1000MB以太网。实验软件：Ubuntu10.10操作系统，MyEclipse集成开发环境，MySQL5.1，Hadoop0.20.205.0，Nutch1.4。Linux操作系统非常适用于Hadoop平台的搭建和开发部署，可以保证系统的稳定性和安全性。MyEclipse是Java的集成开发环境，可以方便地开发出Web工程，集成了Tomcat、Spring、Hiber-nate、Struts2、jUnit等框架。搭建的Hadoop集群有8台PC，1台作为master部署了NameNode和JobTracker，其余7台作为slave节点部署DataNode和TaskTracker。数据采集使用元搜索引擎eTools对高校相关论坛、官方微博、人气较高微博等URL进行搜索，得到URL列表，使用Nutch爬虫程序抓取网页并存储；数据预处理模块采用Tika进行数据清洗与去噪，再利用Lucene建立排序索引，并通过中科院汉语词法分析系统ICTCLAS系统进行分词和词性标注处理。数据分析与预测模块将预处理模块的结果转换为可操作的文本向量，并利用TF-IDF算法，计算项量权重，得到文本特征向量，并运用聚类算法进行话题追踪，发现敏感话题并预警。
5结语
高校舆情是社会舆情的晴雨表，做好高校舆情分析工作，保障高校安全稳定的发展，是高等教育一项非常重要的工作。当今时代，微博、微信等自媒体在大学校园的普遍使用，使得自媒体舆情成为高校网络舆情的一种重要形式，同时传统的舆情发现系统在面向自媒体海量数据显示出成本过高、扩展性差等缺陷。因此提出了一个基于Hadoop的高校舆情分析系统，能够对采集到的海量数据进行分析处理，实现对敏感、热点舆情话题的发现、追踪、预警，把握舆情总体态势，并产生舆情分析报告，给舆情管理决策提供支持。
作者：赵德伟 徐正巧 单位：西华师范大学实验中心
