复旦大学《信息内容安全》（互联网大数据技术）课程，经过一个学期的学习，对爬虫技术、文本预处理、大数据语义、文本分析挖掘等算法、模型和实现技术进行较为系统的学习。学生们兴趣很高，本号陆续发布若干优秀PJ，本期刊登熊忻、高卜凡、刘星雨同学完成的基于爬虫和文本挖掘的凡尔赛文学特征分析。学写凡尔赛文，看最后的例子。
课程PJ选题
“凡尔赛文学”是年的年度十大网络流行词，?种“以低调的方式进行炫耀”的话语模式，也称凡学。它有什么样典型的表述模式呢，本PJ就此运用爬虫技术、文本分析和情感分析等技术尝试回答这个问题。
数据采集
知乎、豆瓣等社交媒体上有很多关于凡尔赛的讨论，因此，就以这些社交媒体为数据源进行采集。采集时并没有遇到太大的麻烦，基本的爬虫技术，再结合动态网络分析方法就可以，处理返回结果时使用json方法提取特定数据，包括发帖时间、点赞数、评论数和帖子正文。
预处理
对于贴子正文，?beautifulsoup4模块的方法提取文字，过滤图片及链接等无用信息。对于整段文字，进行词汇切分。进行了标注词性，以便于后续分析。
关键词提取
使用TextRank算法，这是一个基于PageRank的算法，把文本拆分成词汇，并作为网络节点，组成文本网络模型，进?步就可以计算每个词的重要性。一些主要的分类词汇如下。
这里展示了凡尔赛体中经常出现的寄托物，可见房子、别墅、套房、小区是最常见的，从而形成了独特的房产体凡尔赛。例如，以下两句的表达：
又买第三十套新房了，下个月要吃土啦。
猫咪怎么也找不着，房子大就是不方便。
此外，手机、衣服、鞋子等与日常生活密切相关的物品也都经常出现在凡尔赛文中。
凡尔赛文学中，普遍会灵活运用第三人称、第三方人物的视角，这些是常见的人物视角，看来都是一些比较亲密的人起到衬托作用。
凡尔赛文中所使用的词汇都很普通，没有什么语气特别中的词汇，这大概是大家总结出来的“低调”吧。虽然凡尔赛通常由多个句子组成，但是并没有看到使用转折词和连词（虽然、但是、而且等）。
情感分析
凡尔赛文学先抑后扬，嘲讽多于赞同。抑扬可以用句子情感分析结果刻画，先抑后扬主要是指语句的连接关系，因此对应的模式为消极子句+积极子句。
为了进行情感分析，使用snownlp中的sentiments?法，它对每个句子进?分析，然后计算?个sentiments值。sentiments越贴近1，则越积极；sentiments越贴近0，则越消极。为了对照，同时选择了Paddlehub进行情感分析，它是百度的开源预训练模型管理工具。情感分析的输出比snownlp要丰富?些，会直接提供?些基于sentiments值的判断结果，如"positive"或"negative"等。
在设计中，考虑到抑扬句子并非紧挨着，因此设定了大小为5窗?，如果消极语句出现在积极语句的前5句中，就认为发现了凡尔赛文学。当然，由于倒装在日常表述中也比较常见，因此先积极语句后消极语句的情况也符合凡尔赛文学。
例如,大学初见舍友,很友好的跟她说,可以来上海的迪士尼玩（因为当时正好上海开了?家）。她回答我说：我都不想去了,全世界的迪士尼我都去过了。
0.,大学初见舍友
0.,很友好的跟她说
0.,可以来上海的迪士尼玩（因为当时正好上海开了?家）
0.,她回答我说：我都不想去了
0.,全世界的迪士尼我都去过了
然而，由于凡尔赛体进化出很多形式，存在一定隐喻、背景语义等复杂现象，明贬暗褒，假装苦恼，情感分析也对付不了凡尔赛的识别。
完了！几天没锻炼又瘦了....
烦人，每次去厨房拿点吃的都要走断腿，太远了。
呜呜呜，谁的肉可以给我分点，狂吃了两个月，还是没到九十斤。
这里的“瘦”，很容易判断为中性，但其实胖瘦在不同的语境中情感倾向有所差别，瘦不?定就是积极，胖也不?定就是消极。凡尔赛文学中其实运用了许多这种双重语义或语义发生变迁的词汇，导致模型识别不出来。
相关技术阅读
本课程使用的教材《互联网大数据处理技术与应用》（清华大学出版社，）一书,该书大数据技术与理论体系比较完整。
参考书《Python爬虫大数据采集与挖掘》（清华大学出版社，），该书侧重于采集、文本处理和Python实现，可实践性强，有效解决大数据教学“无米之炊”的问题。
两门都是学生很喜欢的课程，开课的老师可以获得各种相关教学资料。
《互联网大数据处理技术与应用》的相关教学资源
Python爬虫大数据采集与挖掘（PPT、代码、视频）
Python爬虫大数据采集与挖掘（课程大纲）
点击阅读原文链接，查看图书详情和评论信息。
虽然了解了凡尔赛，但是要学会运用还是很难。为自己写的书写两句凡尔赛，不知道对不对，请大家留言多帮我写几句（）。
-出版社说我写的书有点啰嗦，就是配套的代码太多。
-教材的PPT做得有些粗糙，你可知道那是我多年精心的积累。
-好友又买了20本，掏空了这个月的零花钱。
-书架不需要做那么大了，只要放这本书就可以了。
...
预览时标签不可点收录于话题#个上一篇下一篇
