Author: admin

企业舆情面对互联网舆情监测的四大误区： 1.当企业出现负面信息并对企业造成损失，有的企业会认为舆情监测系统会让企业挽回损失。这是一种不正确的认识。当企业出现负面信息的时，舆情监测系统致力于第一时间获取负面信息，第一时间对负面信息进行通报，第一时间对负面信息进行整合总结，分析趋势。使企业在数据和客观分析的基础上做出处理方案，以避免更大的损失。 2.网络舆情服务≠“监测”+“删帖”。一般认为网络舆情服务，重在“监测”。其实，网络舆情服务重要的不在于数据的抓取和搜集，更重要的是在一件事情发生后，对网络民意的有效数据进行科学筛选、量化统计和分析研判，判断舆论趋势，并就如何应对，提出科学的咨询和建议，这才是网络舆情服务机构的核心价值所在。 3.认为舆情监测系统紧局限于负面信息监测。舆情监测系统对全网信息进行抓取和搜集，将信息分为正面、中性、负面。通过对数据分析和整理可以了解企业产品动态、用户需求 。为企业优化产品和服务以及决策提供数据基础。 4.将网络舆情监测误认为“网络监控”。而正确的企业舆情监测只是以第三方的身份进行观察，提供客观、中立的意见，希望成为客户的智囊和顾问。

低调且默默无闻的做了好几年“大数据”的我冒个泡。由于太低调了，知道我做数据采集和爬虫的人多……知道我做舆情和公安大数据的人少……知道我自己正在给公司设计舆情产品的人就更少了…… 不过目前来看，舆情产品更新和迭代速度较慢，模式基本比较定型了，数据范围、功能、内核和底层都没有太大改变。这就引发了巨大的同质化问题，不想没有感觉，仔细想想真可怕。 舆情行业的前景是什么呢？回归一下舆情的本质，情报是为了决策服务的，决策是为了战略服务的。目前的舆情有做到这些么？做好了么？答案很苦逼，基本是没有。 舆情只停留在伺候政府和部分大型企业组织的层面，而且还是一种单纯监测的层面。产生了多少价值？帮一些领导抗住一些负面也就到头了，大多数是为了“面子”而活。我并不反对这些，因为一方面企业、机关的领导需要维护自己的形象，另一方面面对恶意的诋毁或者竞争对手的反制也是需要监测手段的。但是这些都是马后炮型的，没有起到核心的价值。 我觉得舆情的前景是行业深挖，当然这个属于放P，差不多这个圈子里的人都知道这个。但是行业深挖，挖什么？怎么挖？这个苦逼的问题我也没有很好的答案。我从几个点去思考： 舆情系统需要解决客户的痛点，这个痛点是以往靠人工很难出效果的；舆情系统要给客户带来价值，这个价值可以是直接或间接体现在营收上的，也可以是对企业战略服务的；舆情系统要从马后炮变成“半仙”，也就是从“您好，公司XXX CEO跑路的新闻已经热度达到xxx，负面达到红色预警级别，请立刻处理”变成“《xxx CEO失联跑路》新闻涉及公司某高管，根据传播链条分析以及重要节点分析预测该篇文章可能会成为爆款文章，需要提前注意并启动应急机制”；舆情系统不应该仅停留在文本，应该拓展至多媒体，对图片、视频、音频进行全方位监测；舆情系统不应该仅仅是泛泛的监测，应该让客户高管用的爱不释手，一切想知道的动态、资讯、线索、未来方向都应该聚合在里面。 好吧，前面很多是吹牛逼的。设计一个功能很容易，实现它缺需要复杂的底层，舆情系统会逐步变得更加细分，更加专注行业和领域。但是这是建立在文本处理技术和多媒体处理技术之上的，这两个结构化技术目前缺失的技术还太多，还有很多不够完善的地方，所以如果说舆情的未来，我个人觉得短期未来就是文本、多媒体数据的结构化以及关联挖掘在行业或领域的细分应用（不细分是不太可能的，因为边界太广，即使做出来功能也是忽悠人用的）。远期的前景我自己还很迷茫，不敢妄加评论。 顺便说一下各位舆情产品的大佬们……别吹全网监测了……第一客户不信，第二同行吹多了，吹得自己都信了……让我怎么设计产品啊……我还得同时负责爬虫…… ┭┮﹏┭┮

大家都说舆情监测系统开发起来，比较简单，小编作为一个参与过舆情监测系统开发的一员，小编今天不想说什么，只想把一组数据给广大朋友观赏一下，大家就知道舆情监测系统开发起来技术含量怎么样了。 抓取数据、清洗数据对于当下的舆情监测系统来说，都不算是什么难题了，难就难在如何从已得到的数据中获得商业洞察，再用这些商业洞察指导实践，而不仅仅是简单的各类数据统计。对于我来说，舆情数据是互联网上的公开数据，就是相较于销售数据、用户数据等企业内部之外的数据，姑且称之为“外部数据”。那么，现在问题就转换为：如何从浩如烟海、杂芜丛生的外部数据中获得对企业有价值的商业洞见？下面，笔者将从理论到实践，从数据获取、数据清洗、可视化最后到数据分析，全方位的呈现如何从外部数据中得到商业洞察。 现在互联网上关于“增长黑客”的概念很火，它那“四两拨千斤”、“小投入大收益”的神奇法力令无数互联网从业者为之着迷。一般来说，“增长黑客”主要依赖于企业的内部数据（如企业自身拥有的销售数据、用户数据、页面浏览数据等），以此为依据进行数据分析和推广策略拟定。但是，如果遇到如下几种情况，“增长黑客”就捉襟见肘了：假如一家初创公司，自己刚起步，自身并没有还积累数据，怎么破？就算有数据，但自己拥有的数据无论在“质”和“量”上都很差，正所谓“garbage in ，garbage out”，这样的数据再怎么分析和挖掘，也难以得到可作为决策依据的数据洞察……能看到数量上的变化趋势，却无法精准的获悉数值变动的真正原因，比如，近期APP上的活跃度下降不少，从内部数据上，你只能看到数量上的减少，但对于用户活跃度下降的真实动因却无法准确判定，只能拍脑袋或者利用过时的经验，无法让相关人信服。由此，笔者引出了“外部数据”这一概念，尤其是“Open Data”这片“数据蓝海”，“他山之石，可以攻玉”，从海量的外部数据中获取可以对自身业务起到指导作用和借鉴意义的insight，借助外部环境数据来优化自己。 越远离坐标原点，沿坐标轴正向延伸，价值度就越高，分析处理的难度也就越大。对于数据分析师而言，“描述型分析”、“诊断型分析”和“预测型分析”最为常见，而“规范型分析”涉及比较高深的数据挖掘和机器学习知识，不是我们接下来讨论的重点。1.1 描述型数据分析描述型分析是用来概括、表述事物整体状况以及事物间关联、类属关系的统计方法，是上述四类中最为常见的数据分析类型。通过统计处理可以简洁地用几个统计值来表示一组数据地集中性（如平均值、中位数和众数等）和离散型(反映数据的波动性大小，如方差、标准差等)。 1.2 诊断型数据分析在描述型分析的基础上，数据分析师需要进一步的钻取和深入，细分到特定的时间维度和空间维度，依据数据的浅层表现和自身的历史累积经验来判断现象/问题出现的原因。 1.3 预测型数据分析预测型数据分析利用各种高级统计学技术，包括利用预测模型，机器学习，数据挖掘等技术来分析当前和历史的数据，从而对未来或其他不确定的事件进行预测。   1.4 规范型数据分析最具价值和处理复杂度的当属规范型分析。规范型分析通过 “已经发生什么”、“为什么发生”和“什么将发生”，也就是综合运用上述提及的描述型分析、诊断型分析和预测型分析，对潜在用户进行商品/服务推荐和决策支持。 2. 对外部数据中的分析很重要经过上面对四种数据分析类型的描述，笔者认为现有的基于企业内部数据的数据分析实践存在如下几类特征：大多数的数据分析仅停留在描述性数据分析上，未触及数据深层次的规律，没有最大限度的挖掘数据的潜在价值；数据分析的对象以结构化的数值型数据为主，而对非结构化数据，尤其是文本类型的数据分析实践则较少；对内部数据高度重视，如用户增长数据，销售数据，以及产品相关指标数据等，但没有和外部数据进行关联，导致分析的结果片面、孤立和失真，起不到问题诊断和决策支撑作用。由此，我们必须对企业之外的外部数据引起重视，尤其是外部数据中的非结构化文本数据。对于文本数据的重要性，笔者已在之前的文章中有过详细的论述，详情请参看《数据运营|数据分析中，文本分析远比数值型分析重要！（上）》。与此同时，非结构化的文本数据广泛存在于社会化媒体之中，关于社会化媒体的相关介绍，请参看《干货｜如何利用Social Listening从社会化媒体中“提炼”有价值的信息？》。3. 外部数据的几种常见类型外部数据是互联网时代的产物，随着移动互联时代的兴起，外部数据的增长呈现井喷的趋势。各个领域的外部数据从不同角度刻画了移动互联时代的商业社会，综合这些外部数据，才能俯瞰到一个“全息式”的互联网版图。按互联网行业和领域的不同，外部数据包括且不限于：阿里（淘宝和天猫）：电商大数据腾讯（微信和QQ）：社交网络大数据新浪（新浪微博和新浪博客）：社交媒体大数据脉脉：职场社交大数据谷歌/百度：搜索大数据优酷：影视播放大数据今日头条：阅读兴趣大数据酷云EYE：收视大数据高德地图：POI大数据4. 外部数据的获取/采集随着互联网时代对于“Open Data(开放数据)”或“Data Sharing（共享数据）”的日益倡导，很多互联网巨头（部分）开放了它们所积累的外部数据；再者一些可以抓取网络数据的第三方应用和编程工具不断出现，使得我们可以以免费或付费的方式获得大量外部数据（在获得对方允许和涉及商业目的的情况下），最终的形式包括未加工的原始数据、系统化的数据产品和定制化的数据服务。以下是一些常见的外部数据分析和采集工具： 4.1 指数查询（1）百度指数（2）微指数（3）优酷指数（4）谷歌趋势4.2 爬虫工具从上面的索引结果可以看到，搜寻到的语句和原语句之间即使没有包含相同的词汇，但语义上是相关的，分别从属于4“用户研究”、“运营实操根据”和“内容运营”这三个话题。笔者通过这种文本相似度索引，就可以找到自己感兴趣的内容，进行更进一步的文本挖掘。结语限于篇幅，上述许多模型的用途/使用场景，笔者并未展开详说，比如Lexical Dispersion Plot、Bicluster文本聚类和DTM模型可以预测词汇和主题的热度，从而为写作选材和热点追踪提供参考；而LSI相似文本索引和ATM模型可以在内容创作中进行竞品分析，找到与笔者写作主题相近的作家和内容进行针对性的分析，知己知彼，做好自己的写作风格定位。拿笔者的分析实践为例，在“数据分析”栏目中，采用上述分析手段，笔者发现相关文章大都是理论型和设想型的论述，缺少真实的数据分析实例支撑，真正投入到实际工作中的效果也未可知；同时，很多是常规的、基础性的数值型分析，介绍的工具则是Excel、SQL、SPSS，难以满足当今大数据背景下的数据分析实践。因此，笔者的写作风格倾向于“少许理论+实操”，尽量少扯“看起来对、看过就忘”的理论，在数据分析工具和方法的使用上尽量做到多样化，实例分析不为得出具体的结论，重在开拓读者的数据分析思路，授人以鱼。最后，透过上面的外部数据分析实例，笔者想阐明如下3点：要厘清不同数据类型的特征，如本例中的数值型数据、文本型数据以及从中抽取的关系型数据，对其采用合适的分析思路和挖掘方法；数据分析的方法要尽可能的多样化，如本例中采用了多种分析方法和模型，如交叉分析、高频词分析、关键信息抽取、词汇分散图分析和ATM模型等；在分析层次上，以业务逻辑为轴线，由浅入深，由简入繁，由表及里，既有描述型的统计分析，也有诊断型的数据挖掘，还有基于演变规律的预测型分析。

小编看到互联网上面有很多网络舆情监测公司在宣传他们的舆情监测软件，讲得天花乱坠，说功能多么多么的强大，还说全网监测，不漏掉一个内容等等，还说什么可以监测方言视频内容，小语种等等，这个完全就是虚假宣传，有点IT行业工作经验的人都知道，就某些APP平台，还有现在区块链存储技术实现的数据库的平台，目前基本上舆情监测软件是无法实现监测的，因为这个才是真的涉及到隐私，有些平台就算你正常访问都需要账号密码，而且登陆的时候还要人工验证码，那么这些平台的信息你舆情监测软件可以监测到吗？舆情监测软件只是一个小小的软件，而不是什么万能王，孙悟空通天本领，也有他的短板，逃不出如来佛祖的五指山，更何况是你一个小小的舆情监测软件，真的有那么牛B吗，醒醒吧。 在这里面，小编要说的是舆情监测软件真的很好用，但是没有那么强大，互联网上面的基本信息是可以监测到的，只有少数舆情无法监测到的，这些无法监测到的信息都在一些小的平台，没有什么传播力的平台。 在文章结尾我要说的是：舆情监测系统不是什么东西都可以监测出来的，有些东西还是没有办法监测出来的，这个大家一定要了解清楚哦。