甲鱼舆情监测软件的爬虫如何爬舆情事件网民的评论数据？

想必大家都知道，几年前国内基本上没有舆情监测软件厂商可以爬到网民评论的数据，就算爬到也是非常少的，不是因为别的，就是因为评论数据难爬，几年前的舆情监测软件行业就是一个刚学会走路的娃娃，爬普通网站都不怎么会爬，怎么去爬那个高难度的评论数据呢？但是现在甲鱼舆情监测软件的爬虫可以爬到网民的评论数据了。

甲鱼舆情监测软件爬取评论数据原理：先把需要爬评论的网站打标签归类，把这些网站的数据采集到放在服务器的一个区域，然后根据每个网站帖子回复的评率，对每条帖子进行回踩，并且把每条回踩的评论单独做一个链接。这样可以方便数据分析师对后期的数据进行分析，这个算法还不是最优的算法。目前甲鱼正在通过区块链的算法来爬评论的数据，如果这样做的话可以大大减少服务器的算力。之前几十台服务器做回踩的事情，可能几台服务器甚至更少的服务器就可以完成。

web3.0的时代，虽然自媒体占据了大部分网络的阵营，但是小编觉得最能体现网民声音的还是评论的数据，因为网民发个评论内的信息很简单，就几分钟，而且评论内数据审核不严，如果是帖子，文章，需要有一定的经验，还需要很长的时间来写。我记得我有个同学想要投诉他们当地的村干部，写了很多材料，整理了很多证据，弄成了一个很大的word文档，想要发到网上去投诉举报，因为文化水平有限，硬是没有发出去，花钱找打印店的老板帮忙发，一看这个东西，不敢发。最后那篇投诉稿件就那样夭折了。