舆情监测分析系统研究和分析
最近在整理《网络安全和舆情应总指挥管理平台》的技术方案,主要是数据从采集到分析的一条线。管理层、配置层、爬虫层把数据收上来,再经过整合、分布式存储和数据运维沉淀成数据中心,最后交给舆情监测、预警、事件分析和全文检索去用。我第一反应是,这类东西放到公开资料里,多半只剩一张架构图和几段功能描述。中间那些取舍,比如为什么用HDFS做分布式存储、为什么词库和文本分析算法要单独拎出来,反而很少有人写。另外先说清楚:这里记录的是技术思路,不是交付承诺。 1.总体架构布局 网络安全和舆情应总指挥管理平台按照建设内容总体设计架构如下:
1.1舆情监测分析系统 1.1.1舆情数据中心 互联网兴起,移动智能设备广泛应用,即时性、多样性的海量数据爆发,传统数据分析经验不足以支撑单位业务的深度发展。如何利用大数据管理用好外部与内部数据,促进业务发展,成为企业关注的重点。 舆情数据中心作为建设基础,可全面存储有害信息样本和敏感事件、重点人群、活跃网民、重点账号等数据,充分利用大数据分析技术形成针对性、综合性报告,密切分析把握网上斗争新动向,防患于未然。同时,核心数据中心还预留端口,可实现与其他技术系统平台无缝对接。 大数据整合解决数据来源,充分利用用户与内容数据,内部数据与外部数据的高度融合不断完善舆情数据中心数据库。建立一体化的舆情数据中心。推进技术融合,业务融合、数据融合,实现跨层级、跨地域。跨系统、跨部门、跨业务的协同管理和服务。舆情数据中心的建设将采取统筹规划、集中与分布相结合的方式。舆情数据中心建立具有以下重要战略意义: 让数据采集、管理、应用有法可依。 解决数据的部门化、利益化,克服“信息孤岛”和“数据烟囪”等问题。 数据的分类管理,实现数据资源的有效管理,有效利用、保障安全。 促进数据的应用,对舆情治理、社会发展具有重要意义。 1.1.1.1数据采集管理 数据采集管理实现三层架构的管理。 (1)管理层 管理层实现平台与上下层平台的接口对接,统一调度全局的采集任务和进程,同时对信息进行统计分析和告警,主要包括配置管理、爬虫管理、网站管理、账号管理、词库管理、分级管理、通道管理,IP管理、应用管理以及用户管理等十大功能,保障了数据采集的有效管理。 (2)配置层 配置层实现对全部网站的采集配置进行管理,包括境内定向配置、境内搜索配置、境外定向配置、境外搜索配置等配置类型,保障了配置全面、精准的采集数据。 (3)爬虫层 爬虫层以分布式的方式部署爬虫,实现了爬虫多任务调配、多线程执行的工作机制,保障了爬虫的稳定、高效执行任务。 1.1.1.2数据整合管理 数据整合主要对本次工程采集的数据进行过滤、筛选等步骤的整理,剔除和调整不合理的数据。并且对数据的格式、长度、区间范围、完整性、一致性进行检查。确保数据质量改进,以实现对不同信息需求的数据抽取,适应本次业务的需求。 按照数据元和数据交换标准,统整合来自不同部门、不同应用系统的数据,通过交换、转换、整合、归并,形成大数据统一基础数据工程, 为各类业务应用、主体应用提供数据支撑。 在数据中心中,由于间一应用数据有可能分布在不同的数据源中,在进行数据采集抽取时,为消除数据的不一致性,数据整合需要根据数据的真实性、有效性验证规则,对数据进行转换清洗。数据整合包括: (1)消除同名异义和异名同义现象 例如:在业务系统中,性别有的用男/女来表示,有的用T/F来表示,有的用0/1来表示,意义是一样的,但进入整合平台前必须调整成为一致。 (2)一致性检查 当同一数据来源于不同的数据源时,需要对同一数据进行分析比较, 只有审核一致后才能进行入数据中心或前置机,从而达到系统的一致性。 (3)冗余数据删除 将重复出现的同值数据除去。例如,如果在系统中,如果将15位身份证号转成18位身份证号后,发现与其它的18位身份证记录重复,而且在其他关键数据域也记录一致的话,可以进行消除冗余工作。 (4)数据归并 当某一主题的数据需要由不同的系统组合形成时,需要数据交换与整合软件按照关键项进行合并,如:车辆的车牌号,对组合后的数据统一整合到数据中心。 通过整合数据,形成数据中心基础性和战略性的一数一源基础数据工程,一方面为已有及新建的信息系统提供基础数据服务,另一方面以此为基础,打破系统分割、信息孤岛的现状,为行业数据工程发挥规模效益提供支撑。 1.1.1.3数据存储管理 (1)分布式存储 大数据基础平台依赖HDFS实现分布式存储的高可靠性。HDFS可能由成百上千的服务器组成,每一个服务器都是廉价通用的普通硬件,任何一个组件都有可能一直失效,因此错误检测和快速、自动恢复是HDFS的核心架构目标,同时能够通过自身持续的状态监控快速检测冗余并恢复失效的组件。 HDFS是一个主从(Mater/Slave)体系结构,从最终用户的角度来看,它就像传统的文件系统一样,可以通过目录路径对文件执行CRUD(Create,Read,Update和Delete)操作。但由于分布式存储的性质,HDFS集群拥有一个Name Node和一些Data Node。Name Node管理文件系统的元数据,Data Node存储实际的数据。客户端通过同Name Node和Data Nodes的交互访何文件系统。客户端联系Name Node以获取文件的元数据,而真正的文件I/O操作是直接和Data Node进行交互的。 HDFS主从(Master Slave) 体系结构图如下:
当活动节点进行任何名称空间修改时,它会向一个位于共享目录下的日志文件持久性地写入一条修改记录。备用节点持续观察该目录的变化,并且将改动应用于自身的名称空间。当发生故障转移时,备机在确保已经读取了所有改动之后,将自身切换为活动状态。 为支持快速的故障转移,各用节点也需要了解集群中块位置的最新信息。这可以通过配置Data Node来实现,让其同时向两台Name Node发送块位置信息和心跳。 HDFS为存储大量数据提供了非常强大和灵活的支持,一些特殊文件类型(类似于Sequence File)非常适合支持MapReduce实现。Map File及其衍生类型(Set,Array和Bloom Map)在快速数据访问方面表现良好。 (2)基于列存储 列存储不同于传统的关系型数据车,数据在表中是按行存诸的,列存储方式所带来的重要好处之一就是,由于查询中的选择规则是通过列来定义的,因此整个数据库是自动索引化的。列存储每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少读取的数据量,一个字段的数据聚集存储,那就更容易为这种聚集存储设计更好的压缩/解压算法。传统的行存储和列存储的区别见下图:
(3)存储高可用 1)冗余副本策略,即所有数据都有副本,副本的数目可配置。 2)机架策略,即“机架感知”,一般在本机架存放一个副本,在其它机架再存放别的副本,这样可以防止机架失效时丢失数据,也可以提高带宽利用率。 3)心跳机制,即管理节点周期性从数据节点接受心跳信号和快报告,没有按时发送心跳的数据节点会被标记为宕机,不会再给任何I/O请求,若是数据节点失效造成副本数量下降,并且低于预先设置的阈值,管理节点会检测出这些数据块,并在合适的时机进行重新复制。 4)安全模式,管理节点启动时会先经过一个“安全模式”阶段。 5)校验和,客户端获取数据通过检查校验和,发现数据块是否损坏,从而确定是否要读取副本。 6)回收站,删除文件,会先到回收站,其里面文件可以快速回复。 7)元数据保护,映像文件和事务日志是管理节点的核心数据,可以配置为拥有多个副本。 8)快照,支持存储某个时间点的映像,需要时可以使数据重返这个时间点的状态。 1.1.1.4数据运维管理 通过本次将同步建成网信数据中心,为网信大数据平台提供统一的数据工程平台。 根据各项应用所需数据工程的属性和应用数据库使用要求,并按照相关技术要求,确定本工程将建设几类数据库,包括基础数据库、应用数据库、主题数据库和共享数据库。数据中心的运维遵循以下几个原则: (1)统一性原则运维 统一规划,建立科学、完整的数据工程体系结构,确保业务人员、技术开发人员等维护和使用数据工程的用户从整体上把握数据工程的情况,方便、准确的利用数据工程和有效的维护、管理数据工程。数据工程体系结构内容包括数据指标、数据模型等数据规范化和组织的内容,也包括数据存储及管理方面的内容,如数据库系统、数据的分布、不同数据之间的关系等。 (2)向下兼容原则运维 本工程新建应用系统的数据结构必然根据新的需要重新设计,但为了能够完整的接收原有系统的必要数据,在关键结构上要包容原有系统的数据结构,以此 保证对原有系统相关数据的完整接收,降低系统实施、迁移和过渡的难度。 (3)元数据管理原则运维 元数据管理实现对数据结构的统一控制,功能层在系统管理部分体现。元数据管理的数据结构独立于应用系统数据之外。主要存储各种后台数据库对象的定义信息、描述信息、管理信息、监控信息、日志信息、版本信息等内容,为实现统一、全面的元数据管理提供数据基础。 (4)数据标准化原则运维 数据标准化是数据共享、数据利用和保障数据质量的前提或基础。数据标准化问题包括方方面面的工作,除了指标、数据元,数据库结构等数据本身的标准化外,还有交换数据的标准、元数据标准等内容。为了支持各类工作的开展,适应未来的业务变革,应建立全面的、多层次的数据标准体系。 (5)数据API共享原则运维 数据中心建成后,可提供公开信息数据的开放平台对外API输出接口,通过API的方式对数据的编目、展现、管理,提供从数据的采集、采编、整理、编目、发布和更新的全生命周期管理和服务,保证数据中心开放数据的可机读、原始性、及时性、开放性、真实性、完整性和安全性,对外提供数据的检索、展现与下载,并提供数据访问的API用于对接数据的业务应用,且各业务应用可以采用API调取或推送的方式获得数据。 1.1.2综合舆情分析 互联网大数据时代,人工已经无法满足舆情监控的需求,而通过一些传统的舆情监控工具,仍然会存在两个问题: 舆情信息搜集太慢。事件从在互联网上产生到被发现,可能需要半个小时甚至更多的时间。这对于舆情工作而言有时是致命的。舆情搜集不全,舆情监控内容的设置不专业,导致一些区域内的关键舆情事件没有被搜集到。 所以我们需要集合国内先进的舆情发现算法,随时可根据需求添加有效软件,确保网上传播任何有害信息,系统可第一时间发现,并在消息传播和回流之前预警。 在网络舆情分析方面,系统综合运用大规模文本智能挖掘技术,实现财海量舆情信息的准确、高效分析和管理。 1.1.2.1基础舆情监测 (1)舆情概况 舆情概况展示整体的舆情监测概况,包括舆情统计表、舆情漏斗、舆情发展趋势、预警日历、热词云图、舆情地域分布、自定义舆情栏目等功能。 舆情统计表:展示各个载体和时间的二维表数据透视結果。 舆情漏斗:展示从全量数据、相关数据,舆情数据、负面数据、正面数据以及预警数据的数据分析漏斗。 (2)分类與情 分类舆情是与用户自定义的分类数据进行分析展示和数据查询处理的工作平台,实现各分类舆情信息的实时更新,可以按照各种维度灵活的筛选和检索以及图表分析。 分类设置:技照分类和标签设置监测关键词。 分类筛选:可按照设置的分类和标签进行联动筛选。 與情操作:支持舆情自主研判、手动加入预警、数据排重以及数据排序等。 (3)舆情预警 舆情预警针对与用户相关的重点舆情数据进行预警。包括手动预警和自动预警。手动预警是在全景舆情中边浏览边选中预警,自动预警即预先设置关键词进行实时分析预警。 信息筛选:可接照教体、时间、预警方式进行筛选 预警信息:支持预警信息的导出和删除。 预警设置:包括规则设置和预警推送人员设置。 (4)事件监测 事件监测属于與情监测的专项任务,通过设置事件关键词和监测时间段进行监测,并对事件监测结果进行实时跟踪分析。 新建事件:通过事件标题、关键词、起止时间进行新事件建立,并及时进行全网分析数据。 事件文章:显示事件相关的全部文章井可进行灵活的筛选。 事件图表:针对事件相关的全量数据进行事件图表分析,包括事件传播趋势图、情感分布图、载体分布图、站点排行以及网民排行。 演化分析:针对事件在互联网上数据的时间传播轨迹分析出事件的演化轨迹。 (5)舆情报告 舆情报告是舆情监测结果的输出。可针对制定的與情分类进行报告制作,同时平台自动生成日报、周报、月报。 报告制作:可针对自定义的與情分类,选择数据时间段进行报告制作,并可以将报告发送到指定邮箱。 订阅报告:可针对平台自动生成的日报、周报、月报进行自主订阅发送至指定邮箱。 (6)智能图表 智能图标针对与用户相关的全量数据进行可视化图表分析.包括热度图表和分布图表。 热度图表:包括载体热度图和特征热度图,可进行折线图、区域图、热点图的形式展示。 分布图表:包括载体分布图和特征分布图,可进行柱状图和柱状圈的形式展示。 (7)云搜索 云搜索实现了與情监测平台的数据流转生态,实现了搜索引擎快速搜索和数据中心搜索功能。 搜索引擎搜索:实现舆情平台内置的各类通用搜索引擎的数据检索,支持搜索结果一键入库。 数据中心搜索:实现舆情数据中心全量向用户开放,用户可以使用关键词进行数据检索。 (8)网站巡查 网站巡查实现自定义网站直接对接数据。通过添加数据站点,后台自动调取数据,不采用过滤模型分析该站点的全量数据并显示。 (9)微信群信息抓取 通过微信机器人植入,抓取微信群里的记录,自动过滤與情数据。反向追查微信朋友圈消息,分析舆情重点人员或重点区域。 (10)信息过滤设置 信息过滤支持全量数据的关键词过滤,设置过滤关键词并做排除分析,基于用户不在展示带有关键间的信息。 信息过滤支持全量数据的URL过滤,设置要过滤的站点URL,在全量站点库中进行匹配分析,排除设置URL的信息。 信息过滤支持全量数据的作者信息过滤,设置要过滤的作者信息,在全量数据中索引分析作者字段,进行数据排除。 1.1.2.2专项舆情监测 (1)多语言监测 多语言监测针对藏语、维语、蒙语等少数民族與情进行监测,设置站点和相关监测进行采集展示。 (2)微博大V监测 对微博知名账号的信息进行监测,当出现监测关键字时及时进行预警。 1.1.2.3舆情词库管理 系统内置30个行业和超过4000个情感词,以用户关键词为枢纽调动数据采集管理平台和文本分析平台,保障舆情数据分析效果准确。对接社会企业各大数据公司数据库资源.充分利用现有的数据库资源来扩充和补充舆情数据库。 (1)基础词库管理舆情词、负面词、正面词、排除词,按照行业分类管理。 (2)用户词库管理舆情监测平台各个项目加入的相关词,包括单一关键词和组合关键词,并保持词库同步。 (3)事件词管理,舆情监测平台各个项目的事件相关词,以及平台内置的事件词管理。 1.1.2.4文本分析算法 1)遗忘算法 遗忘算法,是以牛顿冷却公式模拟遗忘为基础、用于自然语言处理(NLP)的一类方法的统称。能够从未知的事物中发现关联、提炼规律才是真正智能的标志,而遗忘正是使智能生物具备这一能力的工具,也是适应变化的利器。 遗忘算法的关键点包括: 大规模语料词库生成 跨语种,算法语种无关,比如:中日韩、少数民族等语种均可支持 未登录词发现(只要符合按相对稳定周期性重现的词汇都会被收录) 领域自适应,切换不同领域的训练文本时,词条、词频自行调整 词典成熟度:可以知道当前语料训练出的词典的成熟程度 分词(基于,上述词库技术) 成长性分词:用的越多,切的越准 词典自维护:切词的同时动态维护词库的词条、词频、登录新词 领域自适应,跨语种(继承自词库特性) 词权值计算 关键词提取、自动标签 文章摘要 长、短文本相似度计算主题词集 (2)NLP算法 人们对真实世界的感知被称为感知世界,而人们用语言表达出自己的感知视为文本数据。那么反过来,NLP,或者更精确地表达为文本挖据,则是从文本数据出发,来尽可能复原人们的感知世界,从而服务于真真实世界的过程。这里面就包括图中所示的模型和算法,包括: 文本层:NLP文本表示。 文本感知世界:词汇相关性分析、主题模型、意见情感分析等。 文本真实世界:基于文本的预测等。 1.1.2.5全文数据检索 全文检索是舆情监测分析平台在数据处理方面的辅助技术,以ES技术为基础框架,优化后来成于舆情大数据的全文索引平台。 索引框架 数据分片,达到分布式存储 数据副本,达到数据的读写访问效率 数据日志,达到数据的完整性 索引功能 包括读取文档、索引文档、更新文档、删除文档、分页文档、排序文档、过滤文档、切面文档、索引是否存在、索引段信息监测。 索引管理 包括集群和索引的健康度检查、集群状态、设置更新、重新路由、单节点信息、节点统计、节点关闭、查询节点分片。 1.2 技术实施小结 本文围绕平台的总体架构布局,以舆情监测分析系统为核心展开说明。技术上以舆情数据中心为数据底座,通过数据采集、整合、存储、运维管理形成统一的基础数据工程;以综合舆情分析为应用出口,依托基础与专项监测、舆情词库、文本挖掘算法与全文检索能力,形成从全网数据发现、识别、研判到预警、报告与检索的业务闭环。数据层采用分布式存储、列式存储与高可用机制保障海量数据的可靠沉淀,应用层采用配置化监测规则、可扩展算法组件与索引服务保障分析效率与检索响应;两者通过统一数据元与数据交换标准衔接,共同支撑平台的日常监测与指挥处置需要。 2. 技术实现与运行保障 性能与容量:采集端采用分布式多任务、多线程调度,存储端依托分布式文件系统与列式存储,检索端采用分片与副本索引;系统支持按数据规模增长横向扩展节点,采集、入库、索引与检索各环节设置可监控的处理时延与吞吐基线,具体指标以招标文件及测试方案约定为准。 可靠性与高可用:通过冗余副本、机架感知、心跳检测、故障转移、元数据多副本保护、校验和、回收站与快照等机制,避免单点故障与数据丢失;关键服务与数据节点具备异常自动发现和恢复能力,保证业务连续运行。 安全与合规:按网络安全等级保护要求落实身份鉴别、访问控制、最小权限与操作审计;对数据实行分类分级管理,敏感数据与个人信息在采集、传输、存储、使用、共享各环节的处理符合相关法律法规要求;关键链路采用加密传输,日志与审计记录按管理要求留存。 可维护与可扩展:采集配置、监测分类、关键词与词库、预警规则均以配置方式维护;算法组件与业务功能解耦,便于按需引入新的分析能力;对外提供标准化接口,降低与既有系统及后续新建系统的集成成本。 3. 接口与数据交换约定 平台与上下级平台、招标人既有业务系统之间的数据交换,统一采用约定的接口协议与数据元、数据交换标准,明确字段口径、编码规则、交换频率与校验方式。 接口调用实行身份鉴别与权限校验并记录调用日志;对传输失败、数据校验不通过等异常情形,提供重传、对账与差错处理机制,保证数据完整一致。 涉及接口新增、字段变更或交换频率调整的,须经双方书面确认后实施,并同步更新接口文档与测试用例,避免对既有业务造成影响。 对外数据输出遵循授权范围与用途限定,未经招标人确认不得向第三方提供数据或开放接口。 4. 运行维护与应急响应 日常运维:建立 7×24 小时运行监测与定期巡检机制,覆盖采集任务、存储集群、索引服务、预警推送与报告生成等关键环节;制定数据备份与恢复策略并定期验证其可用性。 告警与处置:按影响范围与紧急程度对告警分级,明确受理、研判、处置与反馈的责任和时限,响应时限按项目服务级别协议约定执行;重大事件保留完整处置记录并纳入复盘改进。 应急预案:针对数据源中断、节点故障、索引异常、预警漏报与误报等场景编制应急预案并定期组织演练;版本升级前完成兼容性评估与回退准备,确保升级期间业务连续性。 知识转移:提供部署、配置、运维与常见故障处理文档,并按合同约定开展操作培训,使招标人具备日常管理与基础排障能力。 附录 术语与缩略语 缩略语 中文说明 HDFS Hadoop Distributed File System,分布式文件系统,用于海量数据的可靠存储 ES Elasticsearch,本文所指全文索引与检索技术框架 NLP Natural Language Processing,自然语言处理 API Application Programming Interface,应用程序编程接口 CRUD Create、Read、Update、Delete,数据的创建、读取、更新与删除操作 Name Node/ Data Node 分布式文件系统的管理节点与数据节点 后面如果项目走到深化设计,我会再整理一篇。这个版本先放在这里,方便后面回头比对。这个办法不能保证把所有问题都写清楚,但至少能留一份没被润色过的底稿。大概就是这些。有发现哪里不对的,我核对后会更新一版,并注明改了什么。


