基于标签样式和密度模型的网页正文自动抽取

【目的/意义】为给数字出版知识服务系统提供高质量的文本语料以供知识抽取,本文提出了基于标签样式和密度模型来抽取网页正文的方法。【方法/过程】该方法先根据标签样式将网页文本进行分块,再根据各块文本内容的文本密度、标点密度、非超链接密度计算出综合密度,最后通过阈值判断抽取出网页中信息含量高的正文。【结果/结论】该方法简单高效无需人工编写规则或训练,能完整地抽取出网页正文。通过随机选取新闻网页进行实验,结果表明该方法能有效地自动抽取网页正文,适用于不同设计风格的网站,而且准确率和召回率优于基于统计的CEPR抽取方法。

河南省科技开放合作计划(152106000049); 河南省科技攻关项目(162102210246);

正文抽取; 标签样式; 密度模型; 网页分块; 信息抽取;

TP391.1

10.13833/j.issn.1007-7634.2018.07.021

情报科学

Information Science

2018年07期

ISSN:1007-7634

中文核心期刊

68123-12971884K
在线咨询 用户反馈