我是靠谱客的博主 隐形航空,最近开发中收集的这篇文章主要介绍序列标注NER、POS、Chunking、SRL序列标注概念NERPOSChunkingSRL,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

序列标注

  • 序列标注概念
  • NER
    • NER标签类型
    • NER序列标注的三种方法
  • POS
    • POS标签类型
    • POS详解标注
  • Chunking
    • Chunking标签类型
  • SRL
    • SRL标签类型

序列标注概念

序列标注(Sequence Tagging)是NLP中最基础的任务,应用十分广泛。
如以下内容:
分词
命名实体识别(Named Entity Recognition,NER)
词性标注(Part-of-Speech Tagging,POS tagging)
组块分析(Chunking)
N词汇顺序标注(N-gram)
关键词抽取
语义角色标注(Semantic Role Labeling,SRL)
槽位抽取(Slot Filling)

NER

NER主要识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。通常为待处理文本中三大类(实体类、时间类和数字类)、七小类(人名、机构名、地名、时间、日期、货币和百分比)命名实体。

通常包括两部分:

  1. 实体边界识别。
  2. 确定实体类别(人名、地名、机构名或其他)。

NER标签类型

进行命名实体识别时,通常需要对每个字进行标注,中文为单个字,英文为单词,空格分割。标注的标签类型如下表所示:

类型说明
BBegin,代表实体片段的开始
IInternediate,代表实体片段的中间
MMiddle,代表实体片段的中间
EEnd,代表实体片段的结束
SSingle,代表实体片段为单个字
OOther,代表字符不为任何实体

NER序列标注的三种方法

实体识别三种常见的序列标注方法如下:

  1. BIO:标识实体的开始,中间部分和非实体部分。
    B-begin,I-inside,O-outside
    B-X:代表实体X的开头
    I-X:代表实体X的中间或结尾
    O:代表不属于任何类型的
 我 O
 是 O
 张 B-PER
 某 I-PER
 三 I-PER
 , O
 我 O
 在 O
 天 B-ORG
 安 I-ORG
 门 I-ORG
 。 O
  1. BMES:增加S单个实体情况的标注。
    B-begin,M-middle,E-end,S-single
    B表示一个词的词首位值。
    M表示一个词的中间位置。
    E表示一个词的末尾位置。
    S表示一个单独的字词。
 我 S
 是 S
 北 B
 京 M
 人 E
  1. BIOSE:增加E实体的结束标识。
    B-begin,I-inside,O-outside,E-end,S-single
    B表示开始
    I表示内部
    O表示非实体
    E表示实体尾部
    S表示改词本身就是一个实体

POS

POS主要用于标记出待处理文本中每个词的词性。

POS标签类型

主要标注的标签类型如下表所示:

类型说明包含词性
N名词NN, NNP, NNPS, FW
V动词VB, VBD, VBG, VBN, VBP, VBZ
ADJ形容词JJ, JJR, JJS
ADV副词RB, RBR, RBS

POS详解标注

类型说明
CCCoordinating conjunction 连词
CNCardinal Number 基数
DTDeterminer 限定词(the、some)
EXexistential 存在句(there)
FW外来词
INPreposision or subordinating conjunction 介词或从属连词
JJAdjective 形容词或序数词
JJRAdjective, comparative 形容词比较级
JJSAdjective, superlative 形容词最高级
LSList item marker 列表标示
MDModal 情态助动词
NNNoun, singular or mass 常用名词 单数形式
NNSNoun, plural 常用名词 复数形式
NNPProper noun, singular 专有名词,单数形式
NNPSProper noun, plural 专有名词,复数形式
PDTPredeterminer 前位限定词
POSPossessive ending 所有格结束词
PRPPersonal pronoun 人称代词
PRP$Possessive pronoun 所有格代名词
RBAdverb 副词
RBRAdverb, comparative 副词比较级
RBSAdverb, superlative 副词最高级
RPParticle 小品词
SYMSymbol 符号
TOto 作为介词或不定式格式
UHInterjection 感叹词
VBVerb, base form 动词基本形式
VBDVerb, past tense 动词过去式
VBGVerb, gerund or present participle 动名词和现在分词(ing)
VBNVerb, past participle 过去分词
VBPVerb, non-3rd person singular present 动词非第三人称单数
VBZVerb, 3rd person singular present 动词第三人称单数
WDTWh-determiner 限定词(如关系限定词:whose,which.疑问限定词:what,which,whose)
WPWh-pronoun 代词(who whose which)
WP$Possessive wh-pronoun 所有格代词
WRBWh-adverb 疑问代词(how where when)

Chunking

组块分析是从非结构化文本中提取短语的过程。相对于POS-Tagging来说,POS-Tagging返回了解析树的最底层,就是一个个单词。但是有时候你需要的是几个单词构成的名词短语,而非个个单词,在这种情况下,您可以使用chunker获取需要的信息,而不是浪费时间为句子生成完整的解析树。举个例子(中文):与其要单个字,不如要一个词,例如,将“南非”之类的短语作为一个单独的词,而不是分别拆成“南”和“非”去理解。

组块分析是可以接着词性标注工作继续完成,它使用词性标注作为输入,并提供分析好的组块做为输出。与词性标注的标签类似,它也有一组标准的组块标签,如名词短语(np)、动词短语(vp)等,当你想从诸如位置,人名等文本中提取信息时,分块是非常重要的。在NLP中,称为命名实体识别,举个例子“李雷的杯子”是分块分出的一个短语,而抽取“李雷”这个人名,就是命名体识别。所以,组块分析也是命名体识别的基础。

Chunking标签类型

NP(名词短语):NP是NLP组块分析中最为复杂的一种结构。名词短语是指中心词为名词所构成的短语,其语法功能相当于名词性成分,一般可以在句子中充当主语、宾语、定语等。从语法的角度来讲,该结构具有两种含义,一种是值按句法成分构成的短语;另一种是指知识库中的实体和属性,这种组块称为baseNP。

VP(动词短语):是以动词为中心,与其修饰、限定或并列成分共同构成的一种语义组块,除中心动词表达的行为之外,其修饰和限定成分更明确和具体化动作的语义。

QP(数词短语):由数量词构成的短语结构。

DP(限定词短语):一般用于修饰NP或限定QP,可以作为复合NP子结构。

ADJP(形容词短语):其所修饰的名词中心语总是要先投射成一个NP。

DNP:由多种类型的短语加上(DEG的)构成。它们总是出现在NP的上下文中。(DEG的)出表示它前面的短语为NP的修饰语之外,没有其他作用。DNP常被看作一种复合的NP结构。

ADVP(副词短语):常用作动词的修饰语。

PP(介词短语)

LCP:处所词为中心语的短语

SRL

语义角色标注是一种浅层语义分析技术,以句子为单位,分析句子的谓词-论元结构,不对句子所包含的语义信息进行深入分析。具体来说,语义角色标注的任务就是以句子的谓词为中心,研究句子中各成分与谓词之间的关系,并且用语义角色来描述他们之间的关系。
例:奥巴马昨晚在白宫发表了演说。
谓词 “发表”
施事 “奥巴马”
受事 “演说”
时间 “昨晚”
地点 “在白宫”

SRL标签类型

在这里插入图片描述

最后

以上就是隐形航空为你收集整理的序列标注NER、POS、Chunking、SRL序列标注概念NERPOSChunkingSRL的全部内容,希望文章能够帮你解决序列标注NER、POS、Chunking、SRL序列标注概念NERPOSChunkingSRL所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(212)

评论列表共有 0 条评论

立即
投稿
返回
顶部