自然语言处理(二) LeeRinji

语言学基础(英文为主)

词性与语法

语言学家将词按照相似的语法结构行为和典型的语义类型聚成不同的类,称为词性(parts of speech,POS,句法类或语法类)。

词性分类

词法(构词过程)

变形

对词根形式进行系统的修改,通过加前缀或后缀来指明语法结构的不同,如单数和复数。并不显著改变词语的类别和语义,但修改一些特征,如时态、数目等。

派生

缺乏系统化,通常导致语法类别的根本变化,且涉及含义的变化。

如 wide->widely,difficult->difficultly

复合

两个或多个词合成一个新词,如:college degree,overtake,mad cow disease

英语主要词性

短语结构

名词短语

名词短语(NP)是句子中名词信息聚集起来的语法结构单位。名词是名词短语的中心词,是决定这个短语语法性质的核心成分。

介词短语

介词短语(PP)是以介词开始并且包含一个名词短语补语。它们可以出现在其他所有主要短语类型中,特别是在名词短语和动词短语中用来表示空间、时间、位置以及其它属性。

动词短语

动词短语(VP)以动词为中心词,通常在句法结构上依靠动词来组织起句子的所有元素。

形容词短语

形容词短语(AP),复杂形容词短语较少见。

短句结构表示

树
带标记的括号

括号集合划分出了各成分并且通过加标记表示了非终结符的类别。

远距离依存关系

句法分析和短句结构歧义

附着(Attachment)歧义

语义和语用

语义

语义研究词语的含义、结构和说话的方式

词义
词语搭配
作用范围

待补

语用

篇章(discourse)分析

阐明文本中句子之间隐含的关系,是语用论研究的重要部分

语用论

研究世界知识和语言习惯是怎样与字面含义相互影响的

指代关系消解
对话中的语言行为建模:语言理解的步骤
  1. 文本预处理
  2. 句子切分
  3. 形态分析
  4. 分词
  5. 词性标注
  6. 句法分析
  7. 词义消歧
  8. 语义关系分析
  9. 指代消解
  10. 逻辑形式

其他研究领域

一些特殊领域

社会语言学

研究社会组织和语言间的相互作用

历史语言学

研究语言如何随时代变迁而变化

语言分类学

研究语言对语言学工具的不同使用,以及它们是怎样基于所用工具的方式被分为不同类的

语言获取

研究儿童如何学习语言

心理语言学

研究实时语言的产生和语言理解问题,以及语言展现在脑海里的方式

数理语言学

实现一些使用非定量数学思想的方法