利（lì）用NPL可与人工（gōng）智（zhì）能工具进（jìn）行交（jiāo）流

现如（rú）今，在更（gèng）多情况下（xià），我们是（shì）以比特和字节为生，而不（bú）是（shì）依靠交换情感。我们使（shǐ）用（yòng）一种（zhǒng）称之为计算机的（de）超级智能机器在互联（lián）网上（shàng）进行交（jiāo）易和沟通。因此，我们觉（jiào）得有必要让机器明白我（wǒ）们（men）在说话时（shí）是如何对其进行理（lǐ）解的，并且试图用（yòng）人工智能，一（yī）种（zhǒng）称之为NLP——自然语言处理技（jì）术（shù）为（wéi）它（tā）们提供语言。作（zuò）为（wéi）一种研究结果，聊天机器（qì）人正（zhèng）在（zài）成为一种可（kě）靠的聊（liáo）天（tiān）工（gōng）具，使用这种非（fēi）人为依赖的智能工具与人类进行交流。

我强烈的感受到：

直到我们的机器学（xué）会了（le）解行为和情绪（xù），数据（jù）科学家和工程师的工作才完成了一半。与深（shēn）度学习（ML学科领域）融合的NLP将对（duì）这种计算机语言的使用起（qǐ）到关键（jiàn）作用。

利用自然（rán）语言处理NPL可以（yǐ）使人工智能（néng）工具（jù）与人类（lèi）进行交流（liú）

什么是NLP

这是一种人工智能（néng）方法，给定机器一（yī）些人类语言从（cóng）而使（shǐ）得它们（men）能够与人类进行沟通（tōng）交流。它涉及使用（yòng）NLP技术对书面语言进行智能分析，以获取（qǔ）对一组文（wén）本（běn）数据的见解，如：

1.情绪分析

2.信（xìn）息提取和检（jiǎn）索

3.智能搜索等

它是人工智（zhì）能和计算（suàn）语（yǔ）言学的（de）交汇点，能够处理机器和（hé）人类（lèi）自然（rán）语言之间的（de）交（jiāo）互，即计（jì）算机需要对其进行分析、理解（jiě）、改变或生成自然语言。NLP帮（bāng）助计算机机器以各种形式使用自（zì）然（rán）人类语言进（jìn）行交流，包括但（dàn）不限于语音、印刷、写作（zuò）和签（qiān）名（míng）。

NLP机器学习（xí）和深度（dù）学习（xí）：它（tā）们（men）是如何连接（jiē）的

利用自然语言（yán）处理（lǐ）NPL可以使人工（gōng）智能（néng）工具与人类进行交流

NLP与机器（qì）学习和深度（dù）学习密切相关，所有这些都是人工（gōng）智能领域的分支，如下图所示（shì）：它是一个致力（lì）于使机器智能化（huà）的计算机科（kē）学领域。深（shēn）度学习是一种流行（háng）的机器学习技术之一，如回归，K-means等（děng）。

机器学习的类（lèi）型很多，像无（wú）监督机器学（xué）习这样的经常用于NLP技术中（zhōng），如LDA（潜在狄利（lì）克雷分布，一种（zhǒng）主（zhǔ）题（tí）模型算法）。

为了能够执行任何一（yī）个（gè）NLP，我（wǒ）们需（xū）要深入（rù）理解人类使如何处理（lǐ）语言的情感和分析方面。还有各种各样（yàng）像社交（jiāo）媒体这样的语（yǔ）言数据源，人们直接或间（jiān）接（jiē）地（dì）分享（xiǎng）他（tā）们（men）感受到的内容（róng），而这必须通过使用NLP的（de）机器进（jìn）行智能分析。NLP机器需要建立一（yī）个人类推理系统，借助ML技（jì）术，它们（men）可以自（zì）动执行（háng）NLP过程并对其（qí）进行扩展。

简而言之（zhī），“深度学习与（yǔ）自然（rán）语（yǔ）言（yán）处理”是相互联系、相互（hù）依存的，以构建一（yī）个能够像人类一样思考、说话和行动的智能计算机。

Meltwater Group的NLP专（zhuān）家John Rehling在《自然语言处理是如（rú）何（hé）帮助揭（jiē）示社交（jiāo）媒体情（qíng）绪》一文中说，

“通过分（fèn）析语言的含义，NLP系统扮演（yǎn）着非常重要的（de）角色，如纠正（zhèng）语法，将语音转换（huàn）为文本，以及在（zài）多（duō）语（yǔ）言之间自（zì）动翻译（yì）。”

NLP如何工（gōng）作

理解NLP的（de）工作原（yuán）理是非（fēi）常重（chóng）要的，因为这样的话，我们就可以将NLP作为一个整体（tǐ）来理解。NLP一般有（yǒu）两个主要组成部分：

1.NLU：自然语言理解

2.NLG：自然语（yǔ）言生成（chéng）

让我们深入理解NLU

自然语言（yán）理解：它涉及的是一种方法论，试图了解如何对馈送给计算机的自然语言赋予一定的相关（guān）意义。

在开始时，计算机获（huò）得自然语言的（de）输入（自（zì）然语（yǔ）言可以是任何语言（yán），它（tā）们通过使用和重复在人类中自然进（jìn）化，而不是（shì）有意识的计划或预谋（móu），自然语言可（kě）以采（cǎi）用（yòng）不同（tóng）的形式，例如语音或签名）。

计算机之后将（jiāng）它（tā）们转换成人工语（yǔ）言，如语（yǔ）音（yīn）识别和/或语音转（zhuǎn）换文本。在这（zhè）里我们把数（shù）据转（zhuǎn）换成（chéng）一（yī）个文本形式， NLU过程来理（lǐ）解其中的含义。

HMM：隐马（mǎ）尔（ěr）可夫模型（NLU示例）

利用自然语言处理NPL可以使人工智能（néng）工具与人类（lèi）进（jìn）行交（jiāo）流

它（tā）是一种统计语音识别模型，它可以在（zài）预先构（gòu）建的数学技（jì）术的（de）帮助下，将你（nǐ）的语音（yīn）转换（huàn）成文本（běn），并（bìng）试图推断出你所说的语言。

它试（shì）图（tú）理解你所说的，通过（guò）将语音数据分解成一小段特定的时间（jiān）段（duàn），大（dà）多数情况下时间是20-20 ms。这些数据（jù）集将进（jìn）一步与预馈语音进行比较，从而进一步（bù）解读（dú）你（nǐ）在每个语音单位中所说的内容。这里（lǐ）的目的是找（zhǎo）到（dào）音素（一个最小的语音单位）。然后，机器对一系列这样的音素进行观察，并统计了最（zuì）可能（néng）说出的（de）单词和句子。

不仅如此，NLU会深刻（kè）理解每个单词，试图（tú）理（lǐ）解它是（shì）一个名（míng）词还是动词，什么是时（shí）态（过（guò）去或（huò）未来）等（děng）。这个（gè）过（guò）程（chéng）被定义为POS：词（cí）性标（biāo）注部分（Part Of Speech Tagging）。NLP具有内置的词典和（hé）一套（tào）与语法预编码相关的协议，这些协议被预（yù）编码到它（tā）们的系统中（zhōng），并在处理（lǐ）自（zì）然语言数据（jù）集时使（shǐ）用它，从而在NLP系（xì）统处理人类语音时，编译所说的内（nèi）容。

NLP系（xì）统也有一个词典（词汇表）和一套（tào）编（biān）码到系统中的语法规则。现代NLP算法使用统计（jì）机器，学习将这（zhè）些（xiē）规则应用于（yú）自（zì）然语言，并推（tuī）断所说话（huà）语背（bèi）后（hòu）最可（kě）能的含义。在考（kǎo）虑诸如具有多个含义的词语（多义（yì）词）或具有相似含义（yì）的词（cí）语（同义词（cí））时，存（cún）在一些挑战，但软（ruǎn）件开发者在（zài）他们的NLU系统中（zhōng）建立了自己的（de）规则（zé），可以通过适当的训练和学习（xí）来处（chù）理这类问题（tí）。

自然语言生成：

与第（dì）一阶段（NLU做（zuò）了大量的努力以理解人类的话（huà）语（yǔ））相（xiàng）比，NLG可以很（hěn）容易的进行翻译（yì）工作（zuò），即（jí）将计算机的（de）人工（gōng）语言翻译为（wéi）有意义（yì）的（de）文本（běn），并可以通过文字转（zhuǎn）语音（tex-to-speech）技术将其转化为（wéi）可听语音。文本转语音（（tex-to-speech））技术通过韵律模型（prosody model）来（lái）分析（xī）文本，从而（ér）确定语言的断句、长（zhǎng）短（duǎn）和（hé）音调（diào）。然后，利用（yòng）语音数据库，将记录的所（suǒ）有音素汇集在一起，形成一个连贯的语音串（chuàn）。

简而（ér）言之，NLP采用NLU和NLG来处理人类（lèi）自然语言（yán），尤其是处理语音识别领域的人类自然（rán）语言，并试（shì）图将传递字符串或可听语言作为输出，来（lái）理解、编译并（bìng）推断所说的内（nèi）容。

NLP在现（xiàn）代语境中（zhōng）的应用：

在这（zhè）个处于数字革命的电脑时代中，大部分任务需（xū）要由（yóu）人类（lèi）利用链接（jiē）物联网（wǎng）的（de）机器（qì）来完成。NLP在为媒体、出版、广告、医疗、银（yín）行和保（bǎo）险等行业领域建立强大（dà）的软（ruǎn）件工具方面，发挥了重要作（zuò）用，从而帮助他们高效（xiào）快捷地运作。

NLP的一些现（xiàn）代（dài）用法（fǎ）：

1.聊天机器人

这是一个被称为机器人（rén）的成熟软件，它可以处理（lǐ）任何场景的人物对（duì）话。api.ai、微软语音理解智能服务（LUIS）等（děng）一些热门的NLP和机（jī）器（qì）学习平台，可用于研发你的（de）商业聊天机器（qì）人。

2.垃圾邮（yóu）件过滤

你（nǐ）们中的大多（duō）数人（rén）一定对垃圾邮件并不陌（mò）生。Google使用基于NLP的技术（shù）来保障你的收件（jiàn）箱（xiāng）清洁、无（wú）垃圾（jī）邮件（jiàn）。贝叶斯垃圾邮件（jiàn）过滤（Bayesian spam filtering）是（shì）一种备受瞩目的（de）技术，它（tā）是（shì）一种统计技（jì）术（shù），基于此（cǐ），电（diàn）子邮件（jiàn）中词语的（de）审核通过率根据其在垃（lā）圾和非垃圾邮件语料（liào）库中的典（diǎn）型事例来（lái）确定（dìng）。

3.机（jī）器翻译（yì）

NLP被（bèi）越来（lái）越多的应用于机（jī）器（qì）翻译（yì）程序当中，这（zhè）使（shǐ）得（dé）一种语言被自动翻译成另（lìng）一（yī）种语言，谷歌（gē）是（shì）一个将你的文本翻译为所需语言（yán）的先驱者。

机（jī）器（qì）翻译技术所面临的挑战不在于（yú）翻译单词，而在于（yú）保留句子的含义，这是一个复杂的技术问题，也是NLP的核心。

4.命名实体提（tí）取（qǔ）（Named entity extraction）

它用于从（cóng）给（gěi）定的项目（mù）集（jí）合中分离出具有相似性质和属性的项目。例如名字（zì）、姓氏、年龄、地理位置、地址、电话号码、电子邮件地址和公司名称（chēng）等等。命名实（shí）体提（tí）取（亦称命名实体识别）使挖掘数据变得（dé）更加容易。

5.自（zì）动汇（huì）总

自（zì）然语言处理（lǐ）可用于从大段文本中提取可读（dú）摘要。例如，我（wǒ）们可以自动总（zǒng）结出一份长（zhǎng）篇学术（shù）文章的简（jiǎn）短摘要（yào）。

接下（xià）来我们将深入（rù）介绍（shào）一些（xiē）NLP的技（jì）术细节。

当（dāng）自然界与人工（gōng）相逢的时候，机（jī）器就像是一个真（zhēn）正具有生（shēng）命力的人类一样进入了（le）生活（huó）中。

NLP技（jì）术术语

NLP术语

•语音（yīn）体系（xì）——关于系统性地组织语音的研究。

•形态学——这是（shì）一个从基本意义单位中进（jìn）行单词构建（jiàn）的研究。

•语（yǔ）素——语言中意义的基本单位（wèi）。

•语（yǔ）法——它是指单（dān）词（cí）经过组合排列构成（chéng）句（jù）子，它（tā）还（hái）涉（shè）及在（zài）句子和短语中确定单词结构的作用。

•语义——它涉及的是单词的含义，以及该如何将单词组合成有意义的短语和句子。

•语用学——它涉（shè）及的（de）是在不同（tóng）情（qíng）况下使用和理解句子以及对句子（zǐ）的解（jiě）释是（shì）如何受（shòu）到影响的。

•话语——它指的是（shì）前面的句子如何影响对于下一句的（de）解释的。

•常识（shí）性知识——它涉及（jí）的是对于（yú）世界的一般性认识。

自然语言处理库（对于（yú）开发者（zhě）而言）

NLP库：

有许多通用的第三（sān）方（fāng）开（kāi）源库（kù），开发人员（yuán）可（kě）以（yǐ）使用它们来构建基（jī）于（yú）NLP的Projects Viz .。

•自然语言工具包（NLTK）

•Apache OpenNLP

•斯坦福大学NLP套件

•Gate NLP库

自然语（yǔ）言工具包（NLTK）是最通用的自然语言处理（NLP）库。它是用Python编写的，背后有（yǒu）一个很大的社区。

NLP实施所涉及的步骤：

它涵盖了5个主要（yào）步骤：

•词法分析——它（tā）对给定单（dān）词的（de）结（jié）构进行识别和分析，其中（zhōng）整个文本数据块（kuài）在词（cí）法分析（xī）中被分解成段落、句子（zǐ）和词汇。

•解（jiě）析（句法（fǎ）分析（xī））——它涉及以一种显示单（dān）词之间的（de）关系的方式对分析句子中（zhōng）的（de）单（dān）词进行语法和单（dān）词（cí）排列分（fèn）析，在这个阶段，任何不（bú）符（fú）合语法（fǎ）正确的句（jù）子都被（bèi）拒（jù）绝，例如（rú），“building lives in sita”将不（bú）会被（bèi）语法分析器所（suǒ）接（jiē）受（shòu）

•语义分析（xī）——对给定的文本进行分（fèn）析以（yǐ）从中提取意义。它通过（guò）对任务域中的语法（fǎ）结构和目标进行分析来完成。语义分（fèn）析（xī）器拒绝不相关（guān）的句子，如（rú）“hot banana”。

•话语（yǔ）整（zhěng）合——正如我们所知，每个句子都与前一句话相互联系，基于（yú）倒数第二句的意义而言，任何句子都（dōu）变（biàn）得有意义。同样，它也使（shǐ）得（dé）后一句话变得有意义（yì）。

•语用分析（xī）——在此期间，常识性知识被重新定义了，解释（shì）了它（tā）们的（de）真实意义到（dào）底是什么（me），它涉（shè）及到那些需（xū）要（yào）常识性（xìng）知识的语（yǔ）言方面。

用图片来解读NLP（点击图片放大）：

NLP应用程序：

1.光学字符识别（bié）

2.语音识别

3.机器翻译

4.自然语（yǔ）言生成

5.情绪分析

6.语义搜索

7.自然（rán）语言编程

8.情感计算

9.开发（fā）聊天机器人