QQ在线
企业微（wēi）信
资讯
441人工智能作为新一轮科技革命和产业变革（gé）的（de）重要（yào）驱动力量，正（zhèng）在深刻改变世（shì）界。而自然（rán）语言处理(Natural Language Processing，简（jiǎn）称NLP)既是人工智能的核心技术，又是计算机科学和语言科学的分支学科（kē）;它推动着语言智能的持续发（fā）展和突破（pò），并越（yuè）来越多地应用于（yú）各个行业。正（zhèng）如国际知名（míng）学者周海中先生曾经所言：“自然语言处理是极有吸（xī）引力的研究领域，它具有重大的理论意义和（hé）实用（yòng）价值。”
自（zì）然（rán）语言处理的主要内容
自（zì）然语言处（chù）理的主要内容包括但不（bú）限于（yú）如下分（fèn）支领域：文（wén）本（běn）分类、文本生成（chéng）、文本（běn）分析、信息（xī）抽（chōu）取、自动摘要、智能问答、话题推荐、机器翻译（yì）、主题（tí）词识别、知识库构（gòu）建、深度（dù）文本表示、深（shēn）度（dù）学习算法、命名实体识（shí）别、语音识别与合成等。自然（rán）语（yǔ）言处理主要研（yán）究（jiū）能（néng）实现人（rén）与计算机之间用自然语言（yán）进行有效通信的各种（zhǒng）理论和方法。而用自然语言与计（jì）算机进行通信，有（yǒu）着（zhe）十分重要的实际应（yīng）用意义，也有着革命性的（de）理论意义。
实现人机（jī）间自然语言通信意味（wèi）着要使计算机既能理解自然语（yǔ）言文（wén）本的意义，也（yě）能以自（zì）然语言文本来（lái）表达（dá）给定的意图、思想（xiǎng）等;前者称为自然语言理解，后者称为（wéi）自然语（yǔ）言（yán）生成。因此，自然语言处理（lǐ）大体包括（kuò）了自然语言理解和自（zì）然（rán）语（yǔ）言生成两个部分。因为处理（lǐ）自然语言（yán）的关键（jiàn）是（shì）要让计算机“理解”自然语言,所以通常把自然语（yǔ）言理解视（shì）为自然语言处理, 也（yě）称为计算（suàn）语（yǔ）言学。它的终（zhōng）极（jí）目标是用自然语言与（yǔ）计（jì）算机进行（háng）通信，使（shǐ）人（rén）们可以用自己最习惯（guàn）的语言（yán）来使（shǐ）用计（jì）算机，而无需再花（huā）大（dà）量的（de）时间和精（jīng）力（lì）去学（xué）习不很自然和习惯的各种（zhǒng）计（jì）算机语言。
自（zì）然（rán）语言处（chù）理（lǐ）是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域（yù）的研究将涉及自然语言，即人们日（rì）常使用（yòng）的（de）语言（yán），所以它（tā）与语言学的研究有着（zhe）密切的（de）联系，但（dàn）又（yòu）有重要（yào）的区别。自然语言处理并（bìng）不（bú）是一般地研究自然语言，而在于研制能（néng）有效地实现自然（rán）语言（yán）通信的计算机系（xì）统，特别是其中的（de）软（ruǎn）件（jiàn）系统。因而（ér）它是计（jì）算机科学的一（yī）部（bù）分。可（kě）以说（shuō），自然语言处理是计（jì）算（suàn）机科学、语言（yán）科学，尤其是人工智能关注计算（suàn）机与人类语言之间的相互作（zuò）用的领域。
自然语言处理的（de）基本任务包括正则表（biǎo）达（dá）式、分词、词法分析、语音识别、文本分类、信息（xī）检（jiǎn）索、问答系统——如对一些问题进行回答或（huò）与用户进行（háng）交互——机（jī）器（qì）翻（fān）译（yì）等;常用的（de）模（mó）型则有马科夫模型、朴素贝叶斯、循环神经网络等。自然（rán）语言处理要使用（yòng）语言知（zhī）识（shí），如UNIX的wc程序可以用来计（jì）算文（wén）本文件中（zhōng）的字节（jiē）数（shù）、词（cí）数或行数;当用它来（lái）计算字节数（shù）和（hé）行数（shù）时，wc只用于进行一般的数据（jù）处理（lǐ），但当用它来计算一个文件中（zhōng）词的数目时，就需要关于（yú）“什么是一（yī）个（gè）词”的语言知（zhī）识（shí），这样，这个（gè）wc也就成为（wéi）了一个自然（rán）语言处理系统。
自然语言处理是人（rén）工智能中最（zuì）为困（kùn）难的（de）问题之一。美国微软公司创始人比（bǐ）尔·盖茨先生（shēng）曾经（jīng）表示，“语言理解是（shì）人工智（zhì）能领域皇冠上（shàng）的明珠”。前微软公司全球执行副总裁（cái）沈（shěn）向洋先生也在公开演讲时说：“懂（dǒng）语言者得天下……下一个十年，人工智（zhì）能的突破（pò）在（zài）自然语言（yán）的理解……人工智能对（duì）人类影（yǐng）响最为深刻的就（jiù）是自然（rán）语（yǔ）言方面”。由于理解自然语（yǔ）言需（xū）要关于（yú）外在世界的广泛知（zhī）识（shí）以及（jí）运用操作这些知识的能力，所以自然语言处理也（yě）被视为解决（jué）人工（gōng）智（zhì）能完备(AI-complete)的核心问（wèn）题（tí）之一。可以说，自然语言处理目（mù）前是人工智能领（lǐng）域中的关键技术，对它的研究也（yě）是充满魅力和（hé）挑战的。
自然语言处理（lǐ）的发展简史
最早的自然语言处理（lǐ）研（yán）究工作（zuò）是（shì）机器翻（fān）译;美国知（zhī）名科学家（jiā）沃伦•韦弗先生在1949年（nián）首先提出了机器（qì）翻译（yì）设（shè）计方案。在（zài）60年代，许多科学家对机器翻（fān）译（yì）曾有大规（guī）模的研（yán）究工作，投入了大量的人力物力财力。但（dàn）是，受客观（guān）历史因素的（de）限制，当时人们低（dī）估了自然语言（yán）的复杂性，语言处理的理论和技术均不成热（rè），所以进展（zhǎn）并不（bú）大。其主要的（de）做法是存储两种语言的单词、短语对应译法的大辞典，翻译时一一对应（yīng），技（jì）术上只是调整语言的顺序。但日常生（shēng）活（huó）中语言的翻译远不是如此（cǐ）简单，很多时候还要参考某句话前（qián）后（hòu）的意思。
大约90年代开始，自（zì）然语言处理领域发生（shēng）了巨大的变化。这（zhè）种变化的两个明（míng）显的特征（zhēng）是：(1)对系统的输入（rù），要（yào）求研（yán）制的自然语言处理系统能处（chù）理（lǐ）大规模的真实（shí）文本，而不是如以前的研（yán）究性系统那样，只能处（chù）理很少的词条和（hé）典型句子（zǐ）。只（zhī）有这样（yàng），研制的系统才有真正（zhèng）的实用（yòng）价值。(2)对系统的（de）输出，鉴于真实地理解（jiě）自然语言是十分困难的，对系统并不要求能对自然语言文本进行深层的（de）理解，但要（yào）能从中抽取有用的（de）信息。同时，由于强调了“大（dà）规模”和“真实文本”，因此两方面的基础性工作也得到了重（chóng）视和加强：(1)大规模真实语料库的研制（zhì）。大规（guī）模的经过不同深度加（jiā）工的真实（shí）文本的语料库，是（shì）研究自然语言统计（jì）性质的基础;没有（yǒu）它们，统计方法只能是无（wú）源（yuán）之水。(2)大规模、信息丰富的词典的编制（zhì）工作。因此规模为几（jǐ）万、十几万、甚至几（jǐ）十万词，含（hán）有（yǒu）丰富的信息(如包含词的（de）搭配信（xìn）息)的计算（suàn）机（jī）可用词典对自然语言处理的重要性（xìng）是很（hěn）明（míng）显的。
迈（mài）进21 世纪，互联网的出现（xiàn）让信息量（liàng）呈现（xiàn）爆炸式增长，得（dé）益于大数据、云（yún）计算、知识（shí）图谱、5G通信等（děng）各种新技术（shù），自（zì）然语（yǔ）言处理的（de）发展迎来加速，在（zài）日常生活中扮演着越来越重要的角色，走上（shàng）更加（jiā）丰富的应用舞台。如今，搜索引擎已经成为人们获取信息（xī）的重要工具，机（jī）器翻译越来越（yuè）普及，聊天机（jī）器人层出（chū）不穷（qióng），智能客服开始服务于人类，各类智能机器人（rén）不断（duàn）涌现;近年（nián）来，热度渐升的（de）亚马逊 Alexa，既会（huì）作诗又能唱歌的（de）微（wēi）软小冰，又将自然语（yǔ）言处理推向另一个全新（xīn）的高（gāo）度，让其被（bèi）越来越多的大众熟（shú）知。与之相对应，不管（guǎn）学术界还（hái）是企（qǐ）业界（jiè），对自（zì）然语言处（chù）理（lǐ）的谈论（lùn）越（yuè）来越多，更有甚者，自然语言处理被提升（shēng）到（dào）战略（luè）层面。
系统（tǒng）的输入与输出这两（liǎng）个特征在（zài）自然（rán）语言处（chù）理的诸多领域（yù）都有所体现,其（qí）发展直接促进了计算机自动检索技术的出现和兴起。实（shí）际（jì）上，随着计算（suàn）机技术的不（bú）断发展, 以海量计算为基础的机器学习、数（shù）据挖掘等技（jì）术的表现也愈发优异。自然语言处理之所以能够度过（guò）“寒冬”, 再（zài）次发（fā）展, 也是因（yīn）为计算机（jī）科学与（yǔ）统（tǒng）计科学的不断结合,才让人类甚至机（jī）器能够不（bú）断从大量（liàng）数（shù）据中发现“特征”并加以（yǐ）学习。不过要实现对自然语言真（zhēn）正（zhèng）意义（yì）上（shàng）的理解，仅仅从（cóng）原始文本中进行学习是不够的，我们需（xū）要新的方（fāng）法和模（mó）型。
目前存在的问（wèn）题（tí）主要有（yǒu）两个方面：一方（fāng）面，迄今（jīn）为止的语法都限于分析一个孤立的句子，上下文关系（xì）和谈话环境对本句的约束和影响还（hái）缺乏系统的（de）研究，因此分析歧义、词语省略、代词所（suǒ）指（zhǐ）、同一句（jù）话在不同场合或由不同的人说出来（lái）所（suǒ）具（jù）有（yǒu）的不同（tóng）含义等问题，尚无明确规（guī）律可循，需要加强（qiáng）语义学和语用学的研究才能逐步解决。另一方面，人理（lǐ）解一（yī）个句子不是（shì）单（dān）凭（píng）语法，还运用了大量的有关知识，包括（kuò）生活（huó）知识（shí）和专门知识，这些知识无（wú）法（fǎ）全部贮存在计算机里。因此一个书（shū）面理解系统只能建立在有（yǒu）限的词汇、句型和特定的主题范围内;计算机的贮存量和运转速度大大提高之后，才有可能适当（dāng）扩大范围。
由于（yú）语（yǔ）言工程（chéng）、认知科学等（děng）主要局限（xiàn）于实验室（shì）,目前来看数据处（chù）理可能是自然语言处理应用场（chǎng）景最（zuì）多（duō）的一个发展方（fāng）向。实际上,自从进入大数据时代，各大平（píng）台就没有（yǒu）停止过对用（yòng）户（hù）数据（jù）的深（shēn）度挖（wā）掘。要（yào）想提取出有用（yòng）的信息，仅（jǐn）提取（qǔ）关键词（cí）、统计词频等是远远不（bú）够的（de），必须（xū）对（duì）用户数据 (尤其是（shì）发言（yán）、评论（lùn）等（děng）)进行语义上（shàng）的理解。另外（wài），利用离线大数据统计分析的方法进行自然（rán）语（yǔ）言处理（lǐ）任务的研究是（shì）目前非常有潜（qián）力的一种研究范式，尤其是（shì）谷歌、推特、脸书（shū）、百度等大公（gōng）司在这类应用上的成功经验，引领了目前大数据研究（jiū）的浪潮。
自然语言处理（lǐ）的（de）应（yīng）用现状
自然语言处理是为各类（lèi）企业及（jí）开发者提供的用于文（wén）本分析及挖掘的核心工具，已经广泛应（yīng）用在电（diàn）商、金融（róng）、物流、文化娱乐等（děng）行业客（kè）户的多（duō）项业务中。它可（kě）帮助用户搭建内容搜索（suǒ）、内容推荐、舆情识别及分析、文（wén）本结构化、对（duì）话机器人等智能产品，也能够通过合（hé）作，定制个性化的解决方（fāng）案。由于理解自然语（yǔ）言，需要关于外在世界（jiè）的广泛知识以及运用操作这（zhè）些知（zhī）识的能力，所以自然语言处理（lǐ）也被视为解决人工智（zhì）能的核心问题之一，其（qí）未（wèi）来一（yī）般也因此密切结合（hé）人工智能（néng）发展，尤其是设计（jì）一个模仿人类大脑的神经（jīng）网络。
训练自然语言处理文（wén）本解析人工智（zhì）能系统需（xū）要（yào）采集大量多源头数据集，对（duì）科学家来说是一项持（chí）续的挑战：需要使用最新的深度学习模型，模仿人（rén）类大（dà）脑中神经元（yuán）的行为，在数百（bǎi）万甚至（zhì）数十亿的注（zhù）释示例中进（jìn）行训练（liàn）来持续改进（jìn）。当下一种流行的（de）自然语言处（chù）理解决方案是预训练，它改进了对未标记文本（běn）进行训练的（de）通用语言模（mó）型，以执行特定任务;它的思（sī）想就是，该模型的参数不再是随机初（chū）始化，而是先有一个任务（wù）进行训（xùn）练得到一套模型参数，然（rán）后用（yòng）这套参数对模型进行初始化，再进行训练（liàn），以获（huò）得更好的（de）预测（cè）性见解（jiě）。
目前（qián）我们已经进（jìn）入了以互联（lián）网为主要标志的海量信息（xī）时代，这些海量信（xìn）息大部分是以（yǐ）自（zì）然语言表示的。一方面，海（hǎi）量信（xìn）息也为计算机（jī）学习（xí）人（rén）类语言提供了（le）更多的“素材”，另一方面（miàn），这也为自然语言处理提供了更加宽（kuān）广（guǎng）的应用舞（wǔ）台。例如，作为自然语言处（chù）理的重要应用，搜索引擎逐（zhú）渐（jiàn）成为人们（men）获取信息的重要工具，出现了以谷歌（gē）、雅虎、百（bǎi）度（dù）等为代表（biǎo）的搜索引（yǐn）擎巨头;机（jī）器（qì）翻译也从实验室走入寻常百姓家;基（jī）于自然语言处理的输入法(如谷歌、微软、百度（dù）、搜狗等输入法（fǎ）)成为计算机用户的必备工具（jù）;带有语音（yīn）识别的计算机和手机（jī）也正大（dà）行其道（dào），协（xié）助用户更有效（xiào）地工作和学习。
数据标注是（shì）人工智能产业的（de）基础,是机器感（gǎn）知现实世界的起点;从某种程度上来（lái）说（shuō），没有经过（guò）标注的数据（jù）就是无用的数据;数据标注得越精确，对算法（fǎ）模型训（xùn）练的效果就越（yuè）好。自（zì）然语言处（chù）理领域现（xiàn）在已（yǐ）经有了大（dà）量的（de）数据标注（zhù）知识（shí），而深度学（xué）习可以（yǐ）通过有（yǒu）监督（dū）学（xué）习得到相关的语义知识，这种（zhǒng）知识和人类总结（jié）的知识应该（gāi）存（cún）在某（mǒu）种对应关系，尤（yóu）其是（shì）在一些浅层语义（yì）方（fāng）面。因（yīn）为数据标注,本质上已（yǐ）经给深度学习（xí）提（tí）供了（le）学习的目标;只（zhī）是（shì）深度（dù）学习（xí）可以不（bú）眠不（bú）休地学习,这种逐步（bù）靠拢学（xué）习目标的过程，可能（néng）远比人类（lèi）总（zǒng）结过程来得更（gèng）快。这一点，从美国Google公司旗下DeepMind研（yán）究团（tuán）队开发的围棋软件AIphaGo短时间内连胜两位人类围棋高手的事（shì）实（shí），似（sì）乎能够得到验证。
信息抽取旨在（zài）从非结构化（huà）的文本（běn）数（shù）据中抽取结（jié）构化的目标信息。这（zhè）是一个热点的任务，但是当前模型大多只能进行单（dān）一任务的信息抽取，效果（guǒ）也不是特别好。因（yīn）此将来的一（yī）段时间，信（xìn）息（xī）抽（chōu）取还会是一个热门话题（tí）。该任务也是（shì）其他行（háng）业对人工智（zhì）能最热切（qiē）的期待之（zhī）一。行（háng）业外的人经常问自然语言处（chù）理能不能做这个做那个，大多数是在问能（néng）不能从（cóng）非结构化（huà）的海量文本中提取特定的某些信（xìn）息。这也是所谓大数据公（gōng）司（sī）或者大数据服务提供商的核心技（jì）术。值得一提（tí）的是，信息抽取和数（shù）据标注有很多交叉和重叠的地方，它们与（yǔ）深度学习的关系（xì）十分密切。
深度学习在自然（rán）语言处理中（zhōng）的（de）应用非常广泛（fàn），可以说横扫自然语言处理的各个应用，从（cóng）底（dǐ）层的分词、语言模（mó）型、句（jù）法分（fèn）析等到高（gāo）层的语义理解（jiě）、对话管（guǎn）理、知（zhī）识问答等方面几乎（hū）都有深（shēn）度学习的模型，并（bìng）且取得（dé）了（le）不错的效果。有关研究已从传统的机器（qì）学（xué）习算法转（zhuǎn）变成更有（yǒu）表现力的深（shēn）度学习模型，如卷积神经网络和回（huí）归神经网络。不过，目前的深度（dù）学（xué）习技术还不具备理解（jiě）和使用自然语言所必需的概念抽象和（hé）逻辑推理（lǐ）能（néng）力，还有待今后进（jìn）一步的研（yán）究。
自然语言（yán）处理的近期成果
互联网搜索引（yǐn）擎已经有一段时（shí）间让（ràng）人们（men）使用会话语言（yán）和术（shù）语来在线搜索事物（wù）。现在，Google公（gōng）司的云端硬盘（pán）用户已（yǐ）经可以使用这（zhè）一功能（néng）。用户可以搜索存储（chǔ）在Google云端硬（yìng）盘（pán）中的文件和内（nèi）容（róng），就像使用Google搜索提（tí）供的对云端硬盘内置（zhì）自然语言处理的新支持一样。该功能使用（yòng）户可以使用（yòng）通（tōng）常用词组表达的查询以及在实际对话中（zhōng）将要（yào）使用的查询（xún）来更轻松地找到所需的内（nèi）容。Google公司（sī）在（zài）在线和移（yí）动搜索、移动应用程序以及Google Translate等（děng）服务（wù）中广泛（fàn）使用自然语言处理;该公司在这（zhè）一领域（yù）的研究是为提高机器（qì）阅读和理解人类语言能力（lì）所做的更广泛努力的一部分（fèn）。随（suí）着Google公司调整其算法，自然（rán）语言处（chù）理（lǐ）应（yīng）该会随着时间的推移变得更好。
在新冠病（bìng）毒（dú）肺（fèi）炎(Covid-19)疫情期（qī）间，美国哈佛（fó）医学院的研（yán）究人员借助自然语（yǔ）言处理技术开发出（chū）了（le）一（yī）种工具，可以评估（gū）新冠肺炎（yán）患者的病例、社（shè）交媒（méi）体和健康卫生数据。他们率先努力（lì）通过（guò）使用机器学习技术（shù）查看（kàn）来自（zì）各种来（lái）源（yuán）的数据和信息(包（bāo）括患者记录、社（shè）交媒体和公共（gòng）卫生数据（jù）)来寻找新冠病毒（dú）肺炎的解决方案。借（jiè）助自然语言处理工（gōng）具（jù），研究人员（yuán）可（kě）以（yǐ）搜索有关新冠肺炎疫情的（de）在线信息，并（bìng）了（le）解爆发的当（dāng）前位置。另（lìng）外，他们还借助自（zì）然语言（yán）处理技术（shù），尤其是深度（dù）学（xué）习模型对（duì）新冠（guàn）病（bìng）毒、药（yào）物和疫苗等密集展（zhǎn）开研究，同时包括临床（chuáng）诊断与治疗以及（jí）流（liú）行病学研究（jiū）等。
英国剑（jiàn）桥量子计（jì）算（suàn）公司（sī）(CQC)最近宣布，他们利用自（zì）然（rán）语言的“固有量（liàng）子”结构，开辟了（le）一个（gè）全新的可能应用领（lǐng）域。其通过将（jiāng）语法句子翻译成量子线路，然后（hòu）在（zài）量子计算机上实现生（shēng）成（chéng）的程序，并实（shí）际执行问（wèn）答。这是第一次在量子计算机上执行自然（rán）语言处理。通（tōng）过使用CQC的一流的、平台无（wú）关的可重定目标编译器t|ket?™，这些（xiē）程序在IBM量子计算机上成（chéng）功执行，从（cóng）而朝着实现“意（yì）义感（gǎn）知”和“语法（fǎ）信息”的自然语言处理（lǐ）迈出（chū）了一大步（bù）——这（zhè）是计算机（jī）时代早期以来计算机科学家及语言（yán）智能领域专家（jiā）的（de）梦想。
中（zhōng）国阿里达摩院的自（zì）然语言（yán）处理研究团队最近（jìn）提出优化模（mó）型StructBERT，能让机（jī）器更好地掌握人类语（yǔ）法（fǎ），加深对自然语言（yán）的理（lǐ）解。使用该模型好比给机器内置一个“语法识别器”，使机器在面对（duì）语序错乱或不符合语法习惯的词句时，仍能准确理（lǐ）解并（bìng）给出（chū）正确的（de）表（biǎo）达和回（huí）应（yīng），大大提（tí）高机器对词语、句子以及（jí）语言整体的理解力（lì）。这一技术已广泛使用于阿里旗下阿里（lǐ）小蜜、蚂（mǎ）蚁金服、优酷等业务。阿里达摩院的语言模（mó）型和阅读理（lǐ）解技术也被用于行（háng）业赋能，推进人工智能技（jì）术（shù）在医疗、电力、金融等行业的（de）落地。据（jù）悉，StructBERT模型日前被评为全球性（xìng）能最（zuì）强的自然（rán）语言处（chù）理系统（tǒng）。
结束语
实现自然语言理解，远不如人们原来想象的那么简单，而是十分困难（nán）的。从现有（yǒu）的理论（lùn）和技术现状看，通用的（de）、高质量的自然语言处理系统，仍然是（shì）较（jiào）长期的努（nǔ）力目标，但（dàn）是（shì）针对一定应（yīng）用，具有相当自（zì）然语言处理能力（lì）的实用系统已经出现，有些已商业化（huà），甚至开（kāi）始产业化;典型（xíng）的例子有：多语种（zhǒng）数据库和专家系统（tǒng）的（de）自然语言（yán）接（jiē）口、各种机器翻译系统、全文信息检索系统、自动文摘系统等。要（yào）实现（xiàn）人机间自然语（yǔ）言通信，或要完全实（shí）现自（zì）然语（yǔ）言（yán）理解（jiě），这不是在（zài）短时（shí）期（qī）内可以（yǐ）完成的，还有待（dài）长（zhǎng）期的（de）、系统的、扎实的工作。
总之（zhī），随着互联网的普（pǔ）及（jí）和海（hǎi）量信息的（de）涌现，作为人工智能的（de）核心（xīn）技（jì）术（shù），自然语（yǔ）言处理正在人（rén）们的工作、学（xué）习、生活（huó）中扮（bàn）演着越（yuè）来（lái）越重要的角色，并将在社会发展和科技进步的（de）过程中发挥越来越（yuè）重要（yào）的作用。
