自然语言处理

第一章：NLP基础概念1.1 什么是自然语言处理要讲NLP，咱们首先得搞清楚一个问题：到底什么是自然语言？自然语言啊，就是咱们平时说话、写字用的语言，比如中文、英文、日文这些。相比之下，还有一种叫"形式语言"的东西，比如编程语言、数学符号这些，它们有严格的语法规则，歧义很少。而自然语言呢，充满了各种模糊性和歧义性。那么自然语言处理，就是让计算机能够处理、理解、生成自然语言的技术。你可以用它来：机器翻译（中译英、英译日）文本分类（判断文章是正面的还是负面的）问答系统（智能客服、聊天机器人）文本摘要（自动生成文章摘要）语音助手（Siri、小爱同学）情感分析（分析评论是好评还是差评）等等等等，应用场景特别多。据统计，现在NLP技术已经渗透到了各行各业，从金融、医疗到教育、娱乐，几乎没有它不涉及的领域。1.2 NLP的发展历程要理解现在的NLP，咱们得先看看它是怎么发展过来的。这里面有好几个重要的里程碑：早期阶段（1950s-1980s）最早的时候，人们用的是基于规则的方法。什么意思呢？就是靠语言学家手动编写语法规则，然后让计算机按照这些规则来处理文本。比如说要分词，就制定一套规则：哪些字组合在一起是一个词，哪些不是。这种方法听起来挺靠谱，但实际上问题多多：