news 2026/7/7 20:29:29

AI核心知识60——大语言模型之NLP(简洁且通俗易懂版)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
AI核心知识60——大语言模型之NLP(简洁且通俗易懂版)

自然语言处理(Natural Language Processing,简称NLP)是人工智能(AI)皇冠上最璀璨的一颗明珠。

大语言模型 (LLM)的语境下,NLP 是“学科”与“工具”的关系:

  • NLP是学科(宏观领域):它研究的是“如何让计算机听懂人话,并像人一样说话”

  • LLM是工具(最新技术):它是目前 NLP 领域最强大、最先进的技术解决方案。

简单来说:NLP大模型的“祖师爷”和“应用场景”,而大模型是 NLP 发展了 70 年后进化出的“究极形态”。


1.🌉 核心任务:人机沟通的桥梁

计算机的母语是 0 和 1(二进制代码),人类的母语是 自然语言(中文、英文等)。

这两者是完全不同的。

NLP的作用就是充当“翻译官”,它包含两个核心方向:

A. 让电脑“听懂” —— NLU (自然语言理解)
  • 定义:Natural Language Understanding。

  • 任务:把人类复杂的语言变成机器能懂的结构化数据。

  • LLM之前的做法:分词、词性标注、提取关键词。

  • LLM的做法:把文字变成向量 (Embedding),计算语义关系,理解上下文和潜台词。

    • 例子:你说“我今天蓝瘦香菇”。传统 NLP 可能分析出“蓝色、瘦、香菇”;LLM 能理解你是“难受想哭”。

B. 让电脑“会说” —— NLG (自然语言生成)
  • 定义:Natural Language Generation。

  • 任务:把机器的数据变成人类能读懂的通顺句子。

  • LLM之前的做法:填空模板(你好,[姓名])、简单的拼凑。

  • LLM的做法:像人一样逐字预测,写诗、写代码、写小说。


2.📈 NLP 的进化史:为什么 LLM 是革命?

为了理解 NLP 在大模型里的地位,我们需要看一眼历史:

阶段技术代表特点像什么?
规则时代 (1950s-1990s)语法规则科学家手工写几万条语法规则教电脑。查字典的死板学生。如果不符合语法,电脑就报错。
统计时代 (1990s-2010s)RNN / LSTM让电脑算概率,“你好”后面大概率接“吗”。只会背概率的计算器。能翻译,但句子经常不通顺。
大模型时代 (2018-现在)Transformer (LLM)大力出奇迹。把人类所有书籍都读一遍,理解了语言的深层规律。博学多才的作家。不仅懂语法,还懂逻辑、懂世界知识。

以前的 NLP 是把任务拆开做的:翻译用翻译模型,聊天用聊天模型,分类用分类模型。

现在的 LLM (大模型):一个模型解决所有 NLP 任务。你既可以让它翻译,也可以让它写诗,它通吃。


3.🛠️ NLP 具体包括哪些“手艺”?

当我们使用 ChatGPT 时,其实是在同时调用 NLP 领域的几十种传统能力:

  1. 机器翻译(Machine Translation):中译英。

  2. 文本摘要 (Summarization):帮我总结这篇文章。

  3. 情感分析(Sentiment Analysis):这句话是夸我还是骂我?

  4. 命名实体识别(NER):帮我从这句话里把“人名”、“地名”、“公司名”挑出来。

  5. 问答系统 (QA):根据文档回答问题。

大模型出现之前,这些是分开的独立研究方向;在大模型出现后,它们都变成了 Prompt(提示词)的一个指令


总结

自然语言处理(NLP)就是“教计算机学语文”的科学。

在大语言模型中,NLP 是灵魂。没有 NLP 的理论基础(如 Tokenization, Embedding, Attention),就没有大模型;而大模型的出现,彻底重写了 NLP 这门学科,让它从“人工规则”变成了“智能涌现”。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/7 18:22:40

【AI手势交互新突破】:Open-AutoGLM缩放算法优化的7个关键细节

第一章:Open-AutoGLM缩放手势识别优化的技术背景在人机交互日益智能化的今天,基于视觉的手势识别技术已成为提升用户体验的关键手段之一。Open-AutoGLM 作为一款融合自监督学习与图神经网络(GNN)架构的开源框架,专注于…

作者头像 李华
网站建设 2026/7/7 16:42:49

智能科学毕设2026方向分享

文章目录🚩 1 前言1.1 选题注意事项1.1.1 难度怎么把控?1.1.2 题目名称怎么取?1.2 选题推荐1.2.1 起因1.2.2 核心- 如何避坑(重中之重)1.2.3 怎么办呢?🚩2 选题概览🚩 3 项目概览题目1 : 深度学习社交距离检…

作者头像 李华
网站建设 2026/7/6 23:18:46

重试失败频发?Open-AutoGLM智能重试设置,让你的请求成功率提升90%

第一章:重试失败频发?Open-AutoGLM智能重试设置,让你的请求成功率提升90%在高并发场景下,外部服务调用常因网络抖动、瞬时负载或限流策略导致请求失败。传统固定间隔重试机制不仅效率低下,还可能加剧系统压力。Open-Au…

作者头像 李华
网站建设 2026/7/7 9:29:42

Excalidraw支持Serverless函数拓扑

Excalidraw 支持 Serverless 函数拓扑的深度实践 在今天的云原生开发中,一个让人头疼的问题是:系统明明部署成功了,但没人说得清函数之间到底是怎么调用的。 我们见过太多这样的场景——新成员入职,面对一堆 Lambda 函数和事件源只…

作者头像 李华
网站建设 2026/7/7 9:30:18

[特殊字符] 从零打造:用 Python 自动生成“卡拉OK字幕”级英语教学短视频

摘要:本文记录了如何使用 Python (MoviePy + Edge-TTS) 开发一个全自动的英语单词教学视频生成器。从最初的简单图片合成,到解决 OpenCV 崩溃、异步事件循环报错,最终实现逐词高亮和卡拉OK式字幕擦除特效的完整技术演进之路。 1. 项目背景与目标 在短视频时代,英语教学内容…

作者头像 李华
网站建设 2026/7/7 8:05:18

从混乱到统一:Open-AutoGLM团队共享方案如何缩短80%协作成本

第一章:从混乱到统一:Open-AutoGLM团队共享方案的演进之路在早期开发阶段,Open-AutoGLM 团队面临代码版本不一致、模型配置分散和协作效率低下的问题。不同成员使用各自的本地环境运行实验,导致结果难以复现。为解决这一困境&…

作者头像 李华