手机浏览器扫描二维码访问
提到“人工智能+”,现在最火、最核心的技术就是“大模型”。不管是聊天机器人、AI绘画,还是医疗诊断、工业质检,背后都离不开大模型的支撑。它就像“人工智能+”的“发动机”,决定了整个技术体系能跑多快、能覆盖多少场景。接下来咱们就从技术原理、发展格局、能力边界三个方面,用大白话把大模型讲明白,看看它到底是怎么工作的,又能在哪些地方发挥作用。
一、技术原理:Transformer架构+“预训练-微调”,大模型的“两大法宝”
大模型之所以能理解咱们说的话、生成想要的内容,核心靠的是两个技术支撑:一个是“Transformer架构”(相当于大模型的“骨架”),另一个是“预训练-微调”模式(相当于大模型的“学习方法”)。这两个“法宝”结合起来,才让大模型具备了从“读数据”到“拥有能力”的跨越。
先说说“Transformer架构”,这东西是2017年谷歌公司提出来的,最大的创新点叫“自注意力机制”。咱们可以把这个机制理解成大模型的“眼睛”——它在看一段文字、一张图片的时候,能自动“盯”住里面关联紧密的部分,搞清楚谁和谁有关系。
举个例子,当大模型处理“人工智能推动产业变革”这句话时,“自注意力机制”会立刻发现:“人工智能”是“推动”这个动作的发出者,“产业变革”是这个动作的接收者,三者之间存在“谁做了什么、影响了谁”的逻辑关系。有了这个能力,大模型就不会像以前的AI那样,只能逐字逐句读文字,而是能真正理解句子的语义,就像咱们人类读句子时会自动梳理逻辑一样。
而且,Transformer架构还有个很大的优势——“并行计算能力强”。以前的AI模型(比如RNN循环神经网络)处理数据,得像咱们读小说一样,从第一句读到最后一句,一句没读完就没法读下一句,效率很低。但Transformer架构能同时处理一整段数据,比如同时分析一句话里的所有词语,或者一张图片里的所有像素,就像很多人一起干活,速度比一个人干快多了。正因为有这个能力,现在才能训练出千亿、万亿参数的超大模型(参数越多,模型能记住的知识和处理的任务越复杂),要是还靠以前的架构,可能训练一次模型就得花好几年,根本没法实用。
再看“预训练-微调”模式,这个模式解决了大模型的一个关键矛盾:既要“啥都会”(通用性),又要“某方面很精通”(场景适配性)。咱们可以把这个过程类比成“上学+实习”,特别好理解。
第一步是“预训练阶段”,相当于让大模型“上大学,广泛学知识”。这个阶段,工程师会给大模型喂海量的“无标注数据”——就是没经过人工标记的原始数据,比如整个互联网的公开文本(新闻、小说、论文)、海量的图片库、音频文件等等。大模型在这个阶段会“疯狂读书”,从数据里学到通用的语言规律(比如中文的语法、常用搭配)、基础的知识图谱(比如“北京是中国的首都”“苹果既是水果也是手机品牌”),还有简单的逻辑推理能力(比如“因为下雨,所以地面会湿”)。这个阶段结束后,大模型就有了“基础知识储备”,能处理一些通用任务,比如回答常识问题、写简单的句子。
第二步是“微调阶段”,相当于让大模型“去实习,专攻某一行”。虽然预训练后的大模型啥都懂点,但面对具体行业的需求,还是不够专业——比如让它看病历、给病人提诊断建议,它就会“犯懵”,因为预训练时没学过医疗知识。这时候,工程师就会用“少量场景化标注数据”来调整模型,比如医疗领域的病历数据(标注了“症状-疾病-治疗方案”的对应关系)、金融领域的交易数据(标注了“交易行为-风险等级”)。大模型通过学习这些专业数据,就能快速掌握行业知识,适配特定场景。比如把预训练大模型用医疗数据微调后,它就能辅助医生看CT片、分析病历;用金融数据微调后,就能识别可疑交易、预测市场风险。
这个模式最大的好处是“省钱、高效”。如果每个场景都要从零开始训练大模型,比如为医疗、金融、教育分别建一个模型,那需要的算力和数据会是现在的好几倍,成本高到大多数企业都承受不起。而“预训练-微调”模式能实现“一次预训练,多次微调”——一个基础的预训练模型,稍微改改就能用到多个行业,大大降低了开发成本,也让大模型能更快地落地到各个领域。
二、发展格局:通用大模型+垂直大模型,“全能选手”和“专业高手”互补
现在大模型的发展已经不是“一刀切”了,而是分成了两大阵营:“通用大模型”和“垂直领域大模型”。这就像职场里的“全能选手”和“专业高手”——前者啥都会,能应对各种基础需求;后者在某一行做到顶尖,能解决专业难题。两者各有优势,又能互相配合,一起推动“人工智能+”落地到各行各业。
本小章还未完,请点击下一页继续阅读后面精彩内容!
先看“通用大模型”,它的定位是“全领域覆盖”,目标是成为大模型里的“万能工具”。为了实现这个目标,通用大模型的训练数据会覆盖互联网的多个领域,从新闻、科技到娱乐、生活,啥数据都学;参数规模也特别大,通常在千亿以上(比如GPT-4的参数规模就达到了万亿级别),参数越多,能处理的任务越复杂。咱们平时听说的GPT-4、百度文心一言、阿里通义千问,都属于通用大模型。
通用大模型的核心优势是“通用性强,适配快”。它就像一个多才多艺的人,不用专门培训,就能快速上手各种基础任务。比如用通用大模型,企业可以很快开发出聊天机器人(用来做客服)、内容生成工具(用来写营销文案、短视频脚本)、代码辅助编写系统(帮程序员写代码、找bug)。这些任务不用针对每个场景单独研发模型,只要在通用大模型的基础上简单调整,就能用起来,大大节省了时间和成本。
但通用大模型也有明显的短板——“专业能力不足”。面对需要深度行业知识的场景,它就显得“力不从心”了。比如让它看肺部CT片,判断病人是不是有肺癌,它可能会把炎症当成肿瘤,因为它没学过专业的医学影像知识;让它检测工业零件的缺陷,它可能会漏掉细微的裂痕,因为它不了解生产制造的专业标准。简单说,通用大模型是“啥都懂一点,但啥都不精通”,没法满足垂直领域的高精度需求。
再看“垂直领域大模型”,它的定位是“场景深度适配”,目标是成为某一行业的“顶尖专家”。和通用大模型相反,垂直大模型的训练数据主要是“行业专用数据”,比如工业大模型学的是设备运行数据、产品质检数据;医疗大模型学的是病历、医学文献、影像数据;教育大模型学的是教材、题库、教学案例。而且它的参数规模相对较小,通常在百亿以下——因为不用覆盖所有领域,只要把某一行的知识学透就行,参数太多反而会增加冗余。
小哑巴[古穿今]作者:犹姜【文案】南初国最受宠的小皇子巫澄一朝身死。再睁开眼就是千年后,成了被抱错的真少爷。十八年前南初国遗址被发现,各地专家前来研究发掘,阴差阳错中,考古项目领队和当地村民的孩子被抱错。十八年后,得知孩子抱错的亲生父母匆匆赶来,路上车祸去世。而养父母怨恨白养他这么多年,一心只想让自己亲生儿子回家。可...
在一个以幻兽师为主的世界里,男主的奇葩幻兽,被沦为笑柄,但男主凭借自己坚强的毅力与忍耐,让奇葩幻兽和自己成为人们遥不可及的存在,并创造了一个又一个传奇……......
为了拯救自己的幼驯染,松田与克系高维存在希拉绑定,回到一切开始之前,成为酒厂的一瓶货真价实的“真酒”。 捞同期,救幼驯染,松田兢兢业业。 虽然困难,虽然要与幻觉相伴,虽然要隐瞒一点情况, 虽然会被人误会自己对同期始乱终弃、和幼驯染玩替身白月光, 但松田警官觉得这都不是问题。 到一切都结束,松田终于露出轻松的笑,转头却对上了同期手中的一、二、三……两位数的剧本。 松田的笑裂开了。 等等,你们究竟脑补了些什么啊!!! —— 降谷警官没想过,两年前死在爆炸中的卷发同期,会以组织高层的身份重新出现。 这是组织的阴谋,他是假的。 降谷警官冷静地做出判断。 然后松田被送进了实验室。 第二天,全酒厂都知道了波本对科涅克旧情未了。 诸伏警官劝他丢了幼驯染的半长发同期, 要冷静,要循序渐进。 第二天,全酒厂都知道了有个条子当面调戏科涅克。 莱伊问:那你呢? 苏格兰:我只是给科涅克披了一件衣服而已。 莱伊:听说是当着琴酒的面。 苏格兰微笑:我也听说你和波本半夜在科涅克的安全屋打起来了?是真的吗? ps: 1.私设如山,时间线有变动,ooc。 2.大量误解向假刀剧情,配角脑补cp向剧情,但本文无cp无单箭头,并且【高亮】he。 3.拒写作指导,不会改。 4.请不要在我的文下面提别的作者的文,也不要在别的作者的文下提我的文,谢谢理解。 5.作者红方全员粉,拒绝评论中出现或暗示对原著红方角色的负面内容!不爱也请别伤害。...
崔廪带着房子穿越了,成了一个中世纪黑皮白发的异族。 原主因为自幼与别人长得不同,小小年纪就被亲生父母抛弃。 教会称他们这样的人是异族,会给王国来带不幸与诅咒。 原主和一群和他一样的异族,被驱赶到了极寒之地生活。 这里没有适合种植的土地,也没有足够的食物供他们生存,很多的异族都在风雪里死去,原主也没有逃脱同样的命运。 崔廪穿越过来的时候,第二批异族也被驱赶了到这里,其中还有一个特别貌美的小贵族, 小贵族为了能活下去无所不用其极,是个心思狡诈的恶毒小人。 因为崔廪在一群异族里最有本事还是个alpha,恬不知耻的小贵族就企图勾引他。 崔廪发誓绝对不会喜欢上这样恶毒之人,更不会允许对方踏足自己建的房子半步。 结果不久之后,小贵族占了他的房,睡了他的床,还怀了他的崽。 捂住被打肿的脸,崔廪只想说一句,“老婆真香。” cp:武力值爆表控场alpha攻VS落魄贵族恶毒美人omega受 排雷: 1,黑皮白发攻!! 文案第一句就写了,不喜欢黑皮还要进来骂的,是什么眼瞎的奇怪群种?...
富二代当私生被正主抓包并狠狠惩戒…… 遇见秦忆穹之前,江既疏没想到自己能干出这么多没下限的事。 跟机、跟车、跟到录制现场混进去当工作人员;窃取私人信息,窥视生活隐私,入侵交友圈,甚至多次当面挑衅……他兴致勃勃,几乎把以前对小爱豆的恶习加倍运用到秦忆穹身上。 可惜秦忆穹不是小爱豆,也不像镜头里展现的那样天真温柔。 秦忆穹×江既疏 1.不建议接受度低和对控度有要求的读者朋友看 2.架空无原型,请勿上升现实,作者本人不支持私生行为,读者不要模仿主角不正确的行为。 3.受是真的影响到了攻的生活,攻多次警告无果后会采取激烈的暴力行为,容易引起攻、受控不适。...
论在古代做个小县官是什么感受?架空/种田/基建孟长青穿越古代,为保家产,自幼女扮男装。又因殴打太子得罪后妃,被发配至最北地做个小官。皇帝因为不得不做的处罚,愧疚到难以入眠。孟长青却高兴到连夜收拾东西,天不亮就出了京。太好了,真是太好了!在京都当了十三年孙子,总算解放了!从今以后她孟长青自由了!她要到北山县做个土皇帝!但是在马车进到县城的那一刻,她傻了。什么情况?这里到底是县城还是流民聚集地?百姓饿到吃土、冻死大半。她无奈暂放做土皇帝的念头,一点点给她治下的百姓搜罗东西。带他们种红薯,教他们建土炕,慢慢将他们拉到温饱线。...