神经网络技术栈介绍——PyTorch,Transformer,NLP,CV,Embedding
神经网络是神经网络,具体任务是具体任务,不能混为一谈学习了一段时间神经网络技术之后发现对很多东西理解还不够深刻,所以今天就来梳理一下神经网络的技术栈,深入了解一下不同的工具在神经网络中所处的位置,以及其扮演的角色。先说一句废话,神经网络仅仅只是神经网络,它不涉及具体的任务,只是一个神经网络模型;神经网络要解决实际问题就需要和不同的任务领域相结合。神经网络技术栈要了解或者说要学习
“ 神经网络是神经网络,具体任务是具体任务,不能混为一谈 ”
学习了一段时间神经网络技术之后发现对很多东西理解还不够深刻,所以今天就来梳理一下神经网络的技术栈,深入了解一下不同的工具在神经网络中所处的位置,以及其扮演的角色。
先说一句废话,神经网络仅仅只是神经网络,它不涉及具体的任务,只是一个神经网络模型;神经网络要解决实际问题就需要和不同的任务领域相结合。
神经网络技术栈
要了解或者说要学习神经网络,首先要从两个方面去入手——技术原理和应用场景。
神经网络是基于人工智能领域中,机器学习的深化——深度学习,通过模仿人类的大脑神经的行为来实现人工智能的一种技术手段。
因此,基于这种思想诞生了神经网络模型;既然是模仿人类大脑的神经网络模型,那么具体的数学模型应该是什么样的呢?
因此,这里就产生了神经网络模型中几种常见的神经网络架构及其变种,RNN——循环神经网络,CNN——卷积神经网络和Transformer——自注意力模型。

为什么会有多种不同的神经网络架构模型?
因为人类还无法真正模拟出人类的大脑神经网络,因此只能根据不同的任务类型设计能够处理不同任务的神经网络模型;比如说Transformer擅长处理NLP任务,CNN适合处理图像任务等。
所以说可以简单把神经网络技术理解成一种实现人工智能的思想,而RNN,CNN与Transformer等神经网络架构是其中的几种实现方式,也可以理解成数学模型。
而有了思想还要有具体的实现,因为神经网络的本质是数学模型,因此需要进行大量的数学计算;所以,谷歌和meta公司分别开发了一款神经网络的开发框架,Tensorflow和PyTorch,也就是一个科学计算框架,里面封装了大量的数学计算公式等。
因此,如果说RNN,CNN和Transformer是一种实现思想;那么PyTorch就是实现这些思想的具体工具;有了PyTorch和Tensorflow技术人员在开发神经网络时就会简单很多。

以上是神经网络中纯粹的技术问题,网络模型是理论,PyTorch和Tensorflow负责具体实现。
而从实际的价值来说,技术的作用是解决问题,也就是应用;因此,需要把神经网络技术与其它领域的任务相结合,去解决实际问题,这样才能发挥神经网络的真正价值。
而作为一个人工智能,最基础的功能当然就是要能够和人类进行正常交流;因此,神经网络就必须能够理解语言,图像,视频;并且能够生成新的内容。
所以,神经网络与自然语言处理(NLP)任务相结合就有了自然语言处理的神经网络模型;而神经网络与图像,视频处理的任务相结合,就有了CV——计算机视觉处理。
所以说,NLP和CV是神经网络技术的两个主要应用方向;但NLP和CV并不是依赖于神经网络技术而存在,NLP和CV是两项独立的技术领域;只不过神经网络技术在这两个领域中表现还不错。
神经网络与NLP和CV的关系就类似于农村地锅和城市里的天然气类似;做饭可以用地锅,也可以用天然气;只不过天气热用起来更简单方便。神经网络就相当于天然气,但不用神经网络还有其它方法研究NLP和CV。

这也是为什么,明明你学了pyTorch和Transformer,你依然不知道该怎么解决NLP和CV的问题;原因就在于神经网络只是研究NLP和CV的一种工具。这就相当于你学会了使用天然气,但就代表你会做菜了吗? 毕竟天然气和做菜是两个领域的问题。
那现在应该知道神经网络与NLP,CV的关系了吧?以及神经网络的几种经典架构模型;但Embedding又是什么东西?
Embedding中文叫做嵌入,简单来说就是一种数据格式转换工具;在神经网络中,主要的数据格式是向量(张量);而在人类的交流中主要是文字,图片,视频等数据格式。
因此,使用神经网络模型就需要把人类认识的文字,图片,视频等格式的数据,转换成神经网络能难过处理的数据格式——也就是张量(向量)。而这个过程就是Embedding要做的事情,数据格式转换。
零基础入门AI大模型
今天贴心为大家准备好了一系列AI大模型资源,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
有需要的小伙伴,可以点击下方链接免费领取【保证100%免费】
1.学习路线图

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。


(都打包成一块的了,不能一一展开,总共300多集)
3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
5.免费获取
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码或者点击以下链接都可以免费领取【保证100%免费】

更多推荐


所有评论(0)