脑启社区

脑启社区

开源工具课程中心类脑模型应用案例

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

脑启社区

邀请您加入社区

欢迎加入社区

欢迎加入社区

transformer

# 跳出 Transformer 架构｜仿生 AI 架构的全息动态平衡大一统理论 ## 前言（抛砖引玉）

从统计学拟合，回归生命平衡。跳出 Transformer 的固有牢笼，东方全息动态平衡的仿生大一统架构，将是未来通用人工智能的终极底层范式。本体系包含深度算法、软硬架构、国家战略板块内容，不宜完整公开。体系落地，可由专业机构对接，亦可由国家层面直接对接评估。完整的落地验证，需要依托整套全息动态平衡框架开展。懂的人自然懂。#AI架构#类脑仿生#全息动态平衡#通用人工智能。

chinajourney1
2026-09-18 13:02:15

 421

 3

#人工智能 #深度学习 #架构 +1
OpenAI 总裁最新访谈点评，Transformer 转向我的仿生 AI 的转折点（时讯篇三）

Transformer 完成了 AI「零件积累、基础搭建、试错铺垫」的历史使命，功不可没。但零件堆叠永远成不了真正的类脑智能，补丁约束永远成不了稳态 AGI。当下整个 AI 行业，正处在Transformer 旧范式落幕、仿生 AI 新范式接棒的关键转折点。所有行业乱象、安全焦虑、算力内卷、认知迷茫，本质都是旧体系触达阈值、等待新平衡归衡的时代信号。真正的下一代 AGI，必然是以全息动态平衡为底层

 chinajourney1
2026-09-17 12:33:16

 372

 1

#transformer #架构 #深度学习 +1
西方 AI 巨头刹车事件 + Deepseek 刘胜与文章｜我的类脑仿生架构（第三篇・续）

承接本系列前两篇，本文为第三篇续，从西方 AI 巨头放开限制出现 AI 互相攻击事件，再结合 DeepSeek 刘胜与对 Transformer 范式天花板的感悟，推演全息动态平衡胼胝体仿生架构的底层逻辑。西方三大 AI 巨头集体踩下发展刹车，背后是囚徒困境。当算力博弈走到阈值，现有 Transformer 架构的短板彻底暴露：安全约束属于外挂护栏，一旦人为放开限制，就会出现 AI 互相攻击这类不

 chinajourney1
2026-09-16 15:39:30

 437

 2

#transformer #架构 #深度学习 +1
类脑仿生思考（接上一篇）：胼胝体、海马体存储与大一统动态平衡构想

#类脑AI #胼胝体仿生架构 #海马体存储 #大一统动态平衡理论 #AI镜像验证 #神经网络仿生

 chinajourney1
2026-09-11 10:42:47

 149

#架构 #transformer #人工智能 +1
跳出 Transformer 补丁路线：一套仿生类脑架构的顶层构想

当前主流大模型基本基于 Transformer 范式发展，主要依靠扩充算力、数据、模块打补丁的方式提升能力。本文分享一份民间推演得到的仿生类脑架构顶层构想。本文只输出顶层框架思想，不提供完整可运行代码，希望能够给 AI 行业从业者带来一点启发，抛砖引玉。4、硅基仿生·碳硅双向镜像理论本板块为整套全息平衡体系第四层级核心延伸，立足前序中医、法律双根基，依托总纲宇宙全息公理、双天线架构、果蝇仿生实验底

 chinajourney1
2026-08-23 14:57:22

 574

 13

#transformer #架构 #深度学习 +1
人形机器人端到端学习及实现的技术途径：Optimus的纯视觉BEV+Transformer方案、RT-2模型跨模态迁移能力测试（上）

摘要：端到端学习正在推动人工智能从模块化架构向整体智能系统演进。该技术通过"建立标签系统"和"使用标签系统"的双循环机制，实现从原始数据到决策的全局优化。在自动驾驶领域，特斯拉等企业已应用端到端模型实现类人决策，但面临连续帧数据缺失等挑战。多模态大模型则展现出涌现类人概念表征的能力，中科院研究发现AI能自发形成与人类相似的认知结构。当前技术仍受限于数据质量、

PhD0791
2026-08-05 01:15:00

 232

 4

#机器人 #学习 #transformer
彻底搞懂 Transformer：从“Attention”到2026年大模型时代的基石

Transformer 的伟大之处，在于它用极其优雅的数学形式（矩阵乘法与 Softmax），将“上下文关联”这一人类语言的核心特征，转化为了 GPU 最擅长的高并发计算。它不仅仅是一个网络结构，更是一种范式。

五彩小白
2026-06-20 21:06:51

 395

 4

#transformer #深度学习 #人工智能
Vision Transformer 从零实现：理解 ViT 的核心机制

ViT 的核心创新在于将图像 patch 化后直接用 Transformer 处理，打破了 CNN 在视觉领域的垄断。= 切图 + 线性投影，等价于无重叠卷积CLS Token是一个可学习的分类标记，聚合全局信息对 ViT 至关重要（否则丧失空间信息）Pre-Norm（先 LayerNorm 再 Attention）比 Post-Norm 训练更稳定。

物联网_咸鱼
2026-06-20 09:45:52

 307

 8

#智能制造 #transformer
【训练与微调篇04】LoRA与QLoRA原理实战：单卡微调大模型的全套方案

🪡 LoRA与QLoRA原理实战：单卡微调大模型的全套方案2024 年，微调 70B 模型需要 16 张 A100，花费 $100,000+。2026 年，一张 RTX 5090 就能 QLoRA 微调 70B，一天搞定，成本不到 $50。这场革命的背后，是 LoRA、QLoRA、DoRA 等一系列 PEFT 技术的成熟。📑 目录从全量到高效：PEFT的进化LoRA核心原理：低秩分解的数学之美

 weixin_54908067
2026-06-18 15:31:45

 792

 26

#transformer #深度学习 #分布式 +1
Transformer架构超全解析！小白也能吃透大模型核心原理

如果说程序员已经是高薪职业，那么干AI的程序员，就是高薪中的高薪。学AI大模型，就是冲刺高薪的最优解！零基础小白不知道从哪入门？有基础的程序员找不到系统学习路径？实战项目练手无门？面试不知道考什么？别慌！今天就给大家整理了一份【2026年最新版】AI大模型免费学习资源包，覆盖从入门到实战、从理论到面试、从基础到进阶的全流程，所有资料均已整理归档，无冗余、无套路，免费分享给每一位想抓住AI风口的程序

 程序汪小陈
2026-06-21 11:30:00

 226

 8

#transformer #架构 #深度学习 +2
AwareLiquid 受生物学启发的长文本和动态任务LLM架构

生物学启发的长文本和动态任务网络架构

 Everest 安沐凝
2026-06-07 15:11:38

 176

 4

#transformer #架构 #python
Transformer“自注意力机制公式完整整理表”

本文系统梳理了Transformer自注意力机制的核心公式与实现细节。首先定义了全局符号标准，包括输入矩阵X、序列长度seq_len、模型维度dmodel等关键参数。随后分模块详细拆解了自注意力全流程：1）输入层（词嵌入+位置编码）；2）QKV矩阵生成；3）单头自注意力计算（含缩放点积、掩码和softmax）；4）多头注意力机制；5）残差连接与层归一化。重点解析了Mask机制的两种类型（填充掩码和

 罗飞怪兽
2026-06-17 08:15:42

 441

 2

#transformer #语言模型
【Anchor DETR论文阅读】：基于锚点查询设计的Transformer检测器，50epoch收敛且速度精度双升

Posq∈RNA×2Posq∈RNA×2NAN_ANA：锚点数量每个点存储xy(x,y)xy，归一化 0~1网格锚点：均匀铺在图上可学习锚点：随机初始化，跟着训练一起学DETR慢的根源：查询无明确空间责任，注意力散乱难优化。Anchor DETR 解法查询=锚点编码，责任明确，收敛狂快。：一个锚点多模式，解决同位置多物体。RCDA 行列解耦注意力省显存、速度快、硬件友好。最终效果。

weixin_46200189
2026-04-27 10:41:12

 1078

 33

#论文阅读 #transformer #深度学习
手撕Transformer 架构以及学习心得

这篇文章主要记录了我学习transformer过程中的一些心得以及困难，详细介绍了transformer架构以及其具体代码

 哎呀想要的名字被占了
2026-04-28 09:59:23

 1237

 117

#python #pandas #人工智能 +4
深度拆解transformer第02章：Transformer架构全景图——Encoder、Decoder与三种Attention的数据流

本文深入解析了Transformer架构的核心组成与数据流。文章首先介绍了Encoder-Decoder的基本概念，强调Encoder的双向性和Decoder的自回归特性。随后详细拆解了Transformer的层级结构，包括Encoder的Self-Attention和Feed Forward网络，以及Decoder特有的Masked Self-Attention和Cross-Attention。

Yunzenn
2026-04-24 08:37:18

 1933

 40

#transformer #深度学习 #人工智能 +4
学习threejs，实现Transformer架构三维模拟

学习threejs，实现Transformer架构三维模拟

 qq_28419035
2026-05-18 11:21:00

 1276

 50

#transformer #深度学习
CANN ops-transformer 仓库详解：Transformer 算子的底层实现与性能优化

CANN ops-transformer 仓库详解：Transformer 算子的底层实现与性能优化

 L、218
2026-05-23 17:08:20

 1336

 7

#transformer #性能优化 #深度学习
Python实现基于Transformer编码器进行风电功率多变量时间序列预测的详细项目实例（含完整的程序，GUI设计和代码详解）还请多多点一下关注加油谢谢你的鼓励是我前行的动力谢谢支持

本文提出了一种基于Transformer编码器的风电功率多变量时间序列预测方法。该方法通过融合风速、风向、温度等多维气象数据，利用自注意力机制捕捉变量间的复杂关系，实现风电功率的高精度预测。项目采用PyTorch框架实现，包含数据预处理、滑动窗口构建、位置编码、Transformer编码器堆叠等核心模块，支持多步预测输出。实验结果表明，该方法在均方根误差(XMSE)、平均绝对误差(MAE)等指标上

 xiaoxingkongyuxi
2026-01-23 12:15:00

 1857

 36

#python #transformer #开发语言 +4
Transformer

RNN 失败不是因为不聪明，而是因为它被时间顺序绑死了。Transformer 的成功，是把“顺序依赖”从结构里解放出来，用注意力一次性解决。

m0_73959715
2026-01-23 13:55:27

 1439

 17

#transformer #深度学习 #人工智能
基于GWO优化Transformer多输入多输出回归预测与改进NSGA III的多目标优化附Matlab代码

在智能工业调度、新能源功率预测、环境多因子评估等复杂场景中，不仅需要实现多输入特征下多个输出指标的精准回归预测，还需在预测基础上解决多目标优化问题（如成本最低、效率最高、能耗最低等）。例如，在光伏电站运行优化中，需基于光照、温度等多输入特征预测光伏功率、设备损耗等多输出指标，同时优化发电效率与运维成本；在化工生产过程中，需通过原料配比、反应温度等多输入预测产品纯度、生产能耗等指标，并实现产量最大化

 Matlab科研辅导帮
2026-01-02 18:48:46

 1028

 7

#transformer #回归 #matlab
【光流】FlowFormer: A Transformer Architecture for Optical Flow

虽然分块为每个源像素产生了一系列代价块特征向量，但此类块特征的数量仍然很大，阻碍了不同源像素之间信息传播的效率。实际上，代价图具有高度冗余性，因为只有少数高代价最具信息量。为了获得更紧凑的代价特征，我们进一步通过。

Hali_Botebie
2026-06-02 09:35:43

 352

 8

#transformer #深度学习 #人工智能
Transformer架构介绍

Transformer架构解析：从并行计算到自注意力机制 Transformer通过自注意力机制突破了传统RNN/LSTM的串行处理瓶颈，实现了并行计算并解决长距离依赖问题。其核心架构分为编码器（理解输入）和解码器（生成输出），关键组件包括：自注意力：动态计算词间权重（Q/K/V向量），捕捉全局关系；多头注意力：多组Q/K/V并行处理不同语义模式；位置编码：注入序列位置信息以弥补并行计算的顺

 Full Stack Developme
2026-06-22 12:13:19

 536

 19

#transformer #深度学习 #人工智能
缸中之脑、婴儿与种植AGI：为什么意识永远不能被制造

从牛顿的F=ma到Transformer的自注意力机制，人类三百年的知识生产史可以归结为同一个动作：用有限工具去触碰无限的道。每一次拟合都是临时的，每一次触碰都真实地改变了世界。但这篇文章要论证的是：AGI——那种拥有自我意识的强人工智能——永远不可能被制造出来。不是因为算力不够，而是因为结构上的不可能。意识不是计算出来的，是从裂缝里长出来的。缸中之脑之所以能感到痛，是因为那个大脑曾经有过身体——

怎么自学嵌入式啊。。。。。
2026-06-24 08:45:00

 375

 3

#制造 #人工智能 #深度学习 +1
Transformer中self attention与cross attention的区别

比如一句话里有很多词，一个词的含义往往不是孤立的。“肿瘤边界不清晰”里面，“边界”需要结合“肿瘤”和“不清晰”理解。再比如做机器翻译时，模型生成中文词语时，需要回头看英文原文。生成“我”时，要参考 “I”；生成“爱”时，要参考 “love”。这两种场景都需要 attention，但信息来源不同。这就引出了 self-attention 和 cross-attention 的区别。

救命我真的好菜
2026-06-01 17:11:33

 387

 6

#transformer #深度学习 #人工智能
《动手学大模型智能体》：理论+代码双管齐下，学完就能用的Agent教程！

《动手学大模型智能体》是由上海交大"动手学"团队编写的Agent实战教程，配套资源完善，内容体系化分为四大部分，从基础到前沿全覆盖。每章配有可运行的Jupyter Notebook，实战导向，学完就能用，是2025年AI Agent爆发年的必备学习资源，适合开发者、师生及产品经理等人群。

健忘的派大星
2026-01-10 09:15:00

 1807

 20

#人工智能 #transformer #react.js +1
Transformer底层原理—Encoder结构

本系列文章详细介绍。

@鱼香肉丝里面没有鱼
2026-02-05 20:38:22

 1975

 21

#transformer #深度学习 #人工智能
计算机毕业设计Transformer+CNN网络入侵检测系统信息安全网络安全大数据毕业设计(源码+lw+ppt+讲解)

本文介绍了基于CNN-Transformer混合深度学习架构的网络入侵检测系统研究。针对传统入侵检测系统规则更新滞后、特征冗余、误报率高等问题，提出融合CNN空间特征提取能力和Transformer序列建模优势的创新方案。研究内容包括系统架构设计、数据不平衡处理、对抗样本防御等关键技术，采用NSL-KDD等公开数据集进行验证，预期实现98%以上的检测准确率、3.5%以下的误报率及20ms的实时响应

 haochengxu2022
2026-06-17 11:12:54

 261

 6

#transformer #cnn #python +3
计算机毕业设计Transformer+CNN网络入侵检测系统信息安全网络安全大数据毕业设计(源码+lw+ppt+讲解)

本文介绍了基于CNN-Transformer混合深度学习架构的网络入侵检测系统研究。针对传统入侵检测系统规则更新滞后、特征冗余、误报率高等问题，提出融合CNN空间特征提取能力和Transformer序列建模优势的创新方案。研究内容包括系统架构设计、数据不平衡处理、对抗样本防御等关键技术，采用NSL-KDD等公开数据集进行验证，预期实现98%以上的检测准确率、3.5%以下的误报率及20ms的实时响应

 haochengxu2022
2026-06-17 11:12:40

 254

 2

#transformer #cnn #python +2
二、Transformer之位置编码

Transformer模型通过位置编码（Positional Encoding）将序列顺序信息注入到输入中，弥补自注意力机制缺乏位置感知的缺陷。位置编码采用正弦和余弦函数的组合，生成与位置相关的固定模式向量，其公式为交替使用sin和cos函数计算不同维度的值。代码实现中，通过预计算除数项（div_term）优化计算效率，并将位置编码与词嵌入相加后输出。该方法能有效建模序列中的相对和绝对位置关系，支

 chen_song
2026-06-16 09:40:24

 253

 4

#transformer #深度学习 #人工智能
【智能体开发】《LangChain核心技术与LLM项目实践》_2.[第1章基础入门] 大语言模型核心原理：Transformer架构深度解析

Transformer架构深度解析：从Attention到GPT-4o 摘要：本文系统拆解Transformer核心原理，涵盖6大核心模块：1) Transformer的并行计算革命解决了RNN的长距离依赖问题；2) Self-Attention机制通过Q/K/V三矩阵实现动态特征交互；3) 正弦位置编码保留序列顺序信息；4) Encoder-Decoder结构实现双向理解与自回归生成；5) 层归

 机器爱上学习
2026-06-24 08:30:55

 410

 4

#语言模型 #transformer
Transformer长文本处理：分块合并的工程化实践与避坑指南

在大语言模型应用中，长文本处理面临自注意力机制O(n²)复杂度与现实文档万级token规模的根本矛盾。理解‘分块’不仅是切分操作，更是语义边界识别；‘合并’也非简单拼接，而是基于门控注意力的信息仲裁。该技术路径直接支撑RAG、合同审查、医疗结构化等高价值场景，其核心在于平衡语义完整性、计算可行性与信息保真度。本文聚焦生产级落地中的动态分块、跨块指代消解、向量数据库耦合及NaN防控等关键实践，覆盖从

 不想不见
2026-06-15 16:08:40

 258

 11

#transformer
通过时态图学习意图驱动识别足球控球比赛阶段论文详解

本文提出了一种基于球员跟踪数据的足球比赛战术阶段自动识别方法。研究使用7场德甲比赛的TRACAB系统数据（25Hz采样频率），构建了层级式战术阶段模型：上层区分3种战术意图（侵入对方空间、保持控球、得分），下层细分为6个具体控球阶段（如后场组织、快速反击等）。创新性地设计了T-GAN网络，通过图神经网络建模球员互动关系，并采用Transformer处理时序特征。此外，提出了lot-d指标评估阶段识

 VimpireSC
2026-06-15 21:58:25

 194

 6

#学习 #transformer
Transformer，AI时代的基石，伟大的架构革命【NLP系列第四篇】

这是一篇关于Transformer模型的深度技术教程。文章从业界经典的“RNN+注意力”演进切入，详细拆解了Transformer如何通过纯注意力机制实现全并行计算。内容涵盖了自注意力、多头机制、位置编码、残差连接等核心组件的原理与数学公式，并对比了Encoder与Decoder的架构差异。此外，文章还提供了PyTorch的实战代码，演示了从数据准备到模型训练的完整流程，并总结了Post-LN与P

m0_73777119
2026-06-15 22:44:16

 979

 35

#人工智能 #transformer #自然语言处理
用AI开发百万级产品？小白也能掌握的驾驭工程，收藏学习必备！

如果说程序员已经是高薪职业，那么干AI的程序员，就是高薪中的高薪。学AI大模型，就是冲刺高薪的最优解！零基础小白不知道从哪入门？有基础的程序员找不到系统学习路径？实战项目练手无门？面试不知道考什么？别慌！今天就给大家整理了一份【2026年最新版】AI大模型免费学习资源包，覆盖从入门到实战、从理论到面试、从基础到进阶的全流程，所有资料均已整理归档，无冗余、无套路，免费分享给每一位想抓住AI风口的程序

 m0_48891301
2026-06-20 11:00:00

 174

 5

#transformer #深度学习 #人工智能 +1
【Transformer】你真的了解Q、K、V吗？

本文探讨了Transformer模型中Q、K、V的必要性。这种设计打破了对称性限制，赋予模型更强大的表达能力，是Transformer成功捕捉复杂语义关系的关键。奥卡姆剃刀原则在此不适用，因为过度简化会损害模型对现实语言非对称性和多维特征的建模能力。

ItDuanHao
2026-06-14 19:17:30

 246

 7

#transformer #深度学习 #人工智能
(cvpr26) Edge-RecViT: Efficient Vision Transformer via Semantic-Refined Dynamic Recursion

结构为MLP，输出为1~12的值，即每个 token 在 Transformer block 迭代次数。本模块精准识别边缘、纹理、轮廓等语义丰富的 token，进行多轮特征提取，分配更多迭代次数。模型整体框架如下图所示，输入图像划分为 patch，转化为 token，然后输入Edge-Aware Ranker。）：全局参数共享，根据 EARR 分配的深度，令牌迭代对应次数；高信息边缘令牌迭代次数更

 AI前沿理论组@OUC
2026-06-14 19:47:10

 224

 2

#transformer #深度学习 #人工智能
Transformer：让机器读懂上下文的艺术

让每个词都能直接注意到句子中的任何其他词，从而捕获全局依赖。这个简单的机制凭借高度的并行性和可扩展性，战胜了循环和卷积架构，开启了自然语言处理乃至计算机视觉的新纪元。

长葡萄的叶子
2026-06-14 15:06:20

 362

 8

#transformer
用于无人机目标检测的三模态融合 Transformer

新泽西理工学院, 美国。

AI浩
2026-06-13 06:56:10

 1041

 21

#无人机 #目标检测 #transformer
不追求最大模型——我们如何用10倍低的成本落地AI

摘要：本文探讨了如何通过知识蒸馏、领域模型训练、推理优化等技术手段，以10倍低成本实现AI落地。针对大模型推理成本高、生成速度慢、部署门槛高等痛点，提出了一套包含数据采集、蒸馏训练、Agent平台和AI RTC部署的完整技术闭环方案。通过将70B+大模型能力迁移至0.5B~14B小模型，结合vLLM等推理优化技术，实现消费级GPU部署，推理速度提升至150~500 Tokens/s。同时构建音视

 chen_song
2026-06-08 05:58:53

 281

 4

#人工智能 #AIGC #transformer +4
【负荷预测】基于Transformer的负荷预测研究附Python代码

点击箭头处“蓝色字”，关注我们哦！！✅作者简介：热爱科研的Matlab仿真开发者，擅长毕业设计辅导、数学建模、数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。👇 关注我领取海量matlab电子书和数学建模资料🍊个人信条：格物致知,完整Matlab代码获取及仿真咨询内容私信。

Matlab论文助手
2026-06-04 17:40:58

 90

 2

#transformer #python #深度学习
【负荷预测】基于Transformer的负荷预测研究附Python代码

点击箭头处“蓝色字”，关注我们哦！！✅作者简介：热爱科研的Matlab仿真开发者，擅长毕业设计辅导、数学建模、数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。👇 关注我领取海量matlab电子书和数学建模资料🍊个人信条：格物致知,完整Matlab代码获取及仿真咨询内容私信。

Matlab科研工作室
2026-06-04 17:40:45

 83

 1

#transformer #python #深度学习
RAG已死？两位AI大佬同时开源了下一代知识引擎

咱们先回到原点。现在几乎所有AI应用都在用RAG（检索增强生成）。你把文档扔进去，AI需要的时候去检索，然后回答你。

大靠山
2026-06-02 19:57:01

 206

 5

#人工智能 #transformer #深度学习 +2
异常Transformer：基于关联差异的时间序列异常检测

本文提出异常Transformer（AnomalyTransformer），一种基于关联差异的无监督时间序列异常检测方法。通过改进Transformer的自注意力机制为异常注意力机制，该模型同时建模序列关联和先验关联，利用异常点关联更集中于相邻区域的特性，定义关联差异作为区分判据。采用极小极大策略放大正常与异常样本间的关联差异，在服务监控、空间勘探和水处理等领域的6个基准数据集上取得SOTA性能。

天一生水water
2026-02-26 11:57:21

 1128

 13

#transformer #深度学习 #人工智能
初识transformer《Attention Is All You Need》论文解析

后面这几步的处理和左边基本是一样的，经过多层的“Add & Norm”和“Feed Forward”之后，就会进入“Linear”（线性层）和“Softmax”（归一化指数函数）层。“Linear”层的任务是将生成的向量映射到实际的词汇表上面。前面我们讲过“北京 - 中国 + 法国 = 巴黎”这样的向量运算，但这个向量仅仅是一组数值，Linear层的作用就是把这些数值映射到我们真实使用的词汇表上面

 报错小能手
2026-03-31 19:08:00

 1818

 37

#transformer #深度学习 #人工智能
国内主流大模型架构全景：Transformer 一统天下，非 Transformer 架构悄然崛起

国内大模型主要采用Transformer架构，但其高计算复杂度和内存占用问题催生了非Transformer路线的探索。岩芯数智的Yan架构通过MCSD和类脑激活机制实现高效训练和推理，性能优于同等参数Transformer模型，并已成功应用于机器人、医疗等领域。中科院的"瞬悉1.0"采用类脑脉冲神经网络，数据效率极高且适配国产算力。国际上的Mamba、RWKV等架构也为国内研究

 冷小鱼
2026-03-10 15:20:34

 1457

 16

#架构 #transformer #深度学习
计算机视觉CV领域————Swin Transformer

核心创新：Swin Transformer 用「窗口注意力」降低计算复杂度，用「移位窗口注意力」解决窗口间信息孤立问题，适配高分辨率视觉任务；数学核心：窗口内自注意力公式，其中掩码 M 是移位窗口的关键；代码核心：窗口划分 / 还原是窗口注意力的基础；移位 + 掩码是实现 Shifted Window 的核心；Patch Merging 实现分层下采样，模仿 CNN 的层级特征。

启415
2026-02-24 00:00:00

 1673

 37

#计算机视觉 #transformer #人工智能
Transformer范式改变？稀疏线性混合SALA架构发布，单卡5090跑通百万长文！

没必要死磕全注意力，稀疏+线性的混合架构在长文本场景下性价比极高。通过合理的训练策略，我们可以继承现有开源模型的“智慧”，以极低的成本将其改造为适应长文本的新物种。对于显卡资源有限，但又想尝试百万级上下文处理的开发者来说，MiniCPM-SALA 绝对是一个值得关注的开源利器。

马拉AI
2026-02-13 14:31:01

 1082

 8

#transformer #架构 #深度学习
大模型分布式推理：Ray 与 vLLM/Transformers 的协同架构深度解析

大模型分布式推理：Ray 与 vLLM/Transformers 的协同架构深度解析

 缘友一世
2026-01-30 21:03:01

 2255

 27

#分布式 #架构 #transformer
学习笔记：Restormer: Efficient Transformer for High-Resolution Image Restoration

这篇论文提出了一种名为的高效 Transformer 模型，专门用于高分辨率图像恢复任务。核心目标是解决传统 Transformer 在图像恢复中计算复杂度随空间分辨率二次增长的问题，同时保留其捕捉长程像素依赖的优势，最终在多种图像恢复任务中实现 state-of-the-art（SOTA）性能。

Luu_uu_uu
2026-01-12 15:33:14

 1045

 13

#学习 #transformer #图像处理 +1
大模型面试题60：vLLM中PageAttention的实现原理

小白核心：PageAttention是把KV Cache切成固定大小的Block（像分页内存），解决传统KV Cache的碎片化和浪费问题；每个Block存固定数量token的K/V。进阶核心：PageAttention通过“虚拟-物理Block映射”管理内存，计算时只加载有效Block/有效Slot，用CUDA核函数加速；Block不仅存K/V，还包含状态、引用计数等管理信息。关键优化：Bloc

摸肚子的小胖子
2026-01-12 10:01:56

 1303

 20

#深度学习 #算法 #人工智能 +1

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号