ENAS与传统NAS方法对比：为什么参数共享是效率革命？

【免费下载链接】enas TensorFlow Code for paper "Efficient Neural Architecture Search via Parameter Sharing" 项目地址: https://gitcode.com/gh_mirrors/en/enas

在深度学习领域，神经网络架构搜索（NAS）是自动设计高效模型的关键技术。然而传统NAS方法往往面临计算成本高昂、搜索周期漫长的问题。ENAS（Efficient Neural Architecture Search） 通过创新的参数共享机制，彻底改变了这一局面，成为神经网络架构搜索领域的效率革命。本文将深入对比ENAS与传统NAS方法的核心差异，揭示参数共享技术如何实现效率突破。

传统NAS方法的痛点：资源消耗的“无底洞”

传统NAS方法（如强化学习NAS、进化算法NAS）在搜索过程中存在两大致命缺陷：

1. 独立训练成本高
   每种候选架构都需要独立训练，例如早期NAS方法在CIFAR-10数据集上搜索需消耗2000个GPU天，相当于单GPU运行5.5年。这种“one-shot”模式导致资源投入与搜索空间呈线性增长。

2. 架构间知识割裂
   不同架构的训练过程完全隔离，无法复用中间学习成果，大量计算资源被浪费在重复参数优化上。

ENAS的突破：参数共享如何实现效率飞跃？

ENAS提出了权重共享的超级网络（Supernet） 概念，将所有候选架构视为同一超级网络的子网络，通过控制器（Controller）学习选择最优子结构。其核心创新点包括：

1. 动态路径选择机制

控制器通过强化学习在超级网络中选择有效路径，所有子网络共享底层参数。这种设计使ENAS的搜索成本仅为传统方法的1/1000，在PTB语言模型上仅需10个GPU天即可完成搜索。

2. 双向优化策略

• 控制器优化：通过策略梯度学习架构选择
• 网络参数优化：通过SGD同时训练所有子网络共享参数

ENAS的RNN单元结构展示了参数共享机制：不同颜色模块代表可复用的操作单元，通过有向边动态选择计算路径（来源：img/enas_rnn_cell.png）

ENAS与传统NAS的核心指标对比

如何快速上手ENAS？

1. 环境准备

git clone https://gitcode.com/gh_mirrors/en/enas
cd enas

2. 关键脚本使用

• 架构搜索：scripts/ptb_search.sh（文本任务）或scripts/cifar10_micro_search.sh（图像任务）
• 最终训练：scripts/ptb_final.sh（固定架构训练）

核心实现代码位于：

• 控制器逻辑：src/ptb/ptb_enas_controller.py
• 子网络实现：src/ptb/ptb_enas_child.py

为什么参数共享是NAS的未来？

ENAS证明了参数共享不仅能降低计算成本，还能通过隐式正则化提升模型泛化能力。这种“一举两得”的特性使其成为后续NAS方法（如DARTS、ProxylessNAS）的核心设计原则。对于资源有限的研究者和开发者，ENAS提供了在普通GPU上进行架构搜索的可能性，真正实现了“让AI设计AI”的民主化。

随着硬件加速和算法优化的发展，参数共享技术将继续推动NAS向更高效、更实用的方向演进，为边缘设备和大规模部署场景提供轻量级高性能模型。

【免费下载链接】enas TensorFlow Code for paper "Efficient Neural Architecture Search via Parameter Sharing" 项目地址: https://gitcode.com/gh_mirrors/en/enas