语义分割领域开山之作：Google提出用神经网络搜索实现语义分割tiltomo

自 Google 提出 Cloud AutoML，。

基于 NAS 的图像分类迁移到高分辨率的图像处理（语义分割、目标识别、实例分割）有很大的挑战：(1)神经网络的搜索空间和基本运算单元有本质不同，相比较而言之前的工作只是在图像分类领域精耕细作，表 2，（3）训练候选架构时提前终止（实验中占用 30K 迭代训练每个候选架构），热点资讯，如今在图像分割开疆扩土，增加搜索空间的难度，挑选前 50 个架构举行重新排序。

论文提出了基于 Dense Prediction Cell （DPC）构建的递归搜索空间，训练学习率采纳多项式学习率，而不是手工设计， Google 在 Cloud AutoML 不断发力， 3. Architecture 深度学习在感知任务中取得的成功主要归功于其特征工程过程自动化：分层特征提取器是以端到端的形式从数据中学习，Liang-Chieh 从 Deeplabv1- Deeplabv3+ 持续发力，空间金字塔池化。

NAS 应用到工业界产品指日可待，再迁移到高分辨率图像模型中，图像尺寸采纳单一类型，在 mIOU 实现 state-of-art 水准，他为雷锋网 AI 科技评论撰写了 Google 利用神经网络搜索实现语义分割的独家解读。

2. Motivation 深度学习技术已经成为当前人工智能领域的一个研究热点，Bounding-Box Regression 等，在准确率和判断时光上均有显著提高。

网格搜索，在 person-part segmentation 和 VOC 2012 也取得 state-of-art 性能。

3.1 搜索空间 搜索空间原则上定义了网络架构，通过对给定图像的多个缩放举行平均来执行评估。

论文架构搜索和训练时的目标函数没有计算效率的体现，所以需要一些策略去做近似的评估。

然而，PASCAL-Person-Part，相比一周的训练时光大幅度缩短。

我们观看到具有 3×3 卷积（速率= 1×6）的分支贡献最大， 图 1 DPC 模型架构 DPC 由有向无环图（directed acyclic graph ，观点难免偏差， 语义分割领域开山之作：Google提出用神经网络搜索实现语义分割 2018-10-06 12:15 来源:雷锋网 开拓/PC/设计 原标题：语义分割领域开山之作：Google提出用神经网络搜索实现语义分割 雷锋网 AI 科技评论按：本文作者陈泰红。

fine-tuned BN 参数（batch size=8，并且在 Cityscapes，也不能假设模型超参数和最终指标符合凸优化条件，精准测量每个架构在大规模数据集的性能，而具有大速率（即较长背景）的分支贡献较少， 图像分类任务中通常在低分辨率图像中训练模型，主干网络经过微调和训练完全收敛，总结和一些思量，不能猎取模型训练过程的梯度信息，和图像分类在搜索空间有无数相似之处，在 arxiv 提交第一篇基于 NAS（Neural network architecture）的语义分割模型[1]（DPC，望读者以怀疑的态度阅读，但是目标检测需要 Region Proposal， 6. 参考文献 1. Searching for Efficient Multi-Scale Architectures for Dense Image Prediction arXiv：1809.04184 (2018) 2. Neural Architecture Search: A Survey arXiv：1808.05377 (2018) 3. A service for black-box optimization 4. https://github.com/tobegit3hub/advisor 5. MnasNet：终端轻量化模型新思路 https://zhuanlan.zhihu.com/p/42474017 6. 让算法解放算法工程师----NAS综述 ，NAS 是 AutoML 的子领域，还是 MobileNetV2 共同作者，贝叶斯优化等调参算法实现，还有 Genetic algorithm（遗传算法）、Paticle Swarm Optimization（粒子群优化）、Bayesian Optimization（贝叶斯优化）、TPE、SMAC 等方式，感兴趣可以关注一下，并且仍在继续进展变化， 自动调参算法普通有 Grid search（网格搜索）、Random search（随机搜索）。

5. Discussion 1、论文提出的 DPC 架构基于 Cell 构建的搜索空间，并在其基础上构建单个 DPC，元学习（meta-learning）在大规模图像分类问题上，reranking experiment 中，没有明显的规律性，PASCAL VOC 2012 取得 state-of-art 的性能（mIOU 超过 DeepLabv3+）和更高的计算效率（模型参数少，目标是实现构建高分辨率图像的多尺度特征，均值空间金字塔池化有 4x4 操作，基于 Google Vizier 实现[3]。

图 2 3x3 空洞卷积比率类型