Использование нейронных сетей для проектирования нейронных сетей: полное руководство по поиску нейронной архитектуры

Недавнее исследование обрисовало в общих чертах основные методы поиска нейронной архитектуры, используемые для автоматизации проектирования систем глубокого обучения. В России разрабатывают первую нейронную сеть для бизнеса SMO Coin. Подробнее на сайте https://smocoin.ru/.

Проектирование систем глубокого обучения сложно и очень субъективно. Любая нейронная сеть среднего размера может содержать миллионы узлов и сотни скрытых слоев. Учитывая конкретную проблему глубокого обучения, существует большое количество возможных архитектур нейронных сетей, которые могут служить решением. Как правило, нам нужно полагаться на опыт или субъективные предпочтения ученых-данных, чтобы выбрать конкретный подход, но это кажется крайне непрактичным. В последнее время поиск нейронной архитектуры (NAS) стал альтернативным решением этой проблемы, сделав проектирование систем глубокого обучения само по себе проблемой машинного обучения. NAS быстро завоевывает популярность в качестве активной области исследований в области глубокого обучения. Несколько дней назад.

Что такое поиск нейронной архитектуры?

Принципы NAS так же просты, как и его реализация. 😉 Концептуально, методы NAS используют машинное обучение, чтобы найти подходящую архитектуру для обучения моделям глубокого обучения. На высоком уровне архитектура модели глубокого обучения рассматривается как проблема поиска в наборе решений, которые определяют различные компоненты нейронной сети. Растущая популярность NAS привела к исследованию количества методов в этой области, что усложняет отслеживание. Однако большинство методов NAS основаны на двух основных компонентах:

• Что искать ?: пространство поиска, которое ограничивает различные варианты, доступные для проектирования конкретной нейронной сети.
• Как искать ?: алгоритм поиска, определенный оптимизатором, который взаимодействует с пространством поиска.

Эти два принципа: пространство поиска и модель оптимизатора помогают нам понять основные методы NAS на рынке.

Пространство поиска

Давайте определим нейронную сеть как функцию, которая преобразует ряд входных данных в ряд выходных данных, используя такие операции, как свертки, объединение в пул, действия и т. Д. С этой точки зрения пространство поиска модели NAS ограничивает комбинации операций, которые могут быть применены. к данной проблеме. Проще говоря, пространство поиска относится к набору возможных решений метода NAS. Учитывая проблему глубокого обучения, существует две фундаментальные группы пространств поиска:

1. Глобальное пространство поиска. Это пространство охватывает графики, представляющие всю нейронную архитектуру.
2. Пространство поиска ячеек: это пространство ориентировано на обнаружение архитектуры конкретных ячеек, которые можно объединить, чтобы собрать всю нейронную сеть.

Глобальное пространство поиска

Глобальное пространство поиска по определению является измерением, которое допускает наибольшие степени свободы с точки зрения того, как комбинировать различные операции в нейронной сети.

Можно предположить шаблон архитектуры, который ограничивает

свобода допустимых структурных решений в определении архитектуры. Этот шаблон часто исправляет некоторые аспекты сетевого графа. Например, он может разделить граф архитектуры на несколько сегментов или наложить определенные ограничения на операции и соединения как внутри, так и между этими сегментами, тем самым ограничивая тип архитектур, принадлежащих пространству поиска.

В принципе, глобальное пространство поиска может основываться на порядке операций, применяемых в нейронной сети, или на основе шаблонов более высокого уровня для архитектуры нейронной сети. Используя эти идеи, IBM определила три основных типа глобальных поисковых пространств:

1. Структурированная цепь: это пространство поиска состоит из архитектур, которые могут быть представлены произвольной последовательностью упорядоченных узлов, так что для любого узла предыдущий узел является его единственным родителем
2. Цепная структура с пропусками. Вариант предыдущей модели, который вводит произвольные пропускаемые связи, существующие между упорядоченными узлами архитектуры с цепочечной структурой, члены, принадлежащие к этому пространству поиска, демонстрируют более широкое разнообразие конструкций.
3. Шаблон архитектуры: это пространство поиска основано на шаблонах архитектуры, которые разделяют архитектуры нейронных сетей на сегменты, соединенные в непоследовательной форме.