A Сверточная нейронная сеть (CNN или ConvNet) — это еще один тип нейронной сети, который можно использовать для того, чтобы машины могли визуализировать вещи.

CNN используются для анализа изображений и визуальных эффектов. Эти классы нейронных сетей могут вводить многоканальное изображение и легко работать с ним с минимальной предварительной обработкой.

Эти нейронные сети широко используются в:

• Распознавание изображений и классификация изображений
• Обнаружение объекта
• Распознавание лиц и др.

Таким образом, CNN принимает изображение в качестве входных данных, обрабатывает его и классифицирует по определенным категориям.

Источник изображения: Google Images

2. Почему мы предпочитаем сверточные нейронные сети (CNN) искусственным нейронным сетям (ANN) для данных изображения в качестве входных данных?

2. CNN может изучать несколько уровней представлений признаков изображения, применяя фильтры или преобразования.

3. В CNN количество параметров для обучения сети значительно меньше, чем в многослойных нейронных сетях, поскольку количество блоков в сети уменьшается, что снижает вероятность переобучения.

4. Кроме того, CNN рассматривает контекстную информацию в небольшом районе, и из-за этой функции это очень важно для достижения лучшего прогноза в данных, таких как изображения. Поскольку цифровые изображения представляют собой набор пикселей с высокими значениями, для их анализа имеет смысл использовать CNN.

В архитектуру CNN входят следующие уровни:

1. Входной слой: Входной слой в CNN должен содержать данные изображения. Данные изображения представлены трехмерной матрицей. Мы должны преобразовать изображение в один столбец.

Например, Предположим, у нас есть набор данных MNIST и изображение размером 28 x 28 = 784, вам нужно преобразовать его в 784 x 1, прежде чем подавать на вход. Если у нас есть «k» обучающих примеров в наборе данных, то размерность ввода будет (784, k).

2. Сверточный слой:  Для выполнения операции свертки этот слой используется для создания нескольких меньших окон изображения для просмотра данных.

3. Слой ReLU: Этот слой вносит нелинейность в сеть и преобразует все отрицательные пиксели в ноль.

4. Слой объединения: Объединение — это операция понижения дискретизации, которая уменьшает размерность карты объектов.

5. Полностью подключенный слой: Этот слой идентифицирует и классифицирует объекты на изображении.

6. Softmax/логистический уровень: softmax или логистический уровень является последним уровнем CNN. Он находится в конце слоя FC. Логистика используется для постановки задачи бинарной классификации, а softmax — для постановки задачи множественной классификации.

7. Выходной слой:  Этот слой содержит метку в виде вектора с горячим кодированием.

Уровень RELU — После каждой операции свертки используется операция RELU. Более того, RELU является нелинейной функцией активации.

Обычно изображение сильно нелинейно, что означает различные значения пикселей. Это сценарий, в котором алгоритму очень сложно делать правильные прогнозы. В этих случаях применяется функция активации RELU, чтобы уменьшить нелинейность и облегчить работу.

Таким образом, этот слой помогает в обнаружении признаков, уменьшении нелинейности изображения, преобразовании отрицательных пикселей в ноль, что также позволяет обнаруживать вариации признаков.

Таким образом, нелинейность свертки (линейная операция) вводится с помощью нелинейной функции активации, такой как RELU.

Источник изображения: Google Images

CNN использует слои пула, чтобы уменьшить размер входного изображения, чтобы ускорить вычисления в сети.

Пул или пространственное объединение слоев: Также называется субдискретизация или субдискретизация .

• Применяется после операций свертки и RELU.
• Уменьшает размерность каждой карты объектов, сохраняя наиболее важную информацию.
• Поскольку количество скрытых слоев, необходимых для изучения сложных отношений, присутствующих в изображении, было бы большим.

В результате объединения, даже если бы изображение было немного наклонено, в определенной области карты признаков было бы записано наибольшее число, и, следовательно, признак сохранился бы. Также как еще одно преимущество, уменьшение размера на очень значительную величину будет использовать меньше вычислительной мощности. Таким образом, это также полезно для извлечения доминирующих признаков.

Stride говорит нам о количестве пикселей, на которые мы прыгнем, когда будем сворачивать фильтры.

Если наше входное изображение имеет размер n x n и размер фильтров f x f, а p — это количество отступов, а s — это шаг, то размерность карты объектов определяется следующим образом:

Dimension = floor[ ((n-f +2п)/с)+1] х пол[ ((н-ж+2п)/с)+1]

Чтобы вычислить размер свернутой матрицы, мы используем обобщенное уравнение:

C = ((n-f+2p)/s)+1

, где

C — размер свернутой матрицы.

n — размер входной матрицы.

f — размер матрицы фильтра.

p — количество заполнения.

с — примененный шаг.

Здесь n = 12, f = 3, p = 0, s = 1

Следовательно, размер свернутой матрицы равен 10 X 10.

8. Объясните термины «Действительный заполнитель» и «Тот же заполнитель» в CNN.

Допустимое заполнение:  Этот тип используется, когда не требуется заполнение. Выходная матрица после свертки будет иметь размерность (n – f + 1) X (n – f + 1).

То же заполнение: Здесь мы добавили элементы заполнения по всей выходной матрице. После этого типа заполнения мы получим размеры входной матрицы такие же, как и у свернутой матрицы.

После того же дополнения, если мы применим фильтр размерности f x f к (n+2p) x (n+2p) входной матрице, то мы получим размер выходной матрицы (n+2p-f+1) x ( п+2р-ж+1) . Поскольку мы знаем, что после применения Padding мы получим тот же размер, что и исходный входной размер (n x n). Отсюда имеем

(n+2p-f+1)x(n+2p-f+1) эквивалентно nxn

n+2p-f+1 = n

p = (f-1)/2
Итак , используя Padding таким образом, мы не теряем много информации, и изображение также не сжимается.

9. Какие существуют типы объединения? Объясните их характеристики.

Пространственное объединение может быть разных типов: максимальное объединение , среднее объединение и суммирование .

• Максимальное объединение: После того, как мы получим карту объектов на входе, мы применим фильтр определенных форм к карте объектов, чтобы получить максимальное значение из этой части карты объектов. Это также известно как подвыборка, потому что из всей части карты объектов, охватываемой фильтром или ядром, мы выбираем одно максимальное значение.
• Средний пул: Вычисляет среднее значение карты объектов, покрываемой ядром или фильтром, и принимает минимальное значение результата.
• Объединение сумм: Вычисляет сумму всех элементов в этом окне.

Характеристики:

Максимальный пул возвращает максимальное значение части, охватываемой ядром, и подавляет шум, а средний пул возвращает только меру этой части.

Наиболее широко используемым методом объединения является max pooling , так как он захватывает наиболее важные функции.

Источник изображения: Google Images

Нет , операция свертки сжимает матрицу пикселей (входное изображение), только если размер фильтра больше 1, т. е. f > 1.

Когда мы применяем фильтр 1×1, размер изображения не уменьшается и, следовательно, не происходит потери информации.

Шаг относится к количеству пикселей, на которое мы скользим по матрице фильтра по входной матрице. Например –

• Если Шаг =1 , то перемещайте фильтр по одному пикселю за раз.
• Если Шаг=2, , то перемещайте фильтр на два пикселя за раз.

Кроме того, более крупные шаги будут создавать меньшую карту объектов.

После серии операций свертки и объединения в представлении признаков изображения мы затем объединяем выходные данные окончательных объединенных слоев в один длинный непрерывный линейный массив или вектор.

Процесс преобразования всех результирующих двумерных массивов в вектор называется Flattening .

Выходные данные Flatten подаются в качестве входных данных в полностью подключенную нейронную сеть, имеющую различное количество скрытых слоев, для изучения нелинейных сложностей, присутствующих в представлении признаков.

Гиперпараметры для слоя пула:

• Размер фильтра
• Шаг
• Максимальное или среднее объединение

Если вход слоя объединения равен n _h x n _w x n _c , то выход будет –

Dimension = [ {(n _h – f) / s + 1}* {(n _w – f) / с + 1}* n _с’ ]

14. Какова роль полносвязного уровня (FC) в CNN?

Целью полносвязного слоя является использование высокоуровневой функции входного изображения, созданного сверточными слоями и слоями объединения, для классификации входного изображения по различным классам на основе набора обучающих данных.

Полная связь означает, что каждый нейрон в предыдущем слое связан с каждым нейроном в следующем слое. Сумма выходных вероятностей из полностью подключенного слоя равна 1, полностью подключена с использованием функции активации softmax в выходном слое.

Функция softmax берет вектор произвольных действительных оценок и преобразует его в вектор значений от 0 до 1, сумма которых равна 1. для каждого синапса входной слой корректируется по весу и включается в функцию активации. Затем выходные данные сравниваются с истинными значениями, и сгенерированная ошибка распространяется обратно, т. Е. Веса пересчитываются и повторяются все процессы. Это делается до тех пор, пока функция ошибки или стоимости не будет минимизирована.

Feature Learning работает с алгоритмом, изучая набор данных. Для этого работают такие компоненты, как Convolution, ReLU и Pooling, с многочисленными итерациями между ними. Как только признаки известны, происходит классификация с использованием компонентов Flattening и Full Connection.

Источник изображения: Google Images

Как мы знаем, свертывание входных данных размерностью 6 X 6 с фильтром размерности 3 X 3 приводит к выходным данным размерности 4 X 4. Давайте обобщим идею:

Мы можем обобщить это и сказать, что если входные данные равны n X n, а размер фильтра равен f X f, то выходной размер будет равен (n-f+1) X (n-f+1) :

• Ввод: n X n
• Размер фильтра: f X f
• Вывод: (n-f+1) X (n-f+1)

Недостатков здесь в первую очередь два:

• Когда мы применяем операцию свертки, размер изображения каждый раз уменьшается.
• Пиксели, находящиеся в углу изображения, т. е. по краям, используются во время свертки лишь несколько раз по сравнению с центральными пикселями. Следовательно, мы не уделяем слишком много внимания углам, так как это может привести к потере информации.

Чтобы преодолеть эти проблемы, мы можем применить отступы к изображениям с дополнительной рамкой, т. е. мы добавляем один пиксель по всем краям. Это означает, что входные данные будут иметь размерность 8 X 8 вместо матрицы 6 X 6. Применение свертки на входе фильтра размером 3 X 3 приведет к получению матрицы 6 X 6, которая совпадает с исходной формой изображения. Здесь на сцену выходит Паддинг:

Заполнение: В свертке операция уменьшает размер изображения, т. е. пространственное измерение уменьшается, что приводит к потере информации. Поскольку мы продолжаем применять сверточные слои, размер карты объема или объектов будет уменьшаться быстрее.

Zero Paddings позволяют нам контролировать размер карты признаков.

Заполнение используется для того, чтобы размер вывода был таким же, как размер ввода.

Количество отступов = количество строк и столбцов, которые мы будем вставлять вверху, внизу, слева и справа от изображения. После применения прокладки,

• Ввод: n X n
• Прокладка: p
• Размер фильтра: f X f
• Вывод: (n+2p-f+1) X (n+2p-f+1)

Слой-1: Размер фильтра — 3 X 3, количество фильтров — 10, шаг — 1, отступ — 0

Слой-2: Размер фильтра — 5 X 5, количество фильтров — 20, шаг — 2, отступ — 0

Layer-3: Размер фильтра — 5 X 5, количество фильтров — 40, шаг — 2, отступ — 0