Параметры профиля контролируются на любом участке швеллера, но не ближе 0,5 м от его торцов.

Все остальные данные, например, погрешности в зависимости от точности проката, понятны лишь специалистам, поэтому приводить их не имеет смысла.

Вес

На каждый м.п. – 8,59 кг. При условии, что плотность стали составляет 7,85 г/см³. Допустимые отклонения от указанного значения массы +3% и -5%.

Калькулятор расчета массы Швеллера горячекатаного:

Стоимость

Ориентировочная цена – в пределах 356 руб/м.п.

Сортамент швеллеров таблица 10, 12, 14 16, 18, 24 с параллельными гранями

Сортамент швеллеров

Швеллеры стальные горячекатаные подразделяются по номеру — высоте швеллера, указывающийся в сантиметрах. Высота швеллера составляет от 5 до 40 см, ширина полок — 32 — 115 мм, толщина от 4 до 15 мм, это указывается в ГОСТах в табличных данных.

Швеллеры изготавливают:
— с параллельными гранями полок — обозначается буквой П — основные размеры: 5П; 6,5П; 8П; 10П; 12П; 14П; 16П; 18П; 20П; 22П; 24П; 27П; 30П; 36П; 40П;
— с уклоном внутренней грани полок — буквой У: 5У; 6,5У; 8У; 10У; 12У; 14У; 16У; 18У; 20У; 22У; 24У; 27У; 30У; 36У; 40У;
— экономичные с параллельными гранями полок (Э),
— лёгкой серии с параллельными гранями полок (Л),
— специальные — С.

Длиной швеллер бывает от 2 до 12м, в основном мерный: 6м, 9 м, 11, 7м, 12м. Немерный швеллер 4 — 12 м докладывают в пачки мерной длины, по цене он более дешёвый, по сравнению с мерными хлыстами.

Производится швеллер по следующим стандартам:
— ГОСТ 8240 Швеллер стальной горячекатаный
— ГОСТ 8278 Швеллер стальной гнутый равнополочный
— ГОСТ 8281 Швеллер гнутый неравнополочный
— ГОСТ 12950 Швеллер для станочных приспособлений
— ГОСТ 19425 Швеллер стальной специальный

Швеллер производят марок стали: ст3 и 09Г2С. Используется этот металлопрокат в строительстве как несущий элемент конструкции, для перекрытий, для реставрации, в вагоностроении, станко-, машино- и мостостроении, для рекламных вывесок.

Основные производители швеллера: ОАО ЗСМК («Западно-Сибирский металлургический комбинат»), ОАО НТМК («Нижнетагильский металлургический комбинат»), ОАО «Северсталь», ОАО «НОСТА».

Таблица швеллеров, размер, масса стального горячекатанного швеллера У (с уклоном внутренней грани полок) (ГОСТ 8240-89, ГОСТ 8240-97), вес 1 метра швеллера, количество метров в тонне

Таблица швеллеров, размер, масса стального горячекатанного швеллера П (с параллельными гранями полок) (ГОСТ 8240-89, ГОСТ 8240-97), вес 1 метра швеллера, количество метров в тонне

Таблица швеллеров, размер, масса стального гнутого равнополочного швеллера (ГОСТ 8278-83), вес 1 метра швеллера, количество метров в тонне

Швеллер горячекатаный 10 П длина 6м, 11,7м

Высота (h), мм: 100
Ширина полки (b), мм: 46
Толщина стенки (s), мм: 4,5
Толщина полки (t), мм: 7,6
Длина: 6м, 11,7м
Масса 1 м, кг: 8,59
Метров в тонне: 116,4
ГОСТ: ГОСТ 8240-89

Швеллер горячекатаный представляет собой стальной профиль П-образного сечения. Швеллер горячекатаный, поставляемый компанией «Металлосервис», соответствует всем требованиям ГОСТ 8240-89.

Выпускаются следующие виды горячекатаных швеллеров:

• с уклоном внутренних граней полок (У): 5; 6,5; 8; 10; 12; 14; 16; 16а; 18; 18а; 20; 22; 24; 27; 30; 40.
• с параллельными гранями полок (П): 5П; 6,5П; 8П; 10П; 12П; 14П; 16аП; 18П; 18аП; 20П; 22П; 24П; 27П; ЗОП; 40П.

Швеллер стальной горячекатаный ГОСТ 8240-89 как общего, так и специального назначения производится длиной от 4 до 12 м., высотой 50-400 мм , шириной полок 32-115 мм.

Швеллер стальной горячекатаный используется при строительстве и ремонте мостов, большепролетных ферм, в колоннах, в кровельных прогонах. Кроме строительства, горячекатаные швеллеры широко применяются в различных отраслях промышленности, например, в машиностроении, станкостроении и дорожном строительстве.

Швеллер стальной горячекатаный производится из холоднокатаной, горячекатаной, углеродистой, качественной конструкционной и низколегированной стали.

Размеры, масса и количество метров в тонне швеллера горячекатаного

Швеллер п 10 размеры | ТРАСТ МЕТАЛЛ

Сортовой прокат

Листовой прокат

Нержавеющая сталь

Метизы и метсырье

Цветные металлы

Швеллер стальной горячекатаный ГОСТ 8240-89 как общего, так и специального назначения производится длиной от 4 до 12 м. , высотой 50-400 мм , шириной полок 32-115 мм. Швеллер горячекатаный представляет собой стальной профиль П-образного сечения. Выпускаются следующие виды горячекатаных швеллеров: с уклоном внутренних граней полок (У): 5, 6,5, 8, 10, 12, 14, 16, 16а, 18, 18а, 20, 22, 24, 27, 30, 40. с параллельными гранями полок (П): 5П, 6,5П, 8П, 10П, 12П, 14П, 16аП, 18П, 18аП, 20П, 22П, 24П, 27П, ЗОП, 40П. Швеллер горячекатаный 10 П длина 6м, 11,7м. Швеллер стальной горячекатаный используется при строительстве и ремонте мостов, большепролетных ферм, в колоннах, в кровельных прогонах. Высота (h), мм: 100 Ширина полки (b), мм: 46 Толщина стенки (s), мм: 4,5 Толщина полки (t), мм: 7,6 Длина: 6м, 11,7м Масса 1 м, кг: 8,59 Метров в тонне: 116,4 ГОСТ: ГОСТ 8240-89.

Швеллер п 10 размеры

Кроме строительства, горячекатаные швеллеры широко применяются в различных отраслях промышленности, например, в машиностроении, станкостроении и дорожном строительстве. Швеллер горячекатаный, поставляемый компaнией «ТрастМеталл», соответствует всем требованиям ГОСТ 8240-89. Швеллер стальной горячекатаный производится из холоднокатаной, горячекатаной, углеродистой, качественной конструкционной и низколегированной стали.

Швеллер п 10

Смотрите также

• Швеллер двутавр размеры

  «ТрастМеталл»: с уклоном внутренних граней и с параллельными гранями. Сколько весит 1 м двутавра с высотой стенки 30 см, зависит от его типа. Назначение…

• Швеллер двутавровый размеры

  Например: П – параллельное расположение внешних граней. ГОСТ 8240-97. h — высота швеллера, b — ширина полки, S — толщина стенки, R — радиус внутреннего…

• Размеры швеллера и двутавра

  Отличаются более высокими требованиями по отношению к содержанию вредных примесей. Среди многообразия видов металлопроката двутавр обладает наиболее…

• Швеллер 10 размеры

  При производстве добавляются только легкие металлы, к примеру, алюминий. «Э» эконом вариант. За счет большой жесткости изделие выдерживает огромные…

• Размеры швеллера 20

  Разбираемся в сортаменте швеллеров. Именно такие свойства позволяют успешно использовать швеллеры любых размеров для изготовления высоконагруженных…

Швеллер 10п в наличии по цене от 89490 руб за тонну

Металлобаза	Цена	Цена от 1т.	Цена от 5т.	Цена от 10т.
Капотня →Москва		92 590	92 590	92 590
Электроугли →		92 590	92 590	92 590
Предпортовая →С. Петербург		89 990	89 990	89 990
Нижний Новгород →Металлобаза № 1		91 090	91 090	91 090
Курск →		92 990	92 990	92 990
Ростов-На-Дону →Индустриальная		89 490	89 490	89 490
Ростов-На-Дону →Батайск		89 490	89 490	89 490
Хабаровск →		92 990	92 990	92 990

Металлобаза	Цена, т.
КапотняМосква	92 590 ₽
Электроугли	92 590 ₽
ПредпортоваяС.Петербург	89 990 ₽
Нижний НовгородМеталлобаза № 1	91 090 ₽
Курск	92 990 ₽
Ростов-На-ДонуИндустриальная	89 490 ₽
Ростов-На-ДонуБатайск	89 490 ₽
Хабаровск	92 990 ₽

• 95 340 ₽ – Балаково
• 93 790 ₽ – Белгород
• 93 890 ₽ – Брянск
• 95 190 ₽ – Чебоксары
• 97 090 ₽ – Краснодар
• 94 890 ₽ – Пенза
• 96 190 ₽ – Самара
• 94 690 ₽ – Софийская
• 97 590 ₽ – Таганрог

Использование качественного стального проката — обязательное требование при изготовлении конструкций разного типа и назначения. МЕТАЛЛСЕРВИС предлагает обширный сортамент швеллера 10П, соответствующего ГОСТ 8240-97. Прокат характеризуется высокой точностью изготовления и качеством обработки поверхностей.

Швеллер представляет собой распространенную разновидность профиля с П-образным сечением. Основное назначение проката — изготовление нагруженных конструкций, применяемых в машиностроительной и строительной отрасли. Популярность швеллера обусловлена хорошими прочностными характеристиками, легкостью, простотой хранения, транспортировки и крепления. Для увеличения срока службы прокат может покрываться цинком или порошковыми составами.

В МЕТАЛЛСЕРВИС вы можете приобрести швеллер 10П, удовлетворяющий ГОСТ 8240-97, по минимальной цене за метр. Прокат имеется в наличии на базе компании и отгружается незамедлительно после оплаты. Купить швеллер 10П можно в Москве и в других городах; доставка осуществляется проверенными компаниями-перевозчиками.

• 84 990 ₽ – Швеллер 10 П, длина 6 м, Ст3
• 84 990 ₽ – Швеллер 10 П, длина 6 м, С255
• 85 990 ₽ – Швеллер 10 П, длина 12 м, С255
• 86 990 ₽ – Швеллер 10 У, длина 12 м, Ст3
• 87 990 ₽ – Швеллер 10 У, длина 6 м, Ст3
• 92 990 ₽ – Швеллер 10 П, длина 11,7 м, Ст3

Выберите город

Выберите город

P1000 – 1-5 / 8 “x 1-5 / 8”, 12 Gage Channel, сплошной

P1000 – 1-5 / 8 “x 1-5 / 8”, 12 Gage Channel, цельный

Канал твердой стойки 12 калибра

Unistrut P1000 – это оригинальный канал распорки с металлическим каркасом, который уже более 90 лет используется в бесчисленных приложениях. Широко известный как 12 Gauge Standard или Deep Strut Channel, он является мировым стандартом для металлических каркасов распорок.

Этот канал обычно используется для опор трапеции, сейсмических связей, потолочных решеток, опор труб, каналов, каналов и кабельных лотков, стоек и других каркасов общего назначения.Примеры приложений см. В нашей витрине приложений.

P1000 одобрен OPA для сейсмической защиты и будет включен в наш предстоящий OPM. Он также внесен в списки UL и CSA для использования в качестве канала качения с подкосом.

Размеры продукта: ширина 1 5/8 дюйма, высота 1 5/8 дюйма, диаметр 12 мм. толстый, прочный. Также доступны перфорированные отверстия для простоты установки.

Наш P1000 доступен в предварительно оцинкованном (PG), Unistrut Defender (DF), оцинкованном горячим способом (HG), гладком (PL), зеленом (GR) цвете, цветах из бихромата цинка (ZD), нержавеющей стали (SS или ST) и алюминий (EA).

Деталь №	Длина (фут)	Отделка	Вес продукта / фут (фунт / фут)
P1000	20	PG	1,89
P1000	10	PG	1. 89
P1000	20	DF	2,014
P1000	10	DF	2,014
P1000	20	HG	2,014
P1000	10	HG	2.014
P1000	10	ГР	1,89
P1000	20	ГР	1,89
P1000	20	PL	1,89
P1000	10	PL	1. 89
P1000	10	ZD	1,89
P1000	20	ZD	1,89
P1000	10	SS	1,89
P1000	20	SS	1.89
P1000	20	ST	1,89
P1000	10	ST	1,89
P1000	20	EA	0,733
P1000	10	EA	0. 733

Загрузка балки

Нагрузка на балку – P1000
Охватывать (дюйм)	Максимум Позволять. Униформа Нагрузка (фунты)	Прогиб на Равномерная нагрузка (дюйм)	Равномерная загрузка при прогибе			Боковые распорки Коэффициент понижения
			Размах / 180 (фунты)	Размах / 240 (фунты)	Размах / 360 (фунты)
24	1,690	0. 06	1,690	1,690	1,690	1,00
36	1,130	0,13	1,130	1,130	900	0,94
48	850	0,22	850	760	500	0.88
60	680	0,35	650	480	320	0,82
72	560	0,5	450	340	220	0,78
84	480	0. 68	330	250	160	0,75
96	420	0,89	250	190	130	0,71
108	380	1,14	200	150	100	0.69
120	340	1,40	160	120	80	0,66
144	280	2,00	110	80	60	0,61
168	240	2. 72	80	60	40	0,55
192	210	3,55	60	50	NR	0,51
216	190	4,58	50	40	NR	0.47
240	170	5,62	40	NR	NR	0,44
Примечание	NR – не рекомендуется

Информацию о загрузке см. В общих технических характеристиках.

Загрузка колонны

Элементы раздела

Общие характеристики

Стандартные длины:

• 10 футов: 10 футов или 10 футов ¹ / ₈ ”(3. 05 м) ± ¹ / ₈ “(3 мм)
• 20 футов: 20 футов или 20 футов ³ / ₈ дюйм (6,11 м) ± ¹ / ₈ дюйм (3 мм)

Специальная длина:

Изогнутый канал:

• Многие секции каналов Unistrut могут поставляться с изгибом. Щелкните здесь, чтобы просмотреть форму заказа, спецификации и инструкции.

Данные нагрузки:

• Все данные о нагрузках на балки и колонны относятся к каналам из углеродистой и нержавеющей стали.
• Таблицы нагрузок действительны только для торговых марок UNISTRUT. Ищите “UNISTRUT” на товаре.
• Таблицы нагрузок и диаграммы составлены в соответствии со СПЕЦИФИКАЦИЕЙ ДЛЯ ПРОЕКТИРОВАНИЯ КОНСТРУКЦИОННЫХ ЧАСТЕЙ ИЗ ХОЛОДОПЛАВЛЕННОЙ СТАЛИ ИЗДАНИЕ 2007 г., опубликованной АМЕРИКАНСКИМ ИНСТИТУТОМ ЖЕЛЕЗА И СТАЛИ С ИСПОЛЬЗОВАНИЕМ МЕТОДА ASD.
• Нагрузки основаны на холодной штамповке стали 33 тыс. Фунтов на квадратный дюйм до 42 тыс. Фунтов на квадратный дюйм.
Коэффициент запаса прочности
• по пределу текучести составляет 1,67 для нагрузок на балку и 1,80 для нагрузок на колонну.
• Нагрузки на балку основаны на простой балке и представлены как общая равномерная нагрузка (W) в фунтах. Для правильных процедур расчета см. Наше Руководство по расчету балочной нагрузки.
• Информацию о нагрузках на подшипники см. На нашей странице о нагрузках на подшипники.

Материалы и отделка

Материалы и отделка – Стандарт:

• Оцинкованный (PG): Соответствует ASTM A653 SS GR 33, G90.
• Unistrut Defender (DF): Соответствует ASTM A1046 SS GR 33
• Горячее цинкование (HG): Сталь соответствует ASTM A1011 SS GR 33, отделка соответствует ASTM A123
• Perma-Green (GR): Сталь соответствует ASTM A1011 SS GR 33, покрытие E-Coat
• Perma-Gold (ZD): Сталь соответствует ASTM A1011 SS GR 33, отделка соответствует ASTM B633, тип II SC3
• Обычная (PL): Соответствует ASTM A1011 SS GR 33

• Нержавеющая сталь , тип 304 (SS): ASTM A240, тип 304 *
• Нержавеющая сталь , тип 316 (ST): ASTM A240, тип 316 *
• Алюминий (EA): ASTM B221, тип 6063-T6 (экструдированный) *

* Эти материалы имеют разные физические свойства и рабочие характеристики. Пожалуйста, свяжитесь с нами для поддержки дизайна.

Связанные ресурсы

Видео

Файлы CAD

Технические документы

CS231n Сверточные нейронные сети для визуального распознавания

Содержание:

Сверточные нейронные сети (CNN / ConvNets)

очень похожи на обычные нейронные сети из предыдущей главы: они состоят из нейронов, у которых есть обучаемые веса и смещения.Каждый нейрон получает некоторые входные данные, выполняет скалярное произведение и, возможно, следует за ним с нелинейностью. Вся сеть по-прежнему выражает единую дифференцируемую функцию оценки: от пикселей необработанного изображения на одном конце до оценок класса на другом. И у них по-прежнему есть функция потерь (например, SVM / Softmax) на последнем (полностью подключенном) слое, и все советы / приемы, которые мы разработали для изучения обычных нейронных сетей, по-прежнему применимы.

Так что же меняется? Архитектуры ConvNet явно предполагают, что входными данными являются изображения, что позволяет нам кодировать определенные свойства в архитектуре.Затем они делают прямую функцию более эффективной для реализации и значительно сокращают количество параметров в сети.

Обзор архитектуры

Напоминание: обычные нейронные сети. Как мы видели в предыдущей главе, нейронные сети получают ввод (один вектор) и преобразуют его через серию из скрытых слоев . Каждый скрытый слой состоит из набора нейронов, где каждый нейрон полностью связан со всеми нейронами в предыдущем слое, а нейроны в одном слое функционируют полностью независимо и не имеют общих связей.Последний полностью связанный слой называется «выходным слоем» и в настройках классификации представляет оценки класса.

Обычные нейронные сети плохо масштабируются до полных изображений . В CIFAR-10 изображения имеют размер только 32x32x3 (32 в ширину, 32 в высоту, 3 цветовых канала), поэтому один полностью подключенный нейрон в первом скрытом слое обычной нейронной сети будет иметь 32 * 32 * 3 = 3072 веса. . Эта сумма все еще кажется управляемой, но очевидно, что эта полностью связанная структура не масштабируется для больших изображений.Например, изображение более приличного размера, например 200x200x3, приведет к нейронам с весом 200 * 200 * 3 = 120 000. Более того, мы почти наверняка захотели бы иметь несколько таких нейронов, чтобы параметры быстро складывались! Ясно, что такое полное подключение является расточительным, и огромное количество параметров быстро приведет к переобучению.

Трехмерные объемы нейронов . Сверточные нейронные сети используют тот факт, что входные данные состоят из изображений, и они более разумно ограничивают архитектуру.В частности, в отличие от обычной нейронной сети, слои ConvNet имеют нейроны, расположенные в трех измерениях: ширины, высоты и глубины . (Обратите внимание, что слово глубина здесь относится к третьему измерению объема активации, а не к глубине полной нейронной сети, которая может относиться к общему количеству слоев в сети. ) Например, входные изображения в CIFAR-10 – это входной объем активаций, причем объем имеет размеры 32x32x3 (ширина, высота, глубина соответственно).Как мы скоро увидим, нейроны в слое будут подключены только к небольшой области слоя перед ним, а не ко всем нейронам полностью подключенным образом. Более того, конечный выходной слой для CIFAR-10 будет иметь размеры 1x1x10, потому что к концу архитектуры ConvNet мы сократим полное изображение до единого вектора оценок классов, расположенных по измерению глубины. Вот визуализация:

Слева: обычная трехуровневая нейронная сеть. Справа: ConvNet размещает свои нейроны в трех измерениях (ширина, высота, глубина), как это показано на одном из слоев.Каждый слой ConvNet преобразует трехмерный входной объем в трехмерный выходной объем активации нейронов. В этом примере красный входной слой содержит изображение, поэтому его ширина и высота будут размерами изображения, а глубина будет равна 3 (красный, зеленый, синий каналы).

ConvNet состоит из слоев. Каждый слой имеет простой API: он преобразует входной 3D-объем в выходной 3D-объем с некоторой дифференцируемой функцией, которая может иметь или не иметь параметры.

Слои, используемые для построения ConvNets

Как мы описали выше, простая ConvNet – это последовательность уровней, и каждый уровень ConvNet преобразует один объем активаций в другой с помощью дифференцируемой функции.Мы используем три основных типа уровней для построения архитектур ConvNet: Convolutional Layer , Pooling Layer и Fully-Connected Layer (точно так же, как в обычных нейронных сетях). Мы сложим эти слои, чтобы сформировать полную архитектуру ConvNet .

Пример архитектуры: обзор . Мы рассмотрим более подробную информацию ниже, но простая классификация ConvNet для CIFAR-10 может иметь архитектуру [INPUT – CONV – RELU – POOL – FC].Более подробно:

• INPUT [32x32x3] будет содержать необработанные значения пикселей изображения, в данном случае изображение шириной 32, высотой 32 и с тремя цветовыми каналами R, G, B.
Слой
• CONV будет вычислять выходные данные нейронов, которые подключены к локальным областям на входе, каждый вычисляет скалярное произведение между их весами и небольшой областью, к которой они подключены во входном объеме. Это может привести к объему [32x32x12], если мы решили использовать 12 фильтров.
Слой
• RELU будет применять поэлементную функцию активации, такую ​​как пороговое значение \ (max (0, x) \) на нуле.При этом размер тома остается неизменным ([32x32x12]).
Слой
• POOL выполнит операцию понижения дискретизации по пространственным измерениям (ширина, высота), в результате чего получится такой объем, как [16x16x12].
Уровень
• FC (т.е. полностью подключенный) будет вычислять оценки класса, в результате чего получается объем размером [1x1x10], где каждое из 10 чисел соответствует оценке класса, например, среди 10 категорий CIFAR-10. Как и в случае с обычными нейронными сетями, и как следует из названия, каждый нейрон в этом слое будет связан со всеми числами в предыдущем томе.

Таким образом ConvNets преобразуют исходное изображение слой за слоем от исходных значений пикселей до окончательных оценок класса. Обратите внимание, что некоторые слои содержат параметры, а другие – нет. В частности, уровни CONV / FC выполняют преобразования, которые являются функцией не только активаций во входном объеме, но и параметров (весов и смещений нейронов). С другой стороны, уровни RELU / POOL будут реализовывать фиксированную функцию. Параметры в слоях CONV / FC будут обучаться с градиентным спуском, чтобы оценки классов, вычисляемые ConvNet, согласовывались с метками в обучающем наборе для каждого изображения.

Итого:

• Архитектура ConvNet в простейшем случае представляет собой список слоев, которые преобразуют объем изображения в выходной объем (например, удерживая оценки класса)
• Существует несколько различных типов слоев (например, CONV / FC / RELU / POOL, безусловно, самые популярные).
• Каждый слой принимает входной 3D-объем и преобразует его в выходной 3D-объем с помощью дифференцируемой функции
• Каждый уровень может иметь или не иметь параметры (например,CONV / FC – нет, RELU / POOL – нет)
• Каждый уровень может иметь или не иметь дополнительные гиперпараметры (например, CONV / FC / POOL имеют, RELU нет)

Теперь мы опишем отдельные слои и детали их гиперпараметров и их взаимосвязей.

Сверточный слой

Слой Conv – это основной строительный блок сверточной сети, который выполняет большую часть тяжелой вычислительной работы.

Обзор и интуиция без мозгов. Давайте сначала обсудим, что вычисляет слой CONV без аналогий мозг / нейрон.Параметры слоя CONV состоят из набора обучаемых фильтров. Каждый фильтр мал в пространстве (по ширине и высоте), но проходит на всю глубину входного объема. Например, типичный фильтр на первом слое ConvNet может иметь размер 5x5x3 (т.е. 5 пикселей по ширине и высоте и 3, потому что изображения имеют глубину 3, цветовые каналы). Во время прямого прохода мы перемещаем (точнее, сворачиваем) каждый фильтр по ширине и высоте входного объема и вычисляем скалярные произведения между элементами фильтра и входом в любой позиции.Когда мы перемещаем фильтр по ширине и высоте входного объема, мы создаем двухмерную карту активации, которая дает ответы этого фильтра в каждой пространственной позиции. Интуитивно сеть будет изучать фильтры, которые активируются, когда они видят какой-либо тип визуального элемента, такой как край определенной ориентации или пятно определенного цвета на первом слое, или, в конечном итоге, целые соты или похожие на колеса узоры на более высоких уровнях сети. . Теперь у нас будет полный набор фильтров в каждом слое CONV (например,грамм. 12 фильтров), и каждый из них создаст отдельную двухмерную карту активации. Мы сложим эти карты активации по размеру глубины и создадим выходной объем.

Мозг . Если вы поклонник аналогий мозг / нейрон, каждая запись в трехмерном выходном объеме также может быть интерпретирована как выход нейрона, который смотрит только на небольшую область на входе и разделяет параметры со всеми нейронами слева и справа. пространственно справа (поскольку все эти числа являются результатом применения одного и того же фильтра).Теперь мы обсудим детали связности нейронов, их расположение в пространстве и их схему разделения параметров.

Локальное подключение. При работе с многомерными входными данными, такими как изображения, как мы видели выше, нецелесообразно подключать нейроны ко всем нейронам в предыдущем томе. Вместо этого мы подключим каждый нейрон только к локальной области входного объема. Пространственная протяженность этой связи – это гиперпараметр, называемый рецептивным полем нейрона (эквивалентно размером фильтра). Степень связности по оси глубины всегда равна глубине входного объема. Важно еще раз подчеркнуть эту асимметрию в том, как мы относимся к пространственным измерениям (ширине и высоте) и измерению глубины: соединения локальны в пространстве (по ширине и высоте), но всегда полны по всей глубине входного объема.

Пример 1 . Например, предположим, что входной объем имеет размер [32x32x3] (например, изображение RGB CIFAR-10). Если рецептивное поле (или размер фильтра) составляет 5×5, то каждый нейрон в Conv Layer будет иметь веса в области [5x5x3] во входном объеме, всего 5 * 5 * 3 = 75 весов (и +1 параметр смещения).Обратите внимание, что степень связности по оси глубины должна быть 3, поскольку это глубина входного объема.

Пример 2 . Предположим, что входной том имел размер [16x16x20]. Затем, используя пример размера воспринимающего поля 3×3, каждый нейрон в Conv Layer теперь будет иметь в общей сложности 3 * 3 * 20 = 180 подключений к входному объему. Обратите внимание, что, опять же, связь локальна в пространстве (например, 3×3), но полная по глубине ввода (20).

Слева: Пример входного объема, выделенного красным цветом (напр.грамм. изображение 32x32x3 CIFAR-10) и примерный объем нейронов в первом сверточном слое. Каждый нейрон в сверточном слое связан только с локальной областью во входном объеме пространственно, но на полную глубину (то есть со всеми цветовыми каналами). Обратите внимание, есть несколько нейронов (5 в этом примере) по глубине, все они смотрят на одну и ту же область на входе – см. Обсуждение столбцов глубины в тексте ниже. Справа: Нейроны из главы о нейронных сетях остаются неизменными: они по-прежнему вычисляют скалярное произведение своих весов с входными данными, за которыми следует нелинейность, но их связь теперь ограничена локальной пространственной связью.

Пространственное устройство . Мы объяснили возможность подключения каждого нейрона в Conv Layer к входному объему, но мы еще не обсуждали, сколько нейронов находится в выходном объеме или как они устроены. Три гиперпараметра управляют размером выходного объема: глубина , шаг и с заполнением нулями . Мы обсудим это дальше:

1. Во-первых, глубина выходного объема – это гиперпараметр: он соответствует количеству фильтров, которые мы хотели бы использовать, каждый из которых учится искать что-то другое во входных данных.Например, если первый сверточный слой принимает в качестве входных данных необработанное изображение, то различные нейроны по измерению глубины могут активироваться в присутствии различных ориентированных краев или пятен цвета. Мы будем ссылаться на набор нейронов, которые все смотрят на одну и ту же область входа, как на столбец глубины (некоторые люди также предпочитают термин волокно ).
2. Во-вторых, мы должны указать шаг , которым мы перемещаем фильтр. Когда шаг равен 1, мы перемещаем фильтры по одному пикселю за раз.Когда шаг равен 2 (или, как правило, 3 или больше, хотя на практике это редко), фильтры переходят на 2 пикселя за раз, когда мы их перемещаем. Это будет производить меньшие объемы вывода в пространстве.
3. Как мы скоро увидим, иногда бывает удобно дополнить входной объем нулями по краю. Размер с заполнением нулями является гиперпараметром. Приятной особенностью нулевого заполнения является то, что он позволяет нам контролировать пространственный размер выходных томов (чаще всего, как мы вскоре увидим, мы будем использовать его для точного сохранения пространственного размера входного объема, чтобы ширина входа и выхода и высота такие же).

Мы можем вычислить пространственный размер выходного объема как функцию размера входного объема (\ (W \)), размера рецептивного поля нейронов Conv Layer (\ (F \)), шага, с которым они применяются (\ (S \)), и количество используемых нулевых отступов (\ (P \)) на границе. Вы можете убедить себя, что правильная формула для расчета количества «подходящих» нейронов задается как \ ((W – F + 2P) / S + 1 \). Например, для входа 7×7 и фильтра 3×3 с шагом 1 и контактной площадкой 0 мы получим выход 5×5.С шагом 2 мы получим результат 3×3. Давайте также посмотрим еще один графический пример:

Иллюстрация пространственного расположения. В этом примере есть только одно пространственное измерение (ось x), один нейрон с размером рецептивного поля F = 3, входной размер W = 5 и нулевое заполнение P = 1. Left: The нейрон прошел через вход с шагом S = 1, давая результат размером (5 – 3 + 2) / 1 + 1 = 5. Справа: Нейрон использует шаг S = 2, давая результат размером (5 – 3 + 2) / 2 + 1 = 3.Обратите внимание, что шаг S = 3 использовать нельзя, так как он не будет точно помещаться по всему объему. В терминах уравнения это можно определить, поскольку (5 – 3 + 2) = 4 не делится на 3.
Вес нейрона в этом примере [1,0, -1] (показан справа), а его смещение равно нулю. Эти веса являются общими для всех желтых нейронов (см. Разделение параметров ниже).

Использование заполнения нулями . В приведенном выше примере слева обратите внимание, что входной размер был равен 5, а выходной размер был равен: также 5.Это сработало, потому что наши рецептивные поля были 3, и мы использовали нулевое заполнение 1. Если бы не использовалось нулевое заполнение, то выходной объем имел бы пространственное измерение только 3, потому что именно столько нейронов было бы «подходящим» ”По исходному входу. В общем, установка нулевого отступа равным \ (P = (F – 1) / 2 \), когда шаг равен \ (S = 1 \), гарантирует, что входной и выходной объем будут иметь одинаковый пространственный размер. Таким образом очень часто используется заполнение нулями, и мы обсудим все причины, когда поговорим больше об архитектурах ConvNet.

Ограничения на шаг . Отметим еще раз, что гиперпараметры пространственного расположения имеют взаимные ограничения. Например, когда вход имеет размер \ (W = 10 \), нулевое заполнение не используется \ (P = 0 \), а размер фильтра равен \ (F = 3 \), тогда было бы невозможно использовать шаг \ (S = 2 \), поскольку \ ((W – F + 2P) / S + 1 = (10-3 + 0) / 2 + 1 = 4,5 \), т.е. не целое число, что указывает на то, что нейроны не не «вписывается» аккуратно и симметрично по входу. Следовательно, этот параметр гиперпараметров считается недопустимым, и библиотека ConvNet может выдать исключение или обнулить все остальное, чтобы оно соответствовало, или обрезать ввод, чтобы он соответствовал, или что-то в этом роде.Как мы увидим в разделе «Архитектура ConvNet», правильное определение размеров ConvNets, чтобы все измерения «работали», могло стать настоящей головной болью, которую значительно облегчит использование нулевого заполнения и некоторых рекомендаций по проектированию.

Реальный пример . Крижевский и др. Архитектура, победившая в конкурсе ImageNet в 2012 году, принимала изображения размером [227x227x3]. На первом сверточном слое он использовал нейроны с размером рецептивного поля \ (F = 11 \), шагом \ (S = 4 \) и без нулевого заполнения \ (P = 0 \).Поскольку (227 – 11) / 4 + 1 = 55, и поскольку глубина слоя Conv была \ (K = 96 \), выходной объем слоя Conv имел размер [55x55x96]. Каждый из 55 * 55 * 96 нейронов в этом объеме был подключен к области размером [11x11x3] во входном объеме. Более того, все 96 нейронов в каждом столбце глубины подключены к одной и той же области входа [11x11x3], но, конечно, с разными весами. В качестве забавы, если вы читаете настоящую статью, в ней утверждается, что входные изображения были 224×224, что, безусловно, неверно, потому что (224-11) / 4 + 1 явно не является целым числом.Это сбило с толку многих людей в истории ConvNets, и мало что известно о том, что произошло. Мое собственное предположение состоит в том, что Алекс использовал нулевое заполнение из 3 дополнительных пикселей, о которых он не упоминает в статье.

Совместное использование параметров. Схема совместного использования параметров используется в сверточных слоях для управления количеством параметров. Используя приведенный выше реальный пример, мы видим, что в первом слое Conv имеется 55 * 55 * 96 = 290 400 нейронов, и каждый имеет 11 * 11 * 3 = 363 веса и 1 смещение.Вместе это добавляет до 2 * 364 = 105 705 600 параметров только на первом уровне ConvNet. Понятно, что это очень много.

Оказывается, мы можем резко сократить количество параметров, сделав одно разумное предположение: если одна функция полезна для вычисления в некоторой пространственной позиции (x, y), то ее также может быть полезно вычислить в другой позиции ( х2, у2). Другими словами, обозначение одного двумерного среза глубины как среза глубины (например,грамм. объем размером [55x55x96] имеет 96 глубинных срезов, каждый размером [55×55]), мы собираемся ограничить нейроны в каждом глубинном срезе, чтобы использовать одинаковые веса и смещения. С этой схемой совместного использования параметров первый слой Conv в нашем примере теперь будет иметь только 96 уникальных наборов весов (по одному для каждого среза глубины), всего 96 * 11 * 11 * 3 = 34 848 уникальных весов или 34 944 параметра ( +96 предубеждений). В качестве альтернативы все нейроны размером 55 * 55 в каждом глубинном срезе теперь будут использовать одни и те же параметры. На практике во время обратного распространения каждый нейрон в объеме будет вычислять градиент для своих весов, но эти градиенты будут суммироваться по каждому срезу глубины и обновлять только один набор весов для каждого среза.

Обратите внимание, что если все нейроны в одном срезе глубины используют один и тот же вектор весов, то прямой проход слоя CONV в каждом срезе глубины может быть вычислен как свертка весов нейрона с входным объемом (отсюда и название : Сверточный слой). Вот почему обычно наборы весов называются фильтром (или ядром ), который свертывается с вводом.

Примеры фильтров, изученные Крижевским и др.Каждый из 96 фильтров, показанных здесь, имеет размер [11x11x3], и каждый из них используется нейронами размером 55 * 55 в одном глубинном срезе. Обратите внимание, что предположение о совместном использовании параметров относительно разумно: если обнаружение горизонтального края важно в каком-то месте изображения, оно должно интуитивно быть полезным и в другом месте из-за трансляционно-инвариантной структуры изображений. Следовательно, нет необходимости переучиваться, чтобы обнаруживать горизонтальный край в каждом из 55 * 55 различных мест в выходном объеме Conv-слоя.

Обратите внимание, что иногда предположение о совместном использовании параметров может не иметь смысла. Это особенно актуально, когда входные изображения в ConvNet имеют некоторую конкретную центрированную структуру, где мы должны ожидать, например, что на одной стороне изображения должны быть изучены совершенно разные функции, чем на другой. Одним из практических примеров является случай, когда в качестве входных данных используются лица, расположенные по центру изображения. Вы можете ожидать, что различные особенности глаз или волос могут (и должны) изучаться в разных пространственных точках.В этом случае обычно ослабляют схему совместного использования параметров и вместо этого просто называют уровень Locally-Connected Layer .

Примеры Numpy. Чтобы сделать обсуждение выше более конкретным, давайте выразим те же идеи, но в коде и на конкретном примере. Предположим, что входной объем представляет собой массив размером X . Тогда:

• Столбец глубины (или волокно ) в позиции (x, y) будет активациями X [x, y ,:] .
• Глубина среза или, что эквивалентно, карта активации на глубине d будет активацией X [:,:, d] .

Пример слоя Conv . Предположим, что входной объем X имеет форму X.shape: (11,11,4) . Предположим далее, что мы не используем нулевое заполнение (\ (P = 0 \)), что размер фильтра равен \ (F = 5 \), а шаг равен \ (S = 2 \). Таким образом, выходной объем будет иметь пространственный размер (11-5) / 2 + 1 = 4, что дает объем с шириной и высотой 4.Карта активации в выходном томе (назовите ее V ) будет выглядеть следующим образом (в этом примере вычисляются только некоторые элементы):

• V [0,0,0] = np.sum (X [: 5,: 5 ,:] * W0) + b0
• V [1,0,0] = np.sum (X [2: 7,: 5 ,:] * W0) + b0
• V [2,0,0] = np.sum (X [4: 9,: 5 ,:] * W0) + b0
• V [3,0,0] = np.sum (X [6: 11,: 5 ,:] * W0) + b0

Помните, что в numpy операция * выше означает поэлементное умножение между массивами.Также обратите внимание, что вектор весов W0 является вектором весов этого нейрона, а b0 – смещение. Здесь предполагается, что W0 имеет форму W0.shape: (5,5,4) , поскольку размер фильтра равен 5, а глубина входного объема равна 4. Обратите внимание, что в каждой точке мы вычисляем скалярный продукт, который мы видели ранее в обычных нейронных сетях. Кроме того, мы видим, что мы используем тот же вес и смещение (из-за разделения параметров), и где размеры по ширине увеличиваются с шагом 2 (т.е.е. шаг). Чтобы построить вторую карту активации в выходном томе, у нас будет:

• V [0,0,1] = np.sum (X [: 5,: 5 ,:] * W1) + b1
• V [1,0,1] = np.sum (X [2: 7,: 5 ,:] * W1) + b1
• V [2,0,1] = np.sum (X [4: 9,: 5 ,:] * W1) + b1
• V [3,0,1] = np.sum (X [6: 11,: 5 ,:] * W1) + b1
• V [0,1,1] = np.sum (X [: 5,2: 7 ,:] * W1) + b1 (пример перехода по y)
• В [2,3,1] = np.sum (X [4: 9,6: 11 ,:] * W1) + b1 (или по обоим)

, где мы видим, что мы индексируем второе измерение глубины в V (с индексом 1), потому что мы вычисляем вторую карту активации и что теперь используется другой набор параметров ( W1 ). В приведенном выше примере мы для краткости опускаем некоторые другие операции, которые Conv Layer будет выполнять для заполнения других частей выходного массива V . Кроме того, помните, что эти карты активации часто выполняются поэлементно с помощью функции активации, такой как ReLU, но здесь это не показано.

Сводка . Подводя итог, уровень Conv:

• Принимает том размером \ (W_1 \ times H_1 \ times D_1 \)
• Требуется четыре гиперпараметра:
  • Кол-во фильтров \ (К \),
  • их пространственная протяженность \ (F \),
  • шаг \ (S \),
  • количество нулевых отступов \ (P \).
• Создает объем размером \ (W_2 \ раз H_2 \ раз D_2 \), где:
  • \ (W_2 = (W_1 – F + 2P) / S + 1 \)
  • \ (H_2 = (H_1 – F + 2P) / S + 1 \) (т.е. ширина и высота вычисляются одинаково по симметрии)
  • \ (D_2 = К \)
• При совместном использовании параметров он вводит веса \ (F \ cdot F \ cdot D_1 \) для каждого фильтра, всего \ ((F \ cdot F \ cdot D_1) \ cdot K \) весов и \ (K \) смещений. .
• В выходном объеме срез \ (d \) – й глубины (размером \ (W_2 \ times H_2 \)) является результатом выполнения действительной свертки \ (d \) – го фильтра по входному объему. с шагом \ (S \), а затем смещением на \ (d \) – е смещение.

Обычная установка гиперпараметров – \ (F = 3, S = 1, P = 1 \). Однако существуют общие соглашения и практические правила, которые мотивируют эти гиперпараметры. См. Раздел «Архитектура ConvNet» ниже.

Демонстрация свертки . Ниже представлена ​​работающая демонстрация слоя CONV. Поскольку трехмерные объемы трудно визуализировать, все объемы (входной объем (синий), весовой объем (красный), выходной объем (зеленый)) визуализируются с каждым срезом глубины, сложенным в ряды.Входной объем имеет размер \ (W_1 = 5, H_1 = 5, D_1 = 3 \), а параметры слоя CONV равны \ (K = 2, F = 3, S = 2, P = 1 \). То есть у нас есть два фильтра размером \ (3 \ times 3 \), и они применяются с шагом 2. Следовательно, размер выходного тома имеет пространственный размер (5 – 3 + 2) / 2 + 1 = 3 Более того, обратите внимание, что к входному объему применяется дополнение \ (P = 1 \), в результате чего внешняя граница входного объема становится нулевой. Визуализация ниже повторяет активацию вывода (зеленый) и показывает, что каждый элемент вычисляется путем поэлементного умножения выделенного ввода (синий) на фильтр (красный), суммирования и последующего смещения результата смещением.

Реализация как матричное умножение . Обратите внимание, что операция свертки по существу выполняет скалярные произведения между фильтрами и локальными областями ввода. Распространенный шаблон реализации уровня CONV состоит в том, чтобы воспользоваться этим фактом и сформулировать прямой проход сверточного слоя как умножение одной большой матрицы следующим образом:

1. Локальные области входного изображения растягиваются в столбцы в операции, обычно называемой im2col .Например, если на входе [227x227x3] и он должен быть свернут с фильтрами 11x11x3 на шаге 4, то мы должны взять [11x11x3] блоков пикселей на входе и растянуть каждый блок в вектор-столбец размером 11 * 11 * 3 = 363. Итерация этого процесса на входе с шагом 4 дает (227-11) / 4 + 1 = 55 точек по ширине и высоте, что приводит к выходной матрице X_col из im2col размером [363 x 3025], где каждый столбец представляет собой вытянутое воспринимающее поле, а всего их 55 * 55 = 3025.Обратите внимание, что поскольку принимающие поля перекрываются, каждое число во входном объеме может дублироваться в нескольких отдельных столбцах.
2. Веса слоя CONV аналогичным образом растянуты в ряды. Например, если имеется 96 фильтров размером [11x11x3], это даст матрицу W_row размера [96 x 363].
3. Результат свертки теперь эквивалентен выполнению одного большого матричного умножения np.dot (W_row, X_col) , которое оценивает скалярное произведение между каждым фильтром и каждым местоположением принимающего поля.В нашем примере результат этой операции будет [96 x 3025], что даст результат скалярного произведения каждого фильтра в каждом месте.
4. Наконец, результат должен быть возвращен к правильному выходному размеру [55x55x96].

У этого подхода есть обратная сторона, заключающаяся в том, что он может использовать большой объем памяти, поскольку некоторые значения во входном объеме многократно реплицируются в X_col . Однако преимущество состоит в том, что существует множество очень эффективных реализаций умножения матриц, которыми мы можем воспользоваться (например, в широко используемом API BLAS).Более того, ту же идею im2col можно повторно использовать для выполнения операции объединения, которую мы обсудим далее.

Обратное распространение. Обратный проход для операции свертки (как для данных, так и для весов) также является сверткой (но с фильтрами с перевернутым пространством). Это легко вывести в одномерном случае на игрушечном примере (пока не раскрываемом).

Свертка 1×1 . Кстати, в нескольких статьях используются свертки 1×1, впервые исследованные Network in Network.Некоторые люди сначала смущаются, увидев свертки 1×1, особенно когда они исходят из фона обработки сигналов. Обычно сигналы двумерны, поэтому свертки 1×1 не имеют смысла (это просто точечное масштабирование). Однако в ConvNets это не так, потому что нужно помнить, что мы работаем с трехмерными объемами и что фильтры всегда проходят на всю глубину входного объема. Например, если на входе [32x32x3], то свертки 1×1 будут эффективно выполнять 3-мерные скалярные произведения (поскольку глубина ввода составляет 3 канала).

Извилины расширенные. Недавняя разработка (например, см. Статью Фишера Ю и Владлена Колтуна) состоит в том, чтобы ввести еще один гиперпараметр в слой CONV, называемый расширением . До сих пор мы обсуждали только смежные фильтры CONV. Однако можно использовать фильтры с промежутками между ячейками, что называется расширением. Например, в одном измерении фильтр w размера 3 вычислит по входу x следующее: w [0] * x [0] + w [1] * x [1] + w [2] * x [2] .Это расширение 0. Для расширения 1 фильтр вместо этого вычислит w [0] * x [0] + w [1] * x [2] + w [2] * x [4] ; Другими словами, между приложениями есть разрыв в 1. Это может быть очень полезно в некоторых настройках для использования в сочетании с фильтрами с нулевым расширением, потому что это позволяет вам гораздо более агрессивно объединять пространственную информацию по входам с меньшим количеством слоев. Например, если вы складываете два слоя 3×3 CONV друг на друга, вы можете убедить себя, что нейроны на 2-м слое являются функцией участка ввода 5×5 (мы бы сказали, что эффективное рецептивное поле из них нейронов 5х5).Если мы будем использовать расширенные извилины, то это эффективное рецептивное поле будет расти намного быстрее.

Уровень пула

Обычно в архитектуре ConvNet между последовательными слоями Conv периодически вставляют слой объединения. Его функция заключается в постепенном уменьшении пространственного размера представления для уменьшения количества параметров и вычислений в сети и, следовательно, для управления переобучением. Уровень объединения работает независимо на каждом глубинном срезе ввода и изменяет его размер в пространстве, используя операцию MAX.Наиболее распространенная форма – это объединяющий слой с фильтрами размера 2×2, применяемыми с шагом 2 субдискретизации каждого среза глубины на входе на 2 по ширине и высоте, отбрасывая 75% активаций. В этом случае каждая операция MAX будет принимать не более 4 чисел (небольшая область 2×2 на некотором срезе глубины). Размер глубины остается неизменным. В более общем смысле, уровень объединения:

• Принимает том размером \ (W_1 \ times H_1 \ times D_1 \)
• Требуется два гиперпараметра:
  • их пространственная протяженность \ (F \),
  • шаг \ (S \),
• Создает объем размером \ (W_2 \ раз H_2 \ раз D_2 \), где:
  • \ (W_2 = (W_1 – F) / S + 1 \)
  • \ (H_2 = (H_1 – F) / S + 1 \)
  • \ (D_2 = D_1 \)
• Вводит нулевые параметры, так как он вычисляет фиксированную функцию ввода
• Для слоев пула не принято заполнять ввод нулевым заполнением.

Стоит отметить, что на практике встречаются только два наиболее часто встречающихся варианта максимального уровня объединения: уровень объединения с \ (F = 3, S = 2 \) (также называемый перекрывающимся объединением) и, чаще, \ ( F = 2, S = 2 \). Объединение размеров с более крупными рецептивными полями слишком разрушительно.

Общий пул . Помимо максимального объединения, блоки объединения могут также выполнять другие функции, такие как среднее объединение или даже объединение по норме L2 .Исторически сложилось так, что средний пул часто использовался, но в последнее время он потерял популярность по сравнению с операцией максимального пула, который на практике работает лучше.

Слой объединения уменьшает объемную дискретизацию в пространстве независимо в каждом глубинном срезе входного объема. Слева: В этом примере входной объем размером [224x224x64] объединяется с размером фильтра 2, шаг 2 в выходной объем размером [112x112x64]. Обратите внимание, что глубина громкости сохраняется. Справа: Самая распространенная операция понижения дискретизации – max, что приводит к максимальному объединению , здесь показано с шагом 2.То есть каждый максимум берется за 4 числа (маленький квадрат 2×2).

Обратное распространение . Вспомните из главы, посвященной обратному распространению, что обратный проход для операции max (x, y) имеет простую интерпретацию как направление градиента только на вход, который имел наибольшее значение в прямом проходе. Следовательно, во время прямого прохода уровня объединения обычно отслеживают индекс максимальной активации (иногда также называемый переключателями ), чтобы градиентная маршрутизация была эффективной во время обратного распространения.

Избавление от пула . Многим не нравится операция объединения в пул, и они думают, что мы можем обойтись без нее. Например, «Стремление к простоте: вся сверточная сеть» предлагает отказаться от уровня объединения в пользу архитектуры, которая состоит только из повторяющихся уровней CONV. Чтобы уменьшить размер представления, они предлагают время от времени использовать более крупный шаг в слое CONV. Также было обнаружено, что отказ от слоев пула важен при обучении хороших генеративных моделей, таких как вариационные автокодеры (VAE) или генеративные состязательные сети (GAN).Похоже, что в будущих архитектурах будет очень мало уровней объединения или вообще не будет.

Уровень нормализации

Многие типы уровней нормализации были предложены для использования в архитектурах ConvNet, иногда с намерением реализовать схемы ингибирования, наблюдаемые в биологическом мозге. Однако с тех пор эти уровни перестали быть популярными, потому что на практике было показано, что их вклад минимален, если вообще присутствует. Чтобы узнать о различных типах нормализации, см. Обсуждение в API библиотеки cuda-convnet Алекса Крижевского.

Полносвязный слой

Нейроны в полностью подключенном слое имеют полные соединения со всеми активациями в предыдущем слое, как это видно в обычных нейронных сетях. Следовательно, их активации могут быть вычислены с помощью матричного умножения с последующим смещением смещения. См. Раздел примечаний по нейронной сети для получения дополнительной информации.

Преобразование слоев FC в слои CONV

Стоит отметить, что единственное различие между слоями FC и CONV состоит в том, что нейроны в слое CONV подключены только к локальной области на входе, и что многие из нейронов в объеме CONV имеют общие параметры.Однако нейроны в обоих слоях по-прежнему вычисляют скалярные произведения, поэтому их функциональная форма идентична. Следовательно, оказывается, что можно преобразовать между уровнями FC и CONV:

• Для любого уровня CONV существует уровень FC, который реализует ту же функцию пересылки. Матрица весов будет большой матрицей, которая в основном равна нулю, за исключением некоторых блоков (из-за локальной связи), где веса во многих из блоков равны (из-за совместного использования параметров).
• И наоборот, любой уровень FC может быть преобразован в уровень CONV.Например, слой FC с \ (K = 4096 \), который смотрит на некоторый входной объем размером \ (7 \ times 7 \ times 512 \), может быть эквивалентно выражен как слой CONV с \ (F = 7, P = 0, S = 1, K = 4096 \). Другими словами, мы устанавливаем размер фильтра в точности равным размеру входного объема, и, следовательно, на выходе будет просто \ (1 \ умножить на 1 \ умножить на 4096 \), поскольку только один столбец глубины «умещается» на входе объем, дающий тот же результат, что и исходный слой FC.

Преобразование FC-> CONV .Из этих двух преобразований возможность преобразования уровня FC в уровень CONV особенно полезна на практике. Рассмотрим архитектуру ConvNet, которая принимает изображение 224x224x3, а затем использует серию слоев CONV и слоев POOL, чтобы уменьшить изображение до объема активации размером 7x7x512 (в архитектуре AlexNet , которую мы увидим позже, это делается с помощью использование 5 объединяющих слоев, которые каждый раз уменьшают размер входных данных в два раза, в результате чего конечный пространственный размер равен 224/2/2/2/2/2 = 7).Отсюда AlexNet использует два слоя FC размером 4096 и, наконец, последние слои FC с 1000 нейронами, которые вычисляют оценки класса. Мы можем преобразовать каждый из этих трех слоев FC в слои CONV, как описано выше:

• Замените первый слой FC, который смотрит на объем [7x7x512], на слой CONV, который использует размер фильтра \ (F = 7 \), давая выходной объем [1x1x4096].
• Замените второй слой FC на слой CONV, который использует размер фильтра \ (F = 1 \), давая выходной объем [1x1x4096]
• Замените последний слой FC аналогичным образом на \ (F = 1 \), получив окончательный результат [1x1x1000]

Каждое из этих преобразований на практике может включать в себя манипуляции (например,грамм. преобразование) весовой матрицы \ (W \) в каждом уровне FC в фильтры уровня CONV. Оказывается, это преобразование позволяет нам очень эффективно «перемещать» исходную ConvNet по множеству пространственных положений на большом изображении за один прямой проход.

Например, если изображение 224×224 дает объем размером [7x7x512], то есть уменьшение на 32, то пересылка изображения размером 384×384 через преобразованную архитектуру даст эквивалентный объем размером [12x12x512], поскольку 384/32 = 12 Выполнение следующих трех слоев CONV, которые мы только что преобразовали из слоев FC, теперь даст окончательный объем размером [6x6x1000], поскольку (12-7) / 1 + 1 = 6.Обратите внимание, что вместо одного вектора оценок класса размером [1x1x1000] мы теперь получаем весь массив оценок класса 6×6 на изображении 384×384.

Оценка исходной ConvNet (со слоями FC) независимо от кадрирования 224×224 изображения 384×384 с шагом 32 пикселя дает тот же результат, что и однократная пересылка преобразованной ConvNet.

Естественно, пересылка преобразованной ConvNet за один раз намного эффективнее, чем повторение исходной ConvNet по всем этим 36 местоположениям, поскольку 36 оценок совместно используют вычисления.Этот трюк часто используется на практике для повышения производительности, где, например, принято изменять размер изображения, чтобы сделать его больше, использовать преобразованную ConvNet для оценки оценок класса во многих пространственных положениях, а затем усреднять оценки класса.

Наконец, что, если бы мы хотели эффективно применить исходную ConvNet к изображению, но с шагом менее 32 пикселей? Мы могли добиться этого с помощью нескольких проходов вперед. Например, обратите внимание, что если бы мы хотели использовать шаг в 16 пикселей, мы могли бы сделать это, объединив объемы, полученные путем пересылки преобразованного ConvNet дважды: сначала над исходным изображением, а затем над изображением, но с пространственным смещением изображения на 16 пикселей. как по ширине, так и по высоте.

• Записная книжка IPython по Net Surgery показывает, как выполнить преобразование на практике, в коде (с использованием Caffe)

Архитектуры ConvNet

Мы видели, что сверточные сети обычно состоят только из трех типов уровней: CONV, POOL (мы предполагаем максимальный пул, если не указано иное) и FC (сокращенно от полностью подключенного). Мы также явно напишем функцию активации RELU как слой, который применяет поэлементную нелинейность. В этом разделе мы обсудим, как они обычно складываются вместе, чтобы сформировать целые ConvNets.

Образцы слоев

Наиболее распространенная форма архитектуры ConvNet состоит из нескольких слоев CONV-RELU, следующих за ними слоев POOL и повторения этого шаблона до тех пор, пока изображение не будет пространственно объединено до небольшого размера. В какой-то момент обычно переходят на полносвязные слои. Последний полностью подключенный уровень содержит выходные данные, такие как оценки класса. Другими словами, наиболее распространенная архитектура ConvNet следует шаблону:

ВХОД -> [[CONV -> RELU] * N -> POOL?] * M -> [FC -> RELU] * K -> FC

, где * означает повторение, а БАССЕЙН? указывает необязательный уровень объединения.Более того, N> = 0 (и обычно N <= 3 ), M> = 0 , K> = 0 (и обычно K <3 ). Например, вот несколько распространенных архитектур ConvNet, которые следуют этому шаблону:

• INPUT -> FC , реализует линейный классификатор. Здесь N = M = K = 0 .
• ВХОД -> CONV -> RELU -> FC
• ВХОД -> [CONV -> RELU -> POOL] * 2 -> FC -> RELU -> FC .Здесь мы видим, что между каждым слоем POOL есть один слой CONV.
• INPUT -> [CONV -> RELU -> CONV -> RELU -> POOL] * 3 -> [FC -> RELU] * 2 -> FC Здесь мы видим два слоя CONV, сложенных перед каждым слоем POOL. Как правило, это хорошая идея для больших и более глубоких сетей, потому что несколько составных слоев CONV могут развить более сложные функции входного тома до операции деструктивного объединения.

Предпочитайте набор небольших фильтров CONV одному большому принимающему полю CONV слоя .Предположим, вы складываете три слоя 3x3 CONV друг на друга (конечно, с промежуточными нелинейностями). В этой схеме каждый нейрон на первом уровне CONV имеет вид входного объема 3x3. Нейрон на втором уровне CONV имеет вид 3x3 первого слоя CONV и, следовательно, расширенный вид входного объема 5x5. Точно так же нейрон на третьем уровне CONV имеет вид 3x3 второго слоя CONV и, следовательно, вид 7x7 входного объема. Предположим, что вместо этих трех уровней 3x3 CONV, мы хотели использовать только один слой CONV с рецептивными полями 7x7.2 \) параметры. Интуитивно понятно, что наложение слоев CONV с крошечными фильтрами вместо одного слоя CONV с большими фильтрами позволяет нам выражать более мощные функции ввода и с меньшим количеством параметров. В качестве практического недостатка нам может потребоваться больше памяти для хранения всех результатов промежуточного уровня CONV, если мы планируем использовать обратное распространение.

Последние вылеты. Следует отметить, что традиционная парадигма линейного списка уровней недавно подверглась сомнению в архитектурах Google Inception, а также в текущих (современных) остаточных сетях от Microsoft Research Asia.Оба из них (см. Подробности ниже в разделе тематических исследований) имеют более сложные и разные структуры подключения.

На практике: используйте то, что лучше всего работает в ImageNet . Если вы чувствуете некоторую усталость при обдумывании архитектурных решений, вам будет приятно узнать, что в 90% или более приложений вам не следует об этом беспокоиться. Мне нравится резюмировать этот момент так: « не будь героем »: вместо того, чтобы использовать собственную архитектуру для решения проблемы, вам следует взглянуть на ту архитектуру, которая в настоящее время лучше всего работает в ImageNet, загрузить предварительно обученную модель и настроить ее на своих данных. .Вам редко когда-либо придется обучать ConvNet с нуля или проектировать с нуля. Я также говорил об этом в школе глубокого обучения.

Шаблоны размеров слоя

До сих пор мы не упоминали общие гиперпараметры, используемые на каждом из уровней в ConvNet. Сначала мы сформулируем общие практические правила определения размеров архитектур, а затем, следуя правилам, обсудим обозначения:

Входной слой (содержащий изображение) должен делиться на 2 многократно.Общие числа включают 32 (например, CIFAR-10), 64, 96 (например, STL-10) или 224 (например, обычные ConvNets ImageNet), 384 и 512.

Сверточные слои должны использовать небольшие фильтры (например, 3x3 или самое большее 5x5) с шагом \ (S = 1 \) и, что особенно важно, заполнять входной объем нулями таким образом, чтобы сверточный слой не изменить пространственные размеры ввода. То есть, когда \ (F = 3 \), то использование \ (P = 1 \) сохранит исходный размер ввода. Когда \ (F = 5 \), \ (P = 2 \).Для общего \ (F \) видно, что \ (P = (F - 1) / 2 \) сохраняет размер ввода. Если вам необходимо использовать фильтры большего размера (например, 7x7 или около того), это обычно можно увидеть только на самом первом сверточном слое, который смотрит на входное изображение.

Уровни пула отвечают за понижающую дискретизацию пространственных размеров входных данных. Наиболее распространенная настройка - использовать max-pooling с принимающими полями 2x2 (то есть \ (F = 2 \)) и с шагом 2 (то есть \ (S = 2 \)). Обратите внимание, что это отбрасывает ровно 75% активаций во входном томе (из-за пониженной дискретизации на 2 как по ширине, так и по высоте).Другой немного менее распространенный параметр - использовать рецептивные поля 3x3 с шагом 2, но это дает. Очень редко можно увидеть размер принимающего поля для максимального объединения, превышающий 3, потому что в этом случае объединение слишком агрессивно и с потерями. Обычно это приводит к снижению производительности.

Уменьшение головной боли при калибровке. Схема, представленная выше, приятна, потому что все слои CONV сохраняют пространственный размер своих входных данных, в то время как только слои POOL отвечают за пространственную понижающую дискретизацию объемов.В альтернативной схеме, где мы используем шаги больше 1 или не обнуляем входные данные в слоях CONV, нам пришлось бы очень тщательно отслеживать входные объемы по всей архитектуре CNN и следить за тем, чтобы все шаги и фильтры «работали» out », и что архитектура ConvNet имеет красивую и симметричную проводку.

Зачем использовать шаг 1 в CONV? Меньшие шаги лучше работают на практике. Кроме того, как уже упоминалось, шаг 1 позволяет нам оставить всю пространственную понижающую дискретизацию слоям POOL, при этом слои CONV только преобразуют входной объем по глубине.

Зачем нужны отступы? В дополнение к вышеупомянутому преимуществу сохранения постоянных пространственных размеров после CONV, выполнение этого фактически улучшает производительность. Если бы слои CONV не обнуляли входные данные и выполняли только допустимые свертки, то размер томов уменьшился бы на небольшую величину после каждого CONV, и информация на границах была бы «смыта» слишком быстро.

Компрометация на основе ограничений памяти. В некоторых случаях (особенно на ранних этапах архитектур ConvNet) объем памяти может увеличиваться очень быстро в соответствии с эмпирическими правилами, представленными выше.Например, фильтрация изображения 224x224x3 с тремя слоями 3x3 CONV с 64 фильтрами в каждом и заполнением 1 создаст три активационных тома размером [224x224x64]. Это составляет в общей сложности около 10 миллионов активаций или 72 МБ памяти (на изображение, как для активаций, так и для градиентов). Поскольку графические процессоры часто ограничены памятью, возможно, придется пойти на компромисс. На практике люди предпочитают идти на компромисс только на первом уровне CONV сети. Например, одним из компромиссов может быть использование первого слоя CONV с размерами фильтра 7x7 и шагом 2 (как видно в сети ZF).В качестве другого примера AlexNet использует размер фильтра 11x11 и шаг 4.

Примеры из практики

В области сверточных сетей есть несколько архитектур, у которых есть имена. Наиболее распространены:

• LeNet . Первые успешные приложения сверточных сетей были разработаны Янном ЛеКуном в 1990-х годах. Из них самой известной является архитектура LeNet, которая использовалась для чтения почтовых индексов, цифр и т. Д.
• AlexNet .Первой работой, которая популяризировала сверточные сети в компьютерном зрении, была AlexNet, разработанная Алексом Крижевским, Ильей Суцкевер и Джеффом Хинтоном. AlexNet был представлен на конкурсе ImageNet ILSVRC в 2012 году и значительно превзошел второго участника, занявшего второе место (ошибка первой пятерки - 16% по сравнению с занявшим второе место с ошибкой 26%). Архитектура сети очень похожа на архитектуру LeNet, но она была глубже, больше и содержала сверточные слои, расположенные друг над другом (раньше было обычным делом иметь только один слой CONV, за которым сразу же следовал слой POOL).
• ZF Net . Победителем ILSVRC 2013 стала сверточная сеть от Мэтью Цейлера и Роба Фергуса. Он стал известен как ZFNet (сокращение от Zeiler & Fergus Net). Это было улучшение AlexNet за счет настройки гиперпараметров архитектуры, в частности, путем увеличения размера средних сверточных слоев и уменьшения шага и размера фильтра на первом слое.
• GoogLeNet . Победителем ILSVRC 2014 стала сверточная сеть от Szegedy et al.от Google. Его основным вкладом была разработка модуля Inception , который резко сократил количество параметров в сети (4M по сравнению с AlexNet с 60M). Кроме того, в этом документе используется средний пул вместо полностью связанных слоев в верхней части ConvNet, что устраняет большое количество параметров, которые, кажется, не имеют большого значения. Существует также несколько версий GoogLeNet, последняя из которых - Inception-v4.
• VGGNet . Второе место в ILSVRC 2014 заняла сеть Карена Симоняна и Андрея Зиссермана, которая стала известна как VGGNet.Его основной вклад состоял в том, чтобы показать, что глубина сети является критически важным компонентом хорошей производительности. Их последняя лучшая сеть содержит 16 уровней CONV / FC и, что интересно, имеет чрезвычайно однородную архитектуру, которая выполняет только свертки 3x3 и объединение 2x2 от начала до конца. Их предварительно обученная модель доступна для использования в Caffe. Обратной стороной VGGNet является то, что ее дороже оценивать и использовать гораздо больше памяти и параметров (140 МБ). Большинство этих параметров находятся на первом полностью подключенном уровне, и с тех пор было обнаружено, что эти уровни FC могут быть удалены без снижения производительности, что значительно сокращает количество необходимых параметров.
• ResNet . Остаточная сеть, разработанная Kaiming He et al. был победителем ILSVRC 2015. Он отличается особыми пропускными соединениями и интенсивным использованием пакетной нормализации. В архитектуре также отсутствуют полностью подключенные уровни в конце сети. Читателю также предлагается ознакомиться с презентацией Кайминга (видео, слайды) и некоторыми недавними экспериментами, воспроизводящими эти сети в Torch. ResNets в настоящее время являются современными моделями сверточных нейронных сетей и являются выбором по умолчанию для использования ConvNets на практике (по состоянию на 10 мая 2016 г.).В частности, также ознакомьтесь с более поздними разработками, которые изменяют оригинальную архитектуру от Kaiming He et al. Сопоставления удостоверений в глубоких остаточных сетях (опубликовано в марте 2016 г.).

VGGNet подробно . Давайте разберем VGGNet более подробно в качестве примера. Вся VGGNet состоит из слоев CONV, которые выполняют свертки 3x3 с шагом 1 и площадкой 1, и слоев POOL, которые выполняют максимальное объединение 2x2 с шагом 2 (без заполнения). Мы можем записывать размер представления на каждом этапе обработки и отслеживать как размер представления, так и общее количество весов:

  ВХОД: [224x224x3] память: 224 * 224 * 3 = 150K веса: 0
CONV3-64: [224x224x64] память: 224 * 224 * 64 = 3.2М веса: (3 * 3 * 3) * 64 = 1728
CONV3-64: [224x224x64] память: 224 * 224 * 64 = 3,2M веса: (3 * 3 * 64) * 64 = 36 864
POOL2: [112x112x64] память: 112 * 112 * 64 = 800K весов: 0
CONV3-128: [112x112x128] память: 112 * 112 * 128 = 1,6M веса: (3 * 3 * 64) * 128 = 73728
CONV3-128: [112x112x128] память: 112 * 112 * 128 = 1,6M веса: (3 * 3 * 128) * 128 = 147 456
POOL2: [56x56x128] память: 56 * 56 * 128 = 400K весов: 0
CONV3-256: [56x56x256] память: 56 * 56 * 256 = 800K веса: (3 * 3 * 128) * 256 = 294 912
CONV3-256: [56x56x256] память: 56 * 56 * 256 = 800K веса: (3 * 3 * 256) * 256 = 589 824
CONV3-256: [56x56x256] память: 56 * 56 * 256 = 800K веса: (3 * 3 * 256) * 256 = 589 824
POOL2: [28x28x256] память: 28 * 28 * 256 = 200K весов: 0
CONV3-512: [28x28x512] память: 28 * 28 * 512 = 400 КБ весов: (3 * 3 * 256) * 512 = 1,179 648
CONV3-512: [28x28x512] память: 28 * 28 * 512 = 400K веса: (3 * 3 * 512) * 512 = 2359 296
CONV3-512: [28x28x512] память: 28 * 28 * 512 = 400K веса: (3 * 3 * 512) * 512 = 2359 296
POOL2: [14x14x512] память: 14 * 14 * 512 = 100K весов: 0
CONV3-512: [14x14x512] память: 14 * 14 * 512 = 100K веса: (3 * 3 * 512) * 512 = 2359 296
CONV3-512: [14x14x512] память: 14 * 14 * 512 = 100K веса: (3 * 3 * 512) * 512 = 2359 296
CONV3-512: [14x14x512] память: 14 * 14 * 512 = 100K веса: (3 * 3 * 512) * 512 = 2359 296
POOL2: [7x7x512] память: 7 * 7 * 512 = 25K весов: 0
FC: [1x1x4096] память: 4096 весов: 7 * 7 * 512 * 4096 = 102 760 448
FC: [1x1x4096] память: 4096 весов: 4096 * 4096 = 16 777 216
FC: [1x1x1000] память: 1000 весов: 4096 * 1000 = 4 096 000

ОБЩАЯ память: 24M * 4 байта ~ = 93MB / изображение (только вперед! ~ * 2 для bwd)
ИТОГО параметры: 138M параметров
  

Как это обычно бывает со сверточными сетями, обратите внимание, что большая часть памяти (а также время вычислений) используется на ранних уровнях CONV, и что большинство параметров находятся на последних уровнях FC.В данном конкретном случае первый уровень FC содержит 100M весов из 140M.

Вычислительные аспекты

Самым большим узким местом, о котором следует помнить при построении архитектур ConvNet, является узкое место памяти. Многие современные графические процессоры имеют ограничение в 3/4/6 ГБ памяти, а лучшие графические процессоры имеют около 12 ГБ памяти. Необходимо отслеживать три основных источника памяти:

• Из промежуточных размеров томов: Это исходное количество активаций на каждом уровне ConvNet, а также их градиенты (равного размера).Обычно большинство активаций происходит на более ранних уровнях ConvNet (то есть на первых уровнях Conv). Они хранятся, потому что они необходимы для обратного распространения, но умная реализация, которая запускает ConvNet только во время тестирования, может в принципе уменьшить это в огромной степени, сохраняя только текущие активации на любом уровне и отбрасывая предыдущие активации на уровнях ниже. .
• Из размеров параметров: это числа, которые содержат параметры сети , их градиенты во время обратного распространения, а также обычно кэш шагов, если оптимизация использует импульс, Adagrad или RMSProp.Следовательно, объем памяти для хранения одного вектора параметров обычно должен быть увеличен как минимум в 3 раза или около того.
• Каждая реализация ConvNet должна поддерживать разной памяти , такой как пакеты данных изображений, возможно, их расширенные версии и т. Д.

После того, как у вас будет приблизительная оценка общего количества значений (для активаций, градиентов и прочего), число следует преобразовать в размер в ГБ. Возьмите количество значений, умножьте на 4, чтобы получить необработанное количество байтов (поскольку каждая плавающая точка составляет 4 байта или, может быть, на 8 для двойной точности), а затем разделите на 1024 несколько раз, чтобы получить объем памяти в КБ, МБ, и, наконец, ГБ.Если ваша сеть не подходит, обычная эвристика для «подгонки» заключается в уменьшении размера пакета, поскольку большая часть памяти обычно используется активациями.

Дополнительные ресурсы

Дополнительные ресурсы, связанные с внедрением:

Антенны | CommScope

Аксессуар (2)

Кабель AISG DB15 (4)

Кабель AISG DB9 (12)

Стандартный кабель AISG (19)

Аттенюатор (46)

Формирующая антенна (13)

Набор гибочного инструмента (8)

Комплект болтов (1)

Комплект кронштейнов (1)

Набор зажимов (2)

Комплект компрессора (1)

Комплект для переоборудования (2)

Обложка (1)

Дегидратор (10)

Дессикант (8)

Направленный ответвитель (56)

Комплект для сушки (5)

Эллиптический волновод (74)

Соединитель эллиптического волновода (55)

Замена узла подачи (45)

Комплект для ног (1)

Фильтр (10)

Набор инструментов для развальцовки (11)

Поручни стадионная антенна (2)

Оборудование (2)

Гибридный соединитель (8)

Гибридная матрица (5)

Антенна внутри здания (43)

Внутренняя / внешняя антенна (3)

Комплект инвертора (2)

Коллектор (7)

Антенна СВЧ (692)

Модуль (6)

Монитор (3)

Комплект для замены крепления (3)

Монтажное оборудование (1)

Монтажный комплект (1)

Многолучевая антенна (34)

Всенаправленная антенна (25)

Комплект выходного перехода (18)

Ремкомплект (7)

Стадионная антенна над головой (19)

Разветвитель мощности (37)

Комплект оборудования обтекателя (3)

Замена обтекателя (14)

Прямоугольный волновод, гибкая закрутка (481)

Прямоугольный волновод, окно давления (26)

Прямоугольный волновод, жесткая скрутка (6)

Прямоугольный волновод, прямое сечение (13)

Прямоугольный волновод, стреловидный изгиб (12)

Прямоугольный волновод, конический переход (6)

Замена отражателя (4)

Регулятор (3)

Комплект для замены (13)

Привод RET (2)

RET тройник с диагональю (6)

Направляющая для пилы (2)

Секторная антенна (363)

Полка (6)

Комплект оборудования для экрана (1)

Замена щита (6)

Антенна для малых сот (27)

Комплект соленоидов (4)

Комплект стойки амортизатора (1)

Переключатель (1)

Танк (2)

Тэппер (21)

Конечная нагрузка (57)

Комплект трубок (5)

Стадионная антенна под сиденьем (2)

Комплект для модернизации (1)

Переход волновод / коаксиальный кабель (15)

Комплект улучшения ветра (3)

Селективная по размеру нанопора ДНК с сенсорными приложениями

Материалы

Если не указано иное, все олигодезоксинуклеотиды ДНК, включая варианты с модифицированным холестерином, были приобретены у IDT (Коралвилл, Айова, США).ДДТ (гексанил) ТФ был синтезирован на собственном производстве. Лигирование проводили с рекомбинантной терминальной трансферазой, полученной от Roche Applied Bioscience (Индианаполис, Индиана, США). Азидо-пальмитоиловый строительный блок ((S) -1-азидо-3- (пальмитоилокси) пропан-2-илсульфат 4 ) синтезировали в 3 стадии (дополнительное примечание 5). Вкратце, коммерчески доступный (S) -глицидол ацилируют пальмитоилхлоридом с получением соединения 2 с выходом 95%, которое затем превращается в соответствующий азид нуклеофильным раскрытием эпоксида с помощью микроволнового излучения 2 с получением азида 3 в Выход 88%.Нуклеофильная атака гидроксильной группы на триоксид серы с помощью микроволнового излучения с последующим ионным обменом с гидроксидом тетрабутиламмония превращает азид 3 в водорастворимый сульфат 4 с выходом 87%. Все жирные кислоты и липосомальные части экструдера были приобретены у Avanti Polar lipids (Алабастер, Алабама, США). Готовые решетки ПЭМ были закуплены у TED-PELLA (Реддинг, Калифорния, США). Формиат уранила был приобретен у Polysciences Inc. (Уоррингтон, Пенсильвания, США) и хранился в темноте.M13 был приобретен в Bayou Biolabs (Metairie, Луизиана, США) в концентрации 0,50 мкг / мкл. Центробежные фильтры Amicon Ultra-0,5 мл (100 MWCO) для очистки были закуплены у Meck Milipore (Дармштадт, Гессен, Германия).

SYBR Gold был приобретен у Invitrogen (Thermo Fisher Scientific (Уолтем, Массачусетс, США)) и SYBR safe в Thermo Fisher Scientific (Уолтем, Массачусетс, США). Вся вода была типа 1, произведенная системой очистки воды MilliQ (или эквивалентной), если не указано иное, и все растворители были p.а. оценка. Предварительно приготовленный 10 × TAE был приобретен у Gibco (Thermo Fisher Scientific (Уолтем, Массачусетс, США)).

Дизайн и сборка ДНК-оригами

Структура оригами была разработана, как описано, с использованием CaDNAno, а перекрестный паттерн оптимизирован путем анализа каждого компонента с помощью собственного программного обеспечения. Для создания 3D-моделей и визуализации конструкции использовалась Autodesk Maya (http://autodesk.com) с плагином CaDNAno. Кроме того, 8-узловые опоры были оптимизированы против внутренних и нежелательных структур с помощью программного обеспечения NUPACK.Модули скоб для ДНК-оригами были объединены из планшетов, полученных от IDT нашим роботом-дозатором Eppendorf, с использованием специально написанного программного обеспечения. Сборку структуры осуществляли путем смешивания конечной концентрации 10 нМ каркаса с 5-10-кратным избытком каждой основной нити (всего 219), 10 мМ MgCl ₂ (или 500 мМ KCl, если указано) и 1 × буфер TAE (40 мМ трис-ацетат и 1 мМ EDTA, pH 8,3) и разбавленный водой MQ до конечного объема в пробирке для ПЦР. Использовалась программа термического отжига продолжительностью 17 ч.Первоначально использовалось быстрое изменение температуры от 90 до 65 ° C, затем было медленное изменение температуры от 65 до 50 ° C (-0,1 ° C / 20 мин), и, наконец, было запрограммировано последнее быстрое изменение температуры до хранения при 10 ° C. Сборку оригами с такими функциональными возможностями, как красители Cy и гидрофобные части, выполняли аналогичным образом, просто заменяя нефункционализированные олиго модифицированными аналогами. ДНК нанопоры оригами CaDNA нет чертежа, информацию о конструкции и основных последовательностях можно найти на дополнительном рисунке 31, дополнительном примечании 6 и дополнительной таблице 6.

Очистка и концентрирование структур осуществляли ультраспиновым диализом Amicon MWCO 100 кДа, предварительно промывали и трижды калибровали буфером TAEMN (40 мМ трис-ацетат, 1 мМ EDTA, 5 мМ MgCl ₂ и 5 мМ NaCl) в течение 5 мин при 10000 × г . После этого буфер TAEMN и реакции отжига добавляли к фильтру до конечного объема 500 мкл и центрифугировали при 2000 × г в течение 15 мин и повторяли 3-5 раз. Элюирование ретентата осуществляли путем переворачивания фильтра и вращения при 1000 × г в течение 2 минут с последующей быстрой промывкой фильтров 20 мкл буфера и элюированием в первый элюат.Электрофорез в агарозном геле проводили с 1% агарозы, 5 мМ MgCl ₂ и 6 мкл SBYR Safe, растворенных в буфере 1 × TBE, если не указано иное. Идентичные концентрации TBE и MgCl ₂ использовали в качестве рабочего буфера.

Функционализированные олигонуклеотиды

Дидезокси (гексанил) тиминтрифосфат (ddT-hex-TP), синтезированный на предприятии, ферментативно лигировали терминальной трансферазой с 28 из 46 липидных олигонуклеотидов (18 приобретенных в IDT с холестерилом). Реакции лигирования включали какодилат (0.2 M) и буфера Tris-HCl (0,125 M, pH 6,6), CoCl ₂ (5 мМ) и BSA (0,25 мг / мл), терминальная трансфераза (20 Ед / мкл), ДНК до 80 мкм (1,5 нмоль ) и 15 × ddT (hex) TP в общем объеме 20 мкл, инкубировали минимум 6 часов в зависимости от количества ДНК при 37 ° C и осторожно встряхивали каждые 1 час в течение первых 3 часов. Реакции прекращали добавлением 20 мМ конечной EDTA (pH 8,0) и EtOH, осаждаемого добавлением NaOAc (3 M, pH 5,6) и 2,5 × объемов холодного EtOH. Его инкубировали на сухом льду в течение по меньшей мере 15 минут перед осаждением 17000 × г при 4 ° C.Супернатант удаляли, осадок ресуспендировали в буфере HEPES (150 мМ, pH 7,5) и готовили для последующей алкиновой реакции с помощью щелочной химии. Стандартная реакция щелчка, катализируемая Cu (II), была проведена путем смешивания 10 мкл щелочного буфера (1,33 мМ CuSO ₄ , (H ₂ O), 2,64 мМ ТБТА (ДМСО), 50 мМ аскорбиновой кислоты (H _2). O) и ДМСО до 20 мкл - всего 50% ДМСО) с 6 мкл ДНК-алкина (1,5 нмоль в 150 мМ HEPES, pH 7,5), 100-кратным липидированным азидом (20 мМ в ДМСО) и 14 мкл ДМСО до конечного объема 32 мкл и 65% ДМСО реагировали в течение 8 ч при 50 ° C.EtOH снова очищали и ресуспендировали в 195 мкл 0,1 М буфера TEAA. Прореагировавший продукт очищали с помощью ОФ-ВЭЖХ на колонке Phenomenex Kinetex XB-C18 (150 × 4,6) мм, используя градиентную буферную систему TEAA / MeCN (буфер A: 50 мМ TEAA, pH 7,0 и 5% MeCN, буфер B: MeCN ). Программа: 5–100% за 20 мин, 0,6 мл / мин. Фракции, содержащие продукт, объединяли, лиофилизировали и растворяли в 1 × TAE до конечной концентрации 100 мкМ, подтвержденной УФ-поглощением при 260 нм, и были готовы к использованию. Точно так же биотин был присоединен либо с помощью NHS-биотина с аминным олиго, либо с помощью терминальной трансферазы и биотин-11-ddUTP (Jena Biosciences, Jena, Germany).Для функционализации пробки PEG NHS-PEG20k подвергали взаимодействию с олигонуклеотидом амина и очищали с помощью RP-HPLC.

Проточная цитометрия

Флуоресцентно меченые нанопоры ДНК инкубировали с GUV, приготовленными методом инвертированной эмульсии, в заданное время. Проточную цитометрию выполняли с использованием проточного цитометра Galios (Beckman Coulter, IN, USA), где для статистики регистрировали 10 000 отсчетов. После этого стробирование было выполнено с помощью соответствующего программного обеспечения.

Просвечивающая электронная микроскопия (ТЕМ)

Был приготовлен 2% раствор уранилформиата в 20 мМ КОН.Загрузку и окрашивание ДНК оригами на сетки ТЕМ проводили, сначала помещая сетки в световой разрядник на 45 с, затем инкубируя образцы в течение 1–1,5 мин (в зависимости от желаемого покрытия) и высушивая осторожным блоттингом. За этим быстро следовало окрашивание свежеоттаявшим аликвотным раствором уранилформиата. Окрашивание проводилось в два этапа: очень быстрый этап в 5 секунд для стирки и второй этап в течение примерно 20–30 секунд в зависимости от желаемого окрашивания. Раствор промокали и оставляли для полного высыхания на воздухе в течение нескольких минут.Визуализацию проводили с помощью электронного микроскопа FEI Tecnai G2 Spirit, работающего при 120 кВ. Получение изображений производилось с помощью установленной снизу камеры TVIPS CMOS 4k (TEM-cam-F416). Последующие среднеклассные изображения были сделаны с помощью программного пакета Scipion ⁴⁷ . Для криоЭМ оригами ДНК получали и очищали, как указано выше, до конечной концентрации 500 нМ в буфере TAEMN. Образцы инкубировали в течение 4,5 с на решетках Quantifoil R2 / 2 Cu200 с тлеющим разрядом (Electron Microscopy Sciences, Хатфилд, США) перед погружением или замораживанием в жидком этане с использованием погружного морозильника Leica EM GP2 (Leica Microsystems, Ветцлар, Германия). .Визуализацию проводили на 300 кВ Titan Krios EM (FEI — Thermo Fisher Scientific, Хиллсборо, США), оборудованном прямым детектором Gatan K2 Summit (Gatan, Inc., Плезантон, США). Фильмы были собраны с использованием 300 кВ при увеличении 130k и 1,336 e / Å ² .

Формирование SUV для TEM

Липосомы POPC (1-пальмитоил-2-олеоилфосфатидилхолин) диаметром 100–400 нм получали путем растворения липидов в EtOH, который выпаривали путем выдувания N ₂ , осаждая липидную пленку на стороны трубки.Затем липидную пленку растворяли в предпочтительном буфере до раствора 10 мг / мл, интенсивно встряхивали в течение 2 минут с получением раствора молочного цвета и разбавляли до 2 мг / мл перед экструзией. Перед экструзией было выполнено десять циклов замораживания-оттаивания путем перемещения эмульсии из LN ₂ в водяную баню при комнатной температуре. Экструзия проводилась до 1 мл образца в собранном экструдере Avanti (610000-1EA, Avanti Polar lipids Inc., Алабама, США) с мембранными фильтрами из ПК, содержащими поры размером 100–400 нм в зависимости от желаемого диаметра липосомы.Затем образцы липосом пропускали туда и обратно в общей сложности 13 раз, и размер проверяли с помощью анализа DLS (Zetasizer Nano-ZS, Malevern Instruments, Малверн, Великобритания). Для целей ТЕА липосомы с конечной концентрацией 0,2 мг / мл 1 мкл смешивали с 5 мкл очищенной ДНК оригами и 1 мкл 1 мкМ ключевых олигонуклеотидов и инкубировали в течение не менее 30 мин.

Измерение FRET

Анализ FRET был выполнен путем сборки структуры с красителями Cy3 и Cy5, а отверстие проанализировано путем измерения эмиссии ансамбля на Fluoromax 4 (Horiba Scientific, Киото, Япония) и расчета относительной эффективности FRET для качественного анализа.Добавление олигонуклеотидов осуществлялось путем открытия крышки между измерениями и закрытия ее перед новым измерением.

Конфокальный анализ обращенной эмульсии

Яичный ПК (770,123 г / моль) и биотинилированный ПЭ (941,95 г / моль) растворяли в хлороформе в концентрации 10 мг / мл, смешивали в соотношении 10: 1 и разбавляли до 5 мг / мл. . Хлороформ упаривали в вакуумном ротаторе в течение 1 ч и оставляли O / N в эксикаторе для сушки. Липиды ресуспендировали в минеральном масле (Sigma) и встряхивали до 80 ° C путем нагревания на водяной бане с последующим встряхиванием и повторением 10 раз.После этого раствор помещали в баню для обработки ультразвуком на 90 мин при 60 ° C. Пятьдесят микролитров обработанного ультразвуком раствора липосом добавляли к 150 мкл минерального масла и оставляли на 30 мин на льду. Добавляли двадцать микролитров внутреннего буфера (1 × TAE + 500 мМ KCl + 400 мМ сахароза) и сразу же эмульгировали встряхиванием в течение 30 с, получая раствор молочного цвета, и инкубировали на льду в течение 30 минут. Сто пятьдесят микролитров липосомального раствора помещали в 1 мл внешнего буфера раствора (ТАЕ + 500 мМ KCl + 400 мМ глюкоза) - важно, разница осмоляльности должна изменяться только на 20 (Gonotec Osmomat 010, Gonotech GmbH, Берлин, Германия).Затем раствор инкубировали на льду в течение 30 минут перед центрифугированием при 12000 × g в течение 30 минут при 4 ° C. Масляный слой и самый верхний верхний слой был удален; осадок ресуспендировали и инкубировали на льду в течение 30 мин. Слайды для конфокального анализа готовили путем первого усмирения поверхности BSA (5 мкл 1% BSA) перед добавлением 55 мкл липосомальной смеси, инкубированной в течение 30 минут, чтобы она погрузилась. Добавляли краситель Atto633 или SRB и перемешивали с последующим добавлением 15 мкл образца (очищенного Amicon, буфер заменен на 1 × TAE + 500 мМ KCl) для инкубации непосредственно перед конфокальным анализом.Этот буфер существенно не изменил осмоляльность. Конфокальные записи выполнялись в течение 7–10 часов с изображениями каждые 5–10 минут в разных местах и ​​на разных высотах.

Сбор данных TIRF

Все эксперименты с отдельными частицами были выполнены с использованием флуоресцентного микроскопа с инвертированным полным внутренним отражением (TIRF) модели IX83 от Olympus. Микроскоп был оснащен камерой EMCCD, модель ImagEM X2 от Hamamatsu, масляным иммерсионным объективом модели UAPON 100XOTIRF от Olympus × 100 и кубом с четырьмя полосами излучения, чтобы блокировать лазерный свет на пути излучения.Флуорофоры возбуждали с помощью трех линий твердотельного лазера от Olympus на 488, 532 и 640 нм для возбуждения нанопор ДНК, dTMR-40k и Atto655 соответственно. Все данные были измерены с глубиной проникновения 200 нм и коэффициентом усиления ЭМ 300, а также с размерами изображения 512 × 512 пикселей с динамическим диапазоном 16-битной шкалы серого. Поле зрения соответствует длине физического поля зрения 81,92 мкм.

Одночастичный анализ TIRF

SUV из липидов DOPC с 1% зарядом DOPS и 0.5% биотинилированные липиды были подвергнуты десяти циклам мгновенного замораживания и оттаивания для обеспечения однослойной структуры. После этого SUV экструдировали при 200 нм, как описано ранее, в 400 мМ сахарозе и 200 мМ KCl. Нанопоры ДНК продемонстрировали стабильность в течение> 24 часов при разбавлении в растворе TIRF (дополнительный рисунок 24). ATTO 655 был инкапсулирован в соответствии с недавно опубликованной методологией ^40,48 . Стеклянные слайды с прикрепленным липким слайдом VI 0.4 от Ibidi были функционализированы PLL-g-PEG и PLL-g-PEG-биотином в соотношении 100: 1 и, следовательно, покрыты слоем нейтравидина ³⁹ .Биотинилированные SUV вводили в систему с помощью перистальтического насоса и оставляли для иммобилизации на 10 мин. Регулировка количества пузырьков и времени уравновешивания позволила достичь плотности пузырьков ≈300 пузырьков на поле зрения. Поток буфера удалял свободно диффундирующие везикулы.

Долгосрочные измерения нанопор ДНК были инициированы путем пропускания на предметное стекло микроскопа меченных ATTO 488 1,4 пмоль открытых нанопор ДНК, которые были свежеприготовлены (около 20–30 мкл <40 нМ очищенной нанопоры ДНК в 1 × TAE, 5 мМ MgCl _2, и 5 мМ NaCl смешивали с 200 мкл 400 мМ сахарозы и 200 мМ KCl, подаваемых внутрь).Используя α-гемолизин в концентрации 45 нМ, последнюю гептамерную пору переносили в проточную ячейку в идентичном буфере. Для ключевых экспериментов липидированные ключевые олигонуклеотиды сначала вводили в систему и оставляли на 30 минут перед промывкой, как мы недавно сделали липидированные ключевые олигонуклеотиды для липидированных белков ³⁸ , с последующей медленной инкубацией нанопор ДНК со скоростью потока 10 мкл / мин при общем потоке 500 мкл за 50 мин. Чтобы увеличить пропускную способность, мы разработали эксперименты, в которых автоматически последовательно отображались четыре поля зрения.В типичном эксперименте первое поле зрения записывается во всех соответствующих каналах изображения с временем экспозиции 100 мс, за ним следуют второе, третье и четвертое поля зрения. Когда цикл будет завершен, автоматизированное программное обеспечение вернется в первое положение и снова запустит цикл. Временное разрешение для каждого изображения составляло 100 мс, после чего следовало время изменения 500 мс, в результате чего конечное временное разрешение составляло 2,8 с для каждого цикла. Типичный эксперимент длился 8 ч.

Анализ отсоединения в режиме реального времени TIRF

SUV были подготовлены, как описано в предыдущем разделе.Инкапсулировали как ATTO 655, так и 40 кДа декстран-тетраметилродамин (dTMR-40k). Иммобилизованные SUV на покровном стекле, функционализированном PLL-g-PEG и PLL-g-PEG – биотин, тщательно промывали 10 мл 400 мМ сахарозы и 200 мМ буфера KCl, чтобы удалить избыток ATTO 655 и dTMR-40k, который либо в растворе или внешне связанном. Изображения были получены в течение 100 мс для каждого из трех каналов с использованием трех лазерных линий последовательно, с шестью положениями и временем изменения 500 мс, что обеспечивало временное разрешение 4.6 с между каждым циклом. Анализы измеряли в течение 9,45 ч при непрерывном потоке со скоростью 10 мкл / мин, чтобы избежать прилипания вытекающего декстрана к внешней мембране.

Программное обеспечение для отслеживания и локализации экспериментов TIRF

Из-за чрезвычайно длинных экспериментальных временных рамок (> 9 часов) наблюдался неизбежный дрейф стадий липосом. Чтобы обойти эту проблему, мы развернули отслеживание отдельных частиц с помощью плагина ImageJ с открытым исходным кодом TrackMate ⁴⁹ для активного отслеживания и отслеживания дрейфа липосом на поверхности.Это было сделано путем локализации каждой отдельной липосомы в каждом кадре для данного эксперимента с использованием лапласиана гауссовского приближения. В дальнейшем локализованные точки соединяются через кадры с помощью средства отслеживания проблем линейного присвоения (LAP Tracker) ⁵⁰ , создавая таким образом траектории с временным разрешением, избегая дрейфа состояний. Применяя ту же методологию к каналу визуализации нанопор и колокализуя с липосомами, мы смогли извлечь время стыковки и кривые интенсивности с временным разрешением.

Для анализа трехцветных экспериментов (с использованием инкапсулированных нанопор, меченных ATTO 655, dTMR-40k и ATTO 488), необходимо было расширить и развить извлечение сигнала. Из-за повышенного шума от добавления третьего флуорофора в систему описанный выше алгоритм отслеживания не смог зафиксировать некоторые события. Поэтому мы разработали индивидуальный скрипт, используя плагин Python TrackPy ^51,52 с открытым исходным кодом для отслеживания частиц, чтобы исправить смещение сцены. Одновременно отслеживая все липосомы в поле зрения на протяжении каждого отдельного эксперимента, мы смогли извлечь среднее смещение (в направлениях x и y соответственно) между каждым последовательным кадром (дополнительное видео 1).Используя эту информацию, мы смогли скорректировать дрейф сцены. Это было сделано путем вставки каждого отдельного кадра (512 на 512 пикселей) данного эксперимента в более крупный пустой кадр (562 на 562 пикселей) и последующего перемещения его в соответствии со средним смещением (19 для подробного объяснения). После коррекции дрейфа сигнал для каждого канала будет извлекаться с помощью собственной процедуры, которая локализует точки на поверхности с помощью TrackPy, а затем собирает сигнал из каждой точки и корректирует фоновый шум.

Сводка отчетов

Дополнительная информация о дизайне исследований доступна в Сводке отчетов по исследованиям природы, связанной с этой статьей.

МОП-транзистор - питание, P-канал, SOT-223-10 A, -20 В

% PDF-1.4 % 1 0 объект > эндобдж 5 0 obj / ModDate (D: 202000051 + 02'00 ') / Производитель (Acrobat Distiller 19.0 \ (Windows \)) / Название (MOSFET - Power, P-Channel, SOT-223 -10 A, -20 V) >> эндобдж 2 0 obj > эндобдж 3 0 obj > поток application / pdf