электронное обучение

CRSI Rebar U предлагает различные курсы и вебинары-презентации по темам проектирования и строительства. На курсы веб-семинаров распространяются единицы непрерывного образования (CEU) и часы профессионального развития (PDH). Выберите из категорий курсов, чтобы начать!

Категории курсов

• Курсы для самостоятельного обучения (7)
• Вебинары в прямом эфире и по запросу (33)
• Курс Capstone (только для преподавателей) (1)
• Только для членов CRSI Fabricator (2)

Экспертная поддержка

Вице-президент по проектированию

Дэвид Фанелла, PhD, PE, SE, F.

Старший технический директор

Технический директор

Региональный менеджер

Региональный менеджер

Региональный менеджер

Региональный менеджер

Региональный менеджер

Тихоокеанский северо-запад Менеджер

Старший директор по связям с общественностью

Рынки

Офис

Здравоохранение

Многоквартирный жилой

Образование

Практические примеры

Обучение с подкреплением с таблицами Q | by Mohit Mayank

Обучение с подкреплением — это область машинного обучения, связанная с отсроченным вознаграждением.
Что это значит? Ну, просто, поясню на примере. Для этого я предполагаю, что вы слышали (лучше, если знаете) о нейронных сетях или даже базовые знания о регрессии или классификации. Итак, давайте возьмем пример задачи классификации: вам дан большой кусок изображений собак, и вам нужно разработать систему, которая сможет различать изображения, определяя, принадлежат ли они собакам или нет. Любой, кто хоть немного разбирается в машинном обучении, посоветует вам использовать нейронную сеть свертки и тренироваться с предоставленными изображениями, и да, это сработает. Но как? Ну, не вдаваясь в подробности (может быть, статья об этом позже?!), вы сначала обучаете нейронную сеть на образцах изображений. Во время обучения нейронная сеть изучает маленькие особенности и шаблоны, уникальные для изображения собаки. Во время обучения вы знаете ожидаемый результат, это изображения собак, поэтому всякий раз, когда сеть предсказывает неправильно, мы исправляем это. В некотором смысле, мы знаем вознаграждение за предоставленные изображения: если предсказание верное, мы даем положительное вознаграждение, если предсказание неверное, вознаграждение отрицательное, и принимаются корректирующие меры для обучения и адаптации. Итак, мы знаем немедленную награду.

Но что, если мы не знаем немедленных наград? Здесь на помощь приходит обучение с подкреплением.

Чтобы объяснить это, давайте создадим игру. Игра простая, в ряду 10 плиток. Все плитки не равны, у некоторых есть дырка, куда мы не хотим идти, а у некоторых есть пиво, куда мы определенно хотим идти. Когда игра начинается, вы можете появляться на любой из плиток и идти либо влево, либо вправо. Игра будет продолжаться до тех пор, пока мы не выиграем или игра не закончится, давайте назовем каждую такую ​​итерацию эпизодом.

Итак, если вы появляетесь на 0-м тайле или каким-то образом перемещаетесь на 0-й тайл, игра окончена, но если мы попадаем на 6-й тайл, мы выигрываем.

Возьмем для примера один простой эпизод. Хорошо, скажем, мы появляемся на плитке 2. Теперь предположим, что я не показывал вам игровую карту, и у вас есть только возможность идти влево или вправо, в какую сторону вы пойдете? Ну, вы не можете сказать, пока не попробуете. Допустим, вы продолжаете идти влево, пока не окажетесь на плитке 0, плитке с дыркой и проиграете. Это не то, чего мы хотим, поэтому давайте назначим отрицательную награду нашему действию по переходу влево от 2 к 1 и 0. В следующем эпизоде ​​вы по какой-то случайности снова появляетесь на плитке 2, на этот раз вы продолжаете двигаться вправо, пока вы достигаете плитки 6. Здесь у нас есть пиво, давайте назначим действия с положительной наградой.

Что мы узнали? за каждый наш шаг, пока мы не попадем в яму или пиво, мы не знаем о наградах. Задержка вознаграждения, ребята. Нет никого, кто укажет вам правильное направление, после каждого шага нет награды, подсказывающей правильное или неправильное направление. Сейчас нам даже трудно уловить смысл правильных действий, а если мы хотим, чтобы компьютер научился этому? Обучение с подкреплением в помощь.

Что же это за марковский процесс и зачем нам его изучать? Ну, я думал так же, и, чтобы быть ясным, нам не нужно глубоко погружаться в это, достаточно простой интуиции.

Таким образом, марковский процесс принятия решений используется для моделирования принятия решений в ситуациях, когда исходы частично случайны и частично находятся под контролем лица, принимающего решения. Короче говоря, все плитки, левое и правое действия, отрицательное и положительное вознаграждение, которые мы обсуждали, могут быть смоделированы марковским процессом.

Марковский процесс принятия решений состоит из

1. Состояние (S) : Это набор состояний. Плитка в нашем примере. Итак, у нас есть 10 состояний в нашей игре.
2. Действие (A) : Это набор действий, доступных из состояния s . Слева и справа от нашей игры.
3. Вероятность перехода P(s'|s, a) : Это вероятность перехода в состояние s' в момент времени t+1 , если мы предпримем действие a в состоянии s в момент т . На этом фронте мы были как бы отсортированы, слева от плитки 3 ведет к плитке 2, без вопросов.
4. Награда R(s'|s, a) : Это награда, которую мы получаем, если мы переходим из состояния s в состояние s' , выполнив действие a .
5. Скидка (Y) : Коэффициент скидки, который представляет собой разницу в будущих и настоящих вознаграждениях.

Таким образом, марковский процесс можно понимать как набор состояний S с некоторыми действиями A возможно из каждого состояния с некоторой вероятностью P . Каждое такое действие приведет к некоторому вознаграждению R . Если вероятность и вознаграждение неизвестны, проблема заключается в обучении с подкреплением. Здесь мы собираемся решить простую такую ​​​​проблему, используя Q Learning или, лучше, самую базовую его реализацию, таблицу Q.

Теперь, принимая во внимание всю изученную выше теорию, мы хотим создать агента, который будет проходить нашу игру с пивом и дырками (в поисках лучшего имени), как человек. Для этого у нас должна быть политика, которая говорит нам, что делать и когда. Думайте об этом как о раскрытой карте игры. Чем лучше политика, тем выше наши шансы на победу в игре, отсюда и название Q (качественное) обучение. Качество нашей политики будет улучшаться по мере обучения и будет продолжать улучшаться. Чтобы узнать, мы собираемся использовать уравнение Беллмана, которое выглядит следующим образом:

где,

• Q(s,a) — текущая политика действий a из штата max(Q(s’,a’)) определяет максимальное будущее вознаграждение. Скажем, мы предприняли действие a в состоянии s , чтобы достичь состояния s' . Отсюда у нас может быть несколько действий, каждое из которых соответствует некоторым вознаграждениям. Рассчитывается максимальное вознаграждение.
• Y — коэффициент скидки. Теперь значение варьируется от 0 до 1, если значение близко к 0, предпочтение отдается немедленному вознаграждению, а если значение приближается к 1, важность будущих вознаграждений увеличивается до тех пор, пока при значении 1 оно не будет считаться равным немедленному вознаграждению.

Здесь мы пытаемся сформулировать отсроченное вознаграждение в немедленное вознаграждение. Для каждого действия, которое мы предпринимаем из состояния, мы обновляем нашу таблицу политик, назовем ее Q-таблицей, чтобы включить положительное или отрицательное вознаграждение. Скажем, мы находимся на плитке 4 и собираемся повернуть направо, сделав плитку 5 следующим состоянием, немедленная награда за плитку 4 будет включать некоторый коэффициент (определяемый скидкой) максимального вознаграждения за все возможные действия с плитки. 5. И если вы сверитесь с игровой картой, то право с плитки 5 ведет к плитке 6, которая является конечной целью в нашей игре, поэтому правильное действие с плитки 4 также назначается некоторой положительной наградой.

Ладно, слишком много теории, давайте код.

Позвольте мне определить состояния, действия и награды в виде матрицы. Один из способов сделать это — иметь строки для всех состояний и столбцы для действий, поэтому, поскольку у нас есть 10 состояний и 2 действия, мы определим матрицу 10×2. Для простоты я не использую никакие библиотеки, просто кодирую их списками на python.

 environment_matrix = [[Нет, 0], 
 [-100, 0], 
 [0, 0], 
 [0, 0], 
 [0, 0], 
 [0, 100], 
 [0 , 0], 
 [100, 0], 
 [0, 0], 
 [0, None]] 

Как вы можете видеть, взятие вправо с плитки 5 и взятие влево с плитки 7 дает высокую награду в 100, так как ведет к плитке 6. Также слева от плитки 1 ведет к дыре, поэтому имеет отрицательное вознаграждение. Плитка 0 и 9 имеет левое и правое вознаграждение как Нет , так как нет -1 или 10-й плитки.

Теперь пришло время для нашей волшебной таблицы Q, которая будет обновляться по мере того, как агент узнает в каждом эпизоде.

 q_matrix = [[0, 0], 
 [0, 0], 
 [0, 0], 
 [0, 0], 
 [0, 0], 
 [0, 0], 
 [0, 0], 
 [0, 0], 
 [0, 0], 
 [0, 0]] 

Для начала давайте назначим все нуль.

Определение некоторой функции, помогающей в прохождении игры.

 win_loss_states = [0,6]def getAllPossibleNextAction(cur_pos): 
 step_matrix = [x != Нет для x в environment_matrix[cur_pos]] 
 action = [] 
 if(step_matrix[0]): 
 action.append( 0) 
 if(step_matrix[1]): 
 action.append(1) 
 return(action)def isGoalStateReached(cur_pos): 
 return (cur_pos в [6])def getNextState(cur_pos, action): 
 if (action == 0): 
 return cur_pos - 1 
 else: 
 return cur_pos + 1def isGameOver(cur_pos): 
 return cur_pos in win_loss_states 

Давайте пройдемся по ним один за другим,

• getAllPossibleNextAction передайте ваше текущее состояние, и оно вернет все возможные действия. Примечание: для плитки 0 есть только правое действие, и то же самое касается плитки 9 только для левой стороны
• isGoalStateReached , если текущий тайл равен 6, он вернет True
• getNextState передать текущее состояние и действие, и он вернет следующее состояние
• isGameOver если состояние 0 или 6, игра окончена, это возвращает True

Теперь идет часть обучения,

 скидка = 0,9 
 Learning_rate = 0,1for _ in range(1000): 
 # получить стартовое место 
 cur_pos = random. choice([0,1,2, 3,4,5,6,7,8,9]) 
 # пока целевое состояние не достигнуто 
 while(not isGameOver(cur_pos)): 
 # Получить все возможные следующие состояния из cur_step выбранное действие 
 next_state = getNextState(cur_pos, action) 
 # обновить q_matrix 
 q_matrix[cur_pos][action] = q_matrix[cur_pos][action] + learning_rate * (environment_matrix[cur_pos][action] + 
 скидка * max( q_matrix[next_state]) - q_matrix[cur_pos][action]) 
 # перейти к следующему состоянию 
 cur_pos = next_state 
 # вывести статус 
 print("Эпизод", _, "готово")print(q_matrix) 
 print("Тренировка завершена...") 

Поясню,

• Сначала мы определили коэффициент дисконтирования и скорость обучения
• Мы собираемся тренироваться на 1000 эпизодов
• Спавн полностью случайный, это может быть любой из тайлов
• Пока эпизод не закончился, мы продолжаем выполнять случайные действия и обновление Q-таблицы

After 1000 episodes, Q table some what looks like this,

 [[0, 0], [-99.