Жадный поиск

Жадный поиск возвращает слово с максимальной вероятностью на каждом временном шаге

Стратегия имеет некоторые недостатки:

1. Модель не учитывает слова высокой вероятности, скрытые за словами низкой вероятности
2. Похоже, что вывод модели повторяется, что является очень распространенной проблемой при жадном поиске²

Поиск луча

На каждом временном шаге вы проходите n количество путей, называемых лучами, генерирующими слова¹. Вероятность предложения берется для выбора слов, а не отдельных токенов.

На 1-м шаге вы выбираете верхние n слов в зависимости от ширины луча.
На 2-м шаге запустить n параллельных моделей декодеров с входными префиксами 3-х слов, из которых выбираются n лучших пар для 3-го шага.
На 3-м шаге выполните тот же шаг, что и выше, с n парами слов в качестве префикса, и продолжайте

давайте проверим, как это работает…
К сожалению, ecco пока не поддерживает поиск луча, поэтому пошли с обычными трансформаторами для просмотра вывода.

импортировать тензорный поток как tf
из трансформаторов импортировать TFGPT2LMHeadModel, GPT2Tokenizer

Tokenizer = gpt2tokenizer.from_pretraind ("gpt2")

# Добавить токен EOS в качестве токена PAD, чтобы избежать предупреждений
Model = tfgpt2lmheadmodel.from_pretrention ("gpt2", pad_tken_dizer = token_dizer. text = 'Розы красные'
input_ids = tokenizer.encode(text, return_tensors='tf')
beam_outputs = model.generate(
input_ids,
max_length=50,
num_beams=5,
no_repeat_ngram_size=2,
num_return_sequences= 5,
Early_stopping=True
)

print("Вывод:\n" + 100 * '-')
для i, beam_output in enumerate(beam_outputs):
print("{}: {}". format(i , tokenizer.decode(beam_output, skip_special_tokens=True)))

Вывод:
———————————————————————————— ————-
0 : Розы красные, но не белые.

«Я не уверен, то ли это из-за цвета моей кожи, то ли я просто пытаюсь выглядеть получше», — сказал он. "Я не знаю.
1 : Розы красные, но не белые.

«Я не уверен, то ли это из-за цвета моей кожи, то ли я просто пытаюсь сделать так, чтобы она выглядела лучше», — сказал он. "Я не знаю.
2: Розы красные, но они не белые.

"Я не уверен, что это из-за цвета моей кожи, или я просто пытаюсь чтобы лучше рассмотреть, — сказал он. — Не знаю.
3: Розы красные, но не белые.

"Я не уверен, то ли это из-за цвета моей кожи, то ли я просто пытаюсь выглядеть получше", - сказал он. "Я не знаю,
4: Розы красные, но они не белые.

"Я не уверен, что это из-за цвета моей кожи, или я просто пытаюсь чтобы это выглядело лучше, — сказал он. — Я не знаю. у этого есть один недостаток. Генерация не работает для открытой генерации, так как выходные данные не имеют большой дисперсии⁴, поскольку люди не склонны всегда выбирать слова с наибольшей вероятностью. Как видно из рисунка ниже, нормальный язык может часто содержат маловероятностные слова

Стратегия по-прежнему работает в случаях, когда выходные данные тесно связаны с входными данными, а повторение и универсальность не вызывают таких проблем.

Выборка

Чтобы получить дисперсию в выходных данных, выборка также выполняется из словарных слов на основе вероятностного распределения. Это приведет к непоследовательности, так как будет выбрано много слов, которые не будут соответствовать тексту, который вы хотите создать.

вывод выборки, вывод вообще не имеет смысла

выборка с температурой

Это изменяет распределение softmax на основе температурного фактора, таким образом преувеличивая/уменьшая вероятность слова. Температура колеблется от 0–1, при t=1 от отсутствия эффекта до t=0, что эквивалентно жадному поиску. При уменьшении t распределение переходит от плоского к косому, что улучшает качество генерации.

матрица ранжирования с температурой

Очевидно, что эта модель начинает выборку более высокоранговых токенов, предоставляя температуру в качестве входных данных, в отличие от выборки, которая могла возвращать нишевые токены также и на выходе.

Выборка с верхним k

Выборка Top k фильтрует верхние k слов из выходного распределения поверх стратегии выборки, таким образом, модели получают возможность генерировать множество слов, в то же время контролируя тарабарщину

Распределение разнообразно, но обрезается в верхней части 20

Верхний вывод выборки k имеет больше смысла. Но есть и недостаток, поскольку окно контекста фиксировано для каждого токена, что приводит к тому, что маргинальные слова выбираются из сильно искаженного распределения. Кроме того, в случае более плоского распределения ценные слова будут потеряны.

Выборка Top-p (nucleus)

Вместо выбора фиксированного числа слова также можно фильтровать по кумулятивной вероятности. Top-p  выборка выбирает минимальное  число слов, которое должно превысить вместе p вероятностной массы.

top-p принимает только слова с кумулятивной вероятностью чуть более 50% подходят для открытых языковых проблем, а там, где универсальность не является проблемой, лучше использовать лучевой поиск. Как правило, модели по-прежнему страдают от проблемы повторения граммов, которая решается с помощью repeat_penalty  в модуле трансформатора.

Ссылка на мой блокнот: https://github.com/Nempickaxe/mini_projects/blob/master/Language_model_decoding_parameters.ipynb (PS: чтобы просмотреть некоторые функции ecco, вам нужно открыть блокнот в google colab)

[1] Интуитивное объяснение поиска луча, Рену Хандельвал,
https://towardsdatascience. com/an-intuitive-explanation-of-beam-search-9b1d744e7a0f

[2] Патрик фон Платен, Huggingface,
https: //huggingface.co/blog/how-to-generate

[3] Nucleus Sampling: The Curious Case of Neural Text Degeneration (Прохождение исследовательской работы), TechViz — The Data Science Guy,
https://www.youtube.com/watch?v=dCORspO2yVY&ab_channel=TechViz-TheDataScienceGuy

[4] ЛЮБОПЫТНЫЙ СЛУЧАЙ ДЕГЕНЕРАЦИИ НЕЙРОННОГО ТЕКСТА, Ари Хольцман,
https://arxiv.org/pdf/1904.09751.pdf

Декодер NMX-DEC-N1233A | AMX Audio Video Control Systems

Новая модель NMX-DEC-N1233A отличается улучшенным цифровым воспроизведением пикселей и уменьшенной задержкой до лучших в отрасли 10 мс для гигабитных каналов. Пакетные видеопотоки не только остаются без визуальных потерь во время распространения, но и поступают мгновенно. Он имеет отдельные входы HDMI и VGA/RGB, поддерживает PoE, AES67 и имеет отдельный порт SFP. Оптоволоконный тракт SFP позволяет маршрутизировать видео без визуальных потерь в оптоволоконной сети и распространять сигналы за пределы досягаемости кабеля категории. Добавленное USB-подключение позволит пользователям расширять USB через IP для приложений с сенсорным экраном и KVM.

Кодировщики и декодеры серии N1000 — это доступное локальное решение для коммутации AV over IP, которое пакетирует видео в IP-формат с минимальным сжатием для создания любого устройства — от небольшого бесшовного презентационного коммутатора 2×1 до матричного коммутатора среднего размера путем их прямого подключения. к готовым сетевым коммутаторам.

Если какая-либо из приведенных выше ссылок приводит к появлению странных символов в вашем браузере, щелкните файл правой кнопкой мыши.