Рекуррентные нейронные сети — это такие нейронные сети, которые запрограммированы на обработку последовательных значений. Очень часто их применяют для:
обработки естественного человеческого языка,
анализа написанного текста,
машинного перевода текста,
генерации текста,
генерации чисел,
и др.
При работе с текстами они способны оценивать его грамматическую и семантическую корректность. Рекуррентные нейронные сети способны проанализировать какой-либо текст, а потом на основе этого анализа составить читабельный и похожий на проанализированный текст. Например, можно взять текст А. С. Пушкина, проанализировать его, а потом попробовать сгенерировать похожий текст. Рекуррентные нейронные сети способны будут сделать текст с похожим стилем.
Рекуррентные нейронные сети
Идея рекуррентности заключается в том, чтобы последовательно использовать информацию. В традиционных нейросетях обработка информации идет по другому принципу: там нет последовательности, лишь «хаотичность» и независимость входов и выходов при обработке информации. Такой подход не может эффективно работать во всех случаях. Например, вам нужно определить какое-то значение, но за основу необходимо взять предыдущее значение. В этом случае традиционная нейронная сеть не справится с задачей, а рекуррентная справится. Почему это становится возможным? Потому что в рекуррентной нейросети присутствует такое понятие, как память. В памяти сохраняется информация о предыдущем значении, и на основе предыдущего определяется следующее.
Рекуррентные нейронные сети работают с заданными значениями. Они принимают определенные фиксированные входные значения и в ответ дают такой же фиксированный результат. Рекуррентные сети исследуют значения по четко заданным принципам. Отталкиваясь от принципов исследования значений, рекуррентные сети бывают следующих типов:
«Один к одному». Такой тип нейросети применим, когда на вход поступает единичная информация и на выходе также получается единичная информация. Например, такой подход актуален при кодировании и раскодировании информации.
«Один ко многим». Такой тип нейросети применим, когда на входе поступает единичная информация, а на выходе мы получаем последовательность. Например, на вход поступает одно изображение, а на выходе получаем текстовое описание того, что изображено на картинке.
«Многие ко одному». Такой тип нейросети применим, когда на вход поступает множество какой-то информации, а на выходе мы получаем единый результат. Например, на вход идет множество изображений, а на выходе получаем, что на всех изображениях находится «автобус».
«Многие ко многим». Такой тип нейросети применим, когда на вход поступает последовательность информации, а на выходе мы получаем измененную последовательность информации. Например, при машинном переводе текста на вход поступает текст на одном языке, а на выходе получается текст на другом языке.
Где применяют рекуррентные нейронные сети
Рекуррентные нейронные сети применяются в следующих областях:
Языковое моделирование и генерирование текста. Исследуется последовательность слов. На основе ее исследования нейросеть способна «предугадать» вероятность каждого последующего слова. Таким способом формируются тексты. Для того чтобы нейронная сеть сгенерировала какой-то текст, ей на вход нужно предоставить шаблон текста для генерирования.
Машинный перевод. Эта сфера немного похожа на предыдущую, потому что в качестве входных данных используется последовательный текст. Вводится последовательный текст исходного языка, например, текст на русском. Потом вводится последовательный текст языка, на который нужно переводить, например, текст на английском. Нейронная сеть изучает оба текста и сопоставляет последовательность перевода слов.
Распознавание человеческой речи. Для такого действия в качестве входных данных для обучения нейросети применяют последовательность акустических сигналов в виде аудиозаписей. Анализируя аудиозаписи, нейросеть будет способна предугадывать вероятную последовательность человеческой речи.
Генерация изображений. В «чистом» виде рекуррентные нейронные сети не в состоянии генерировать изображения, но в тандеме со сверточными нейронными сетями делают это достаточно легко.
Несложно придумать, где использовать рекуррентные сети, если они качественно натренированы. Сложнее правильно натренировать сеть, ведь у рекуррентной сети есть одна проблема — маленькая память. Память не способна «удержать» большие последовательности. Из-за этого, когда память перегружается информацией, нейросеть выдает ошибки и обучается не так эффективно, как хотелось бы. Чтобы частично решить эту проблему, были немного «расширены» блоки памяти. Таким образом, в связи с разным объемом ячейки памяти различают несколько видов рекуррентных сетей.
Рекуррентные сети: категории по объему ячейки памяти
В зависимости от ячейки памяти, различают 3 категории рекуррентных сетей:
Обычные рекуррентные сети, они же RNN. Именно им мы посвятили сегодняшнюю статью. Проблема с переполнением памяти связана с ними, поэтому их используют в тех задачах, когда нужно не генерировать много значений, а лишь автоматически дополнять какую-то информацию.
Рекуррентная сеть с долгой памятью, она же LSTM. Подобные сети решили проблему с памятью за счет расширения ячейки памяти. Такие сети годятся для выполнения сложных задач, например, с их помощью можно: сочинять музыку, генерировать текст, похожий по стилю на текст А. С. Пушкина и др. Но в отличие от первого вида, они потребляют много системных ресурсов.
Управляемые рекуррентные сети, они же GRU. По сути, представляют собой лайт-версию предыдущего вида сети. Ячейки с таким же объемом памяти, но обработка информации идет несколько другим путем, слегка «обрезанным» по функциональности.
Заключение
Сегодня мы познакомили вас с теоретической частью темы «Рекуррентные нейронные сети». В следующих статьях обязательно перейдем к их практической реализации на языке программирования Python.
Другое
