Нейронная сеть Джордана

Нейронная сеть Джордана – это разновидность рекуррентной нейронной сети, предложенная в 1986 году Майклом Джорданом. Ее особенность – наличие обратной связи от выходного слоя ко входному.

Отличия от перцептрона с обратной связью:

- Обратные связи идут от выхода всей сети, а не отдельных нейронов.

- В выходном слое используется линейная активационная функция.

- Выход подается на вход через дополнительный слой под названием контекстных единиц.

Контекстные единицы сохраняют информацию о предыдущих состояниях сети. Это позволяет моделировать контекст и временную зависимость данных.

Обучение сети Джордана происходит методом обратного распространения ошибки во времени. Градиент ошибки распространяется как в прямом, так и в обратном направлении по временной развертке сети.

Сеть Джордана применяется в задачах распознавания и синтеза речи, машинного перевода, прогнозирования временных рядов. Она послужила основой для более совершенных архитектур рекрек