Метод обратного распространения ошибки

Метод обратного распространения ошибки (backpropagation) - один из наиболее популярных методов обучения искусственных нейронных сетей.

Основная идея заключается в следующем:

1. Нейронная сеть обрабатывает входные данные и выдаёт результат на выходе. 

2. Вычисляется ошибка - разность между полученным и ожидаемым (целевым) выходом.

3. Ошибка распространяется от выхода сети к её входу с помощью цепного правила дифференцирования. При этом вычисляется вклад каждого нейрона в общую ошибку.

4. На основе вклада в ошибку корректируются веса связей между нейронами таким образом, чтобы уменьшить эту ошибку. 

5. Процесс повторяется для следующего примера из обучающей выборки.

Таким образом, метод обратного распространения ошибки позволяет эффективно тренировать многослойные нейронные сети с нелинейной активационной функцией нейронов. На сегодня это наиболее распространённый метод обучения нейросетей. Его модификации лежат в основе таких популярных архитектур, как свёрточные и рекуррентные нн