Градиентный спуск — численный метод нахождения локального минимума или максимума функции с помощью движения вдоль градиента. 12 Один из основных численных методов современной оптимизации. 1
Используется в вычислительной математике не только для непосредственного решения задач оптимизации (минимизации), но и для задач, которые могут быть переписаны на языке оптимизации (решение нелинейных уравнений, поиск равновесий, обратные задачи и т. д.). 1
В машинном обучении градиентный спуск — это алгоритм оптимизации, используемый для минимизации ошибок в модели. Он работает путём итеративной корректировки параметров модели в направлении отрицательного градиента функции потерь (которая представляет ошибку), чтобы уменьшить ошибку и найти оптимальные параметры, которые дают наилучшие результаты прогнозирования. 3
Пример: допустим, нужно научить компьютерную программу предсказывать рост человека на основе его веса. Программа начинается со случайного предположения о взаимосвязи между весом и ростом (например, при каждом увеличении веса на 1 килограмм рост увеличивается на 0,5 метра). Используя градиентный спуск, программа вычислит ошибку между своим прогнозом и фактическим ростом для каждого человека в наборе данных. Эта ошибка затем будет использована для определения градиента или направления изменения. Затем программа скорректирует своё предположение относительно взаимосвязи между весом и ростом и повторит процесс вычисления ошибки и определения градиента. Она будет продолжать повторять этот процесс, каждый раз обновляя своё предположение, пока ошибка не будет сведена к минимуму до заранее определённого уровня или не будет выполнен критерий остановки.
https://ru.wikipedia.org/wiki/Градиентный_спуск https://habr.com/ru/articles/716380/ https://education.yandex.ru/handbook/ml/article/optimizaciya-v-ml https://yandex.ru/video/preview/2925833752570203919 https://yandex.ru/video/preview/5205108603353188730
http://www.mou.mipt.ru/Posobie2.pdf