Метод скорейшего спуска решения нелинейных систем

Сущность метода скорейшего спуска заключается в том, что искомое решение системы рассматривается как минимум некоторой функции в -мерном пространстве , и этот минимум ищется в направлении, противоположном направлению градиента функции , то есть в направлении скорейшего убывания этой функции. Фунция связана с функциями исходной системы соотношениями:

Пусть точка является начальным приближением к искомому решению. Через эту точку проводится поверхность уровня , а также нормаль к данной поверхности, которая указывает направление скорейшего убывания функции . Точка, в которой нормаль касается новой поверхности уровня , будет следующим приближением к исходному решению. Нормаль, проведенная к этой поверхности через точку , даёт возможность дойти до точки , в которой нормаль касается какой-то другой поверхности , и т. д.

Так как , где то последовательность точек , , … приведет к минимальному значению функции , т. е. к искомому решению исходной системы.

Последовательные приближения определяются из матричного равенства , где через обозначен вектор в -мерном пространстве, указывающий координаты точки , т. е. значение -го приближения; – параметр, характеризующий изменение функции вдоль соответствующей нормали, – градиент функции в точке .

В общем случае параметр может быть найден из уравнения:

, (1)

где – скалярная функция, определяющая изменение функции . При этом берется наименьший положительный корень уравнения (1).

Если считают малой величиной и не учитывают членов, содержащих во второй и высших степенях, то приближенно искомое решение можно найти из матричных равенств , , , где

Важным достоинством метода скорейшего спуска является его неизбежная сходимость. Поэтому его рекомендуется применять для уточнения решения в тех случаях, когда другие итерационные методы расходятся.

Пример. Методом скорейшего спуска приближенно вычислить корни системы: