Métodos computacionais de otimização - Ferraz, Bruna Alves [UNESP] (Universidade Estadual Paulista (Unesp), 2017)
Neste trabalho discutiremos alguns métodos clássicos para otimização irrestrita, a saber o Método de Cauchy e o Método de Newton, e analisaremos a convergência desses métodos. Veremos que o Método de Cauchy, que faz a cada iteração uma busca unidirecional na direção de máxima descida, ou seja, na direção oposta ao gradiente, tem convergência linear. O método de Newton, por outro lado, minimiza, em cada iteração, a aproximação quadrática da função objetivo. Nos métodos de busca unidirecional é preciso minimizar uma função a partir de um certo ponto, segundo uma direção dada, que é a direção de busca. Por essa razão, estudaremos o Método da Seção Áurea, que fornece uma minimização exata de uma função real de uma variável real.

In this work we will discuss some classic methods for unrestricted optimization, namely the Cauchy Method and Newton’s Method, and we will analyze the convergence of those methods. We will see that the Cauchy Method, that realizes on each iteration a unidirectional search in the direction of maximum descent, that is, in the direction opposite to the gradient, has linear convergence. The Newton Method, on the other hand, minimizes, in each iteration, the quadratic approximation of the objective function. In unidirectional search methods, one must minimize a function from a certain point in a given direction, which is the search direction. For that reason, we will study the Golden Section Method, which provides the exact minimization of a real function of a real variable.
Computational methods of optimization
Keywords: Matemática - Programas de computador; Otimização irrestrita; Métodos computacionais; Convergência; Unrestricted optimization; Optimization methods; Convergence