최적화 문제(Optimization problems)란 여러개의 선택가능한 후보 중에서 최적의 해(Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제를 일컫는다. 일반적으로 기계학습 분야에서는 비용함수(Cost function)를 최소화 또는 최대화 시키는 모델의 파라미터(parameter)를 구하게 되는데, 이것은 최적화 문제로 정의될 수 있다.
-출처 : 모두를 위한 컨벡스 최적화
최적화란?
우리가 원하는 목적을 달성하는 최적의 파라미터를 찾는것!
예를 들어 배부르지 않게 많은 양의 초밥을 먹고싶다고 하는 것도 최적화 문제라고 볼 수 있다. 목적은 초밥 많이 먹기, 파라미터는 초밥 개수, 제약은 배부르지 않기가 된다. 100개를 먹었을 때부터 배가 불렀다면 99개가 최적화된 초밥 양이라고 생각할 수 있다. (아주 유치한 예시...)
머신러닝에서는 에러가 최소가 되는게 목적, 그때 파라미터 값 찾기.
convex optimize
convex function이란?
볼록 함수란 임의의 두 점을 이은 할선이 두 점을 이은 곡선보다 위에 있는 함수.
[0,1]사이의 값에 대해 아래 식이 성립한다.
왜 convex optimize?
다항시간 안에 풀 수 있는 알고리즘들이 있다.