정보통신 기술의 엄청난 발전에도 불구하고

비효율적인 버스 노선과 지연∙밀착 등으로부터

야기되는 불규칙적인 배차 간격은 

오랜 기간 노선버스 운수업체들의 골머리를

앓게 만들어 온 요인들입니다.

인공지능 분석과 통계 분석을 이용한 데이터 과학 기반의

최적화 알고리즘들은 이러한 요인들을 효과적으로

해결하여 운수업체는 물론이고

이용객 측면에서도 대중교통 활용도를

크게 제고할 수 있는 해결책이 될 것입니다.

함수의 변화량(2차원 일때는 도함수,

그 이상은 그라디언트)을

이용하여 계수를 조정하는 방식으로,

함수가 줄어드는 방향으로 계수를 계속 갱신해 나갑니다.

개발자는 함수가 한 번에 얼마나 줄어들게 하는지를

결정하는 패러미터를 정해야합니다.

이 패러미터가 너무 작으면 최적화가 너무 오래 걸리고

너무 크면 최솟값을 지나칠 수 있습니다.

모멘텀은 '운동량'을 의미합니다. 

기울기에서 속도의 개념이 추가된 것으로

속도가 크게 나올수록 기울기가 크게 업데이트 되어

확률적 경사하강법이 가지는 단점을 보완할 수 있습니다.

Momentum은 마찰력/공기저항 같은 것에 해당하며

기울기 업데이트 시 이 폭을 조절하는 역할을 합니다.

이에 따라 속도 velocity가 변화합니다.

모멘텀과 AdaGrad 두 기법의 이점을 융합하면 어떨까?

하는 생각에서 시작한 기법이 Adam 입니다.

모멘텀의 공이 그릇 바닥을 구르는 듯한 움직임을 보이는 점과 AdaGrad에서 매개변수의 원소마다 적응적으로

갱신 정도를 조정하는 특성을 융합한 기법입니다.

즉, 매개변수 공간을 효율적으로 탐색해주며,

하이퍼파라미터의 '편향 보정'이 진행된다는 점이

Adam의 특징입니다.