Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1598-4095(Print)
ISSN : 2287-7401(Online)
Journal of The korean Association For Spatial Structures Vol.18 No.4 pp.69-80
DOI : https://doi.org/10.9712/KASS.2018.18.4.69

Prediction of Static and Dynamic Behavior of Truss Structures Using Deep Learning

Eun-A Sim*, Seunghye Lee**, Jaehong Lee***
*Dept. of Architectural Engineering, Sejong Univ.
**Dept. of Architectural Engineering, Sejong Univ.
***Dept. of Architectural Engineering, Sejong Univ.

Tel: 02-3408-3287 Fax: 02-3408-4331 E-mail: jhlee@sejong.ac.kr
August 14, 2018 September 27, 2018 October 16, 2018

Abstract


In this study, an algorithm applying deep learning to the truss structures was proposed. Deep learning is a method of raising the accuracy of machine learning by creating a neural networks in a computer. Neural networks consist of input layers, hidden layers and output layers. Numerous studies have focused on the introduction of neural networks and performed under limited examples and conditions, but this study focused on two- and three-dimensional truss structures to prove the effectiveness of algorithms. and the training phase was divided into training model based on the dataset size and epochs. At these case, a specific data value was selected and the error rate was shown by comparing the actual data value with the predicted value, and the error rate decreases as the data set and the number of hidden layers increases. In consequence, it showed that it is possible to predict the result quickly and accurately without using a numerical analysis program when applying the deep learning technique to the field of structural analysis.



딥러닝을 이용한 트러스 구조물의 정적 및 동적 거동 예측

심 은 아*, 이 승 혜**, 이 재 홍***
*주저자, 학생회원, 세종대학교 건축공학과, 석사과정
**정회원, 세종대학교 건축공학과 조교수, 공학박사
***교신저자, 정회원, 세종대학교 건축공학과 교수, 공학박사

초록


    1. 서론

    기계 학습(Machine learning)은 최근 제4차 산업 혁명의 핵심 기술로 거론되고 있는 인공지능 (Artificial intelligence)의 하위 개념으로, 컴퓨터가 스스로 학습할 수 있도록 하는 알고리즘과 기술을 뜻한다. 기계 학습은 Turing(1950)1)에 의해 제안된 생각하는 기계(Learning machine)에 그 원형을 두 고 있다. 과거의 기계 학습은 컴퓨터 하드웨어의 한 계로 인해 학습에 오랜 시간이 소요되거나 기존 학 습 알고리즘으로는 학습하는 것 자체가 어려웠으나, 하드웨어가 발전함에 따라 다시 각광받으며 다양한 분야에서 적용되고 있다.

    최근 주목받고 있는 딥러닝(Deep learning)은 기 계 학습에서 한 단계 나아간 개념으로 알고리즘의 정확도를 끌어올리는 새로운 기법을 적용한 기계 학습을 뜻한다.

    기계 학습의 신경망은 <Fig. 1>과 같이 입력 계층 (Input layers), 은닉 계층(Hidden layers), 출력 계 층(Output layers)으로 구성되어 있으며, 은닉 계층 안의 활성화 함수(Activation function)를 통해 얻은 결과 값을 다음 뉴런으로 전달한다. 이 중 1개의 은 닉 계층을 가지는 신경망을 인공신경망(Artificial Neural Network, ANN)이라 하며, 다수의 은닉 계 층을 가지는 신경망을 심층신경망(Deep Neural Network, DNN)이라 한다. 신경망에 대한 기존의 연구 동향을 살펴보면, Hajela & Berke(1991)2)에 의 해 구조 최적화 문제에 사용될 수 있는 신경망이 소 개된 이후 Biedermann(1997)3)에 의해 다중 층 구조 물에 역전파 신경망을 적용하는 것에 대한 연구가 진행되었다. 이후 유한요소법(Finite element method) 에 기계 학습 기법을 접목한 연구4) 및 기존의 구조 해석 기법을 대체하여 구조 해석 결과를 자동으로 도출해내는 딥러닝 기법에 대한 연구5) 등이 발표되 었다. 하지만 기존 연구들은 매우 제한된 예제와 조 건으로 수행되었으며 아직도 딥러닝 기법을 구조 해석 분야에 적용한 연구가 많지 않다.

    이는 건축 구조 분야에 딥러닝 기법을 접목시키 는 것에 대해 인식이 부족하기 때문이다. 하지만 딥 러닝 기법은 초기 변수 값을 넣어 결과 값을 도출하 는 수치 해석 기반 구조 해석 문제에 적합하다고 할 수 있다6),7).

    본 연구에서는 효율성이 떨어지거나 막대한 해석 시간을 요하는 기계 학습의 근본적인 문제를 극복 하지 못하여 외면 받았던 학습 알고리즘 문제에 대 해 획기적인 딥러닝 기법을 적용한 알고리즘을 제 안하였다. 또한 이전 연구에서 제한적이었던 예제와 는 다르게 제안된 알고리즘의 효율성을 입증하기 위해 최적화 검증 예제로 자주 사용되는 10-bar 및 25-bar 트러스 구조물에 초점을 맞추어 구조물들의 정적 해석 및 동적 해석을 진행하였다.

    연구를 진행하기 위해 데이터셋(Dataset)을 생성 한 후 다중 회귀 분석법(Multiple regression)과 신 경망의 은닉 계층 수에 따라 본 연구에서 제안된 알 고리즘을 통해 훈련 단계를 거쳐 특정 데이터와의 결과를 예측 비교하였다.

    2. 연구 방법

    본 연구에서 제안된 알고리즘을 사용하여 최적화 검증 예제로 자주 사용되는 10-bar 및 25-bar 트러 스 구조물의 정적 해석 및 동적 해석을 진행하였다. 우선적으로 데이터셋을 생성한 후 훈련 단계 (Training phase)를 거쳐 예측 단계(Predict phase) 를 통해 특정 데이터와의 결과를 비교하였다.

    2.1 데이터셋 생성 단계

    트러스 최적화 검증 예제로 자주 사용되는 10-bar 및 25-bar 트러스의 물리적 요소는 <Table 1>에 나 타내었다.

    <Fig. 2>와 같이 10-bar 트러스는 10개 요소로 구 성되어 있으며, 2번과 4번 절점에 각 444.8 kN 의 하 중이 재하된다. 10-bar 트러스의 정적 해석에 대한 출력 계층은 10개의 축 응력이고 동적 해석에 대한 출력 계층은 8개의 주파수이다. <Fig. 3>과 같이 25-bar 트러스는 25개 요소로 구성되어 있으며, 재 료의 물성치는 <Table 2>에 나타내었다. 25-bar 트 러스의 정적 해석에 대한 출력 계층은 25개의 축 응 력이고 동적 해석에 대한 출력 계층은 18개의 주파 수이다. 본 연구에서는 랜덤으로 3,000개의 데이터 셋을 생성하고 정규화(Normalization) 과정을 거쳐 0과 1 사이의 값으로 변환하였다.

    정규화 과정은 훈련 단계에서 정확하고 빠른 훈 련을 위해 진행되었다. 10-bar 트러스의 정적 해석 을 위한 입력 계층의 정규화 과정은 단면적의 상한 값인 206.45 cm2 에 의해 이루어졌으며, 출력 계층 의 정규화 과정은 구조물의 최대 허용 응력값인 172.37 × 106N/ m2으로 이루어졌다. 또한 동적 해 석을 위한 출력 계층의 정규화 과정은 8개의 고유 진동수 중 8번째인 64.11Hz에 의하여 이루어졌다. 25-bar 트러스의 정적 해석을 위한 입력 계층의 정 규화 과정은 단면적의 상한 값인 18.06 cm2 에 의해 이루어졌으며, 출력 계층의 정규화 과정은 구조물의 최대 허용 응력값인 275.79 × 106N / m2으로 이루 어졌다. 동적 해석을 위한 출력 계층의 정규화 과정 은 18개의 고유 진동수 중 18번째인 5.02Hz에 의하 여 이루어졌다.

    2.2 훈련 단계

    본 연구의 훈련 단계는 10-bar 및 25-bar 트러스 구조물의 데이터셋 크기와 학습 횟수에 대해 나눠 서 진행되었다. 훈련은 다중 회귀 분석법과 신경망 의 은닉 계층 수에 따라 본 연구에서 제안된 알고리 즘을 통하여 이루어졌다.

    <Table 3>은 본 연구에서 진행한 훈련 모델을 나 타낸다. D1, D2, D3은 데이터셋의 크기에 따른 훈 련 모델이며 E1, E2, E3은 훈련 횟수에 따른 훈련 모델이다. 모든 훈련 과정은 데이터셋의 70%를 훈 련 값으로 사용하고 30%를 예측 값으로 사용하였 다. <Table 4>는 본 연구에서 제안한 알고리즘의 신 경망 구성을 나타낸다.

    2.2.1 다중 회귀 분석법

    다중 회귀 분석법은 Pearson & Lee(1908)8)에 의 해 처음 사용되었다. 일반적으로 회귀 분석에 사용 되는 선형 회귀 분석이란 독립 변수와 종속 변수의 관계식을 선형으로 가정한 후 한 독립 변수 값으로 부터 다른 종속 변수의 값을 예측하는 방법이다.

    그러나 본 연구에서는 다양한 변수를 고려해야 하기 때문에 선형 회귀 분석을 사용하기에는 무리 가 있어 다중 회귀 분석법을 적용하였다. 다중 회귀 분석이란 2개 이상의 독립 변수와 하나의 종속 변수 와의 관계를 선형으로 가정한 후 예측하는 방법이다.

    본 연구에서는 10-bar 및 25-bar 트러스의 단면적 이 독립 변수로 사용되었으며, 축 응력과 구조물의 주파수가 종속 변수로 사용되어 정적 및 동적 해석 이 진행되었다.

    다음의 식은 다중 회귀 분석의 상관식이다.(1)

    y i = ω 0 + ω 1 x 1 i + ω 2 x 2 i + + ω s x n i
    (1)

    yiith 번째 출력 계층에 따른 독립 변수에 대한 예측 값이며, x 1 i , x 2 i , , x n i ith 번째 종속 변수 에 대한 수이다. ω0 는 절편이자 종속 변수에 대한 가중치(Weight)이다. ωi의 값은 오차 함수를 기반으 로 손실을 최소화하기 위해 계산된다9).

    2.2.2 신경망

    앞먹임 신경망(Feedforward neural network)은 입력 계층으로부터 출력 계층으로 한 방향으로만 흐르는 신경망 구조를 갖는다. 신경망을 구성하는 각 은닉 계층 uj (j = 1, 2, …,J)은 입력 계층에서 복 수의 입력 값 xi (i = 1, 2, …, I)을 받고 각 입력 값 에 가중치 함수 ωji 를 곱하여 계산한다. 따라서 은 닉 계층이 받는 총 입력 u 은 식 (2)와 같다.

    u j = i = 1 I w j i x i
    (2)

    여기에 활성화 함수 f (∙)를 적용한 j th은 식 (3) 과 같이 출력된다.

    z j = f ( u j )
    (3)

    다수의 은닉 계층을 가지는 신경망에서는 이전 (l)th 출력 계층으로부터 (l + 1)th 의 출력을 계산할 수 있다.

    u ( l + 1 ) = W ( l + 1 ) z ( l )
    (4)

    따라서 다수의 은닉 계층을 가지는 신경망의 입 력은 식 (4)와 같이 나타낼 수 있으며, 문제 유형별 로 적절한 활성화 기능을 선택해야 한다. 활성화 함 수식을 적용하면 식 (5)와 같이 출력된다10).

    z ( l + 1 ) = f ( u ( l + 1 ) )
    (5)

    2.2.3 활성화 함수

    활성화 함수는 입력 계층의 총합을 출력 계층으 로 변환하는 함수이다. 본 연구에서 사용한 활성화 함수는 Softplus 함수이다. Softplus는 기존에 가장 많이 사용되는 ReLU 함수를 완화한 함수이다. ReLU는 식 (6)과 같다. ReLU 함수를 사용하면 x가 0보다 크기만 하면 미분 값이 1이 된다. 따라서 0보 다 큰 값은 여러 은닉 계층을 거치며 적용되어도 첫 번째 은닉 계층까지 사라지지 않고 남아 있다. 이러 한 방법으로 여러 은닉 계층을 만들 수 있다. ReLU 함수의 0이 되는 순간을 완화한 방법을 Softplus라 하고, 식 (7)과 같다11).

    f ( x ) = { x ( x > 0 ) 0 ( x 0 )
    (6)

    f ( x ) = log ( 1 + e x )
    (7)

    2.2.4 오차 함수

    본 연구는 회귀 문제에 해당하는 연구로써 출력 값이 목표 출력 값에 가능한 한 근접해야 한다. 이 를 위해 회귀 문제에서 가장 일반적으로 사용되는 오차 함수인 MSE(Mean Square Error)12)를 사용하 였으며 식 (8)과 같다. 특정 데이터셋의 예측 값 tk 과 실제 데이터 값 yk의 차이를 제곱에 대한 평균값 으로부터 두 값의 오차율을 확인한다.

    E M S E = 1 n k = 1 n ( t k y k ) 2
    (8)

    2.2.5 확률적 경사 하강법

    역전파법(Backpropagation)은 가중치를 조정하여 신경망의 성능을 최적화하는 알고리즘의 일부이다. 여기서 확률적 경사 하강법(Stochastic Gradient Descent, SGD)이 사용되었다. SGD는 전체 데이터 가 아닌 랜덤하게 추출한 일부 데이터를 사용한다. 따라서 불필요하게 많은 계산이 사라지면서 계산 속도가 상당히 빨라진다. 랜덤한 데이터를 사용하는 만큼 중간 결과의 진폭이 크고 불안정하다. 모멘텀 (Momentum)은 SGD와 마찬가지로 매번 기울기를 구하지만 같은 방향으로 일정한 비율만 수정되게 하는 방법으로 SGD를 사용하였을 때의 불안정함을 개선한다.

    RMSProp는 변수의 업데이트가 잦으면 학습률을 적게 하여 이동 보폭을 조절하는 Adagrad의 보폭 민감도를 보완한 방법이다. 최근 가장 많이 사용하 는 Adam13)은 모멘텀과 RMSProp의 장점을 합쳐 정확도와 보폭을 개선한 방법으로 본 연구에서도 사용되었다. Adam 함수는 매번 구해지는 기울기에 보폭이 영향을 받지 않아 기울기가 커져도 보폭이 고정되어 있어 안정적으로 최적화를 위한 하강을 하여 최근 가장 많이 사용되는 경사 하강법이다.

    m t = β 1 m t 1 + ( 1 β 1 ) g t
    (8a)

    υ t = β 2 m t 1 + ( 1 β 2 ) g t 2
    (8b)

    식 (8a)에서 mt 는 기울기의 지수 평균이며, 식 (8b)에서 υt는 기울기의 제곱 값의 지수 평균이다. 학습 초기에 0으로 편향되어 있는 mυ 는 편향되 지 않도록 해야 한다.

    m ^ t = m t 1 β 1 t
    (9a)

    υ ^ t = υ t 1 β 2 t
    (9b)

    W t + 1 = W t η υ t + m t ^
    (10)

    편향 보정된 값은 식 (9a)와 (9b)를 통하여 구할 수 있다. mυ를 보정하기 위하여 β1 은 0.9, β2 는 0.999로 사용한다. 또한 Adam 함수는 식 (10)을 통 해 가중치 기능을 계산할 수 있다. 식 (10)에서 η는 보폭을 나타내며, є는 보정된 υ ^ t 값이 0으로 수렴하 는 것을 막기 위하여 10-8 의 아주 작은 값을 사용 한다14).

    3. 10-bar 트러스

    본 연구에서는 10-bar 트러스의 특정한 데이터셋 을 선정하여 다중 회귀 분석법과 신경망의 은닉 계 층 수에 따라 제안된 알고리즘을 데이터셋의 크기 및 훈련 횟수에 따른 학습 모델에 적용하여 훈련을 진행하였으며, 선정한 데이터셋 값에 대한 예측 값 과의 오차율 비교를 통해 최적의 기법을 도출하였 다.

    본 연구에서 사용한 특정한 데이터셋은 훈련의 결과를 확인하기 위해 기존 데이터셋 중 랜덤으로 하나를 선정하였다. 모든 결과 값은 정규화 과정에 서 사용한 최대 허용 응력값과 고유 진동수를 곱하 면 구조물의 실제 값으로 나타난다.

    3.1 데이터셋 크기에 따른 학습 모델의 정적 및 동적 해석 결과

    <Table 5>, <Table 6>은 10-bar 트러스의 정적 해석 및 동적 해석을 위해 데이터셋 크기에 따른 학 습 모델을 다중 회귀 분석법과 신경망의 은닉 계층 수 변화에 따라 제안된 알고리즘을 통해 특정한 데 이터셋과의 MSE 값을 비교한 결과이다. 이를 통해 은닉 계층 수가 증가함에 따라 오차율이 적어지는 것을 확인하였으며, 데이터셋의 크기가 커질수록 훈 련 데이터 수가 많아져 학습을 통해 최적의 결과 값 을 도출하는 것으로 보인다. 따라서 데이터셋과 신 경망의 은닉 계층 수가 많을수록 최적의 결과를 도 출한다.

    3.2 훈련 횟수에 따른 학습 모델의 정적 및 동 적 해석 결과

    <Table 7>, <Table 8>은 10-bar 트러스의 정적 해석 및 동적 해석을 위해 훈련 횟수에 따른 학습 모델을 다중 회귀 분석법과 신경망의 은닉 계층 수 변화에 따라 제안된 알고리즘을 통해 특정한 데이 터셋과의 MSE 값을 비교한 결과이다. 이를 통해 데 이터셋의 수가 동일할 때 훈련 횟수가 증가함에 따 라 최적의 결과를 도출하는 것으로 보인다.

    4. 25-bar 트러스

    본 연구에서는 제안된 기법의 정확한 입증을 위 해 3차원의 25-bar 트러스 예제를 추가적으로 수행 하였다. 25-bar 트러스의 특정한 데이터셋을 선정 하여 다중 회귀 분석법과 신경망의 은닉 계층 수에 따라 제안된 알고리즘을 데이터셋의 크기 및 훈련 횟수에 따른 학습 모델에 적용하여 훈련을 진행하 였다.

    4.1 데이터셋 크기에 따른 학습 모델의 정적 및 동적 해석 결과

    <Table 9>, <Table 10>은 25-bar 트러스의 정적 해석 및 동적 해석을 위해 데이터셋 크기에 따른 학 습 모델을 다중 회귀 분석법과 신경망의 은닉 계층 수 변화에 따라 제안된 알고리즘을 통해 특정한 데 이터셋과의 MSE 값을 비교한 결과이다. 이를 통해 25-bar 트러스 역시 데이터셋과 은닉 계층 수가 증 가할수록 오차율이 적어지는 것을 확인하였다.

    4.2 훈련 횟수에 따른 학습 모델의 정적 및 동 적 해석 결과

    <Table 11>, <Table 12>는 25-bar 트러스의 정적 해석 및 동적 해석을 위해 훈련 횟수에 따른 학습 모델을 다중 회귀 분석법과 신경망의 은닉 계층 수 변화에 따라 제안된 알고리즘을 통해 특정한 데이 터셋과의 MSE 값을 비교한 결과이다.

    추가적으로 실시한 25bar 트러스 데이터셋의 수가 동일한 경우 훈련 횟수가 증가함에 따라 최적의 결 과를 도출하는 것으로 나타났다. 이로써 10bar 트러 스 예제와 마찬가지로 데이터 수와 훈련 횟수가 많 을수록 최적의 결과를 도출한다는 것을 확인하였다.

    5. 결론

    본 연구에서는 획기적인 딥러닝 기법을 구조 해석 문제에 적용한 알고리즘을 제안하였다. 신경망 소개 에 초점을 맞추고 예제가 제한적이었던 기존 연구 와 달리 최적화 검증 예제로 자주 사용되는 2차원 및 3차원 트러스 구조물에 제시한 알고리즘을 적용 하여 정적 및 동적 해석 결과를 도출하여 비교하 였다.

    본 연구는 데이터셋 크기에 따른 학습 모델과 훈 련 횟수에 따른 학습 모델로 나누어 수행하였다. 데 이터셋 크기에 따른 학습 모델은 훈련 횟수는 동일 하게 하되 데이터셋의 크기를 1,000개, 2,000개, 3,000개로 증가시켜 훈련을 하였으며, 훈련 횟수에 따른 학습 모델은 3,000개의 데이터셋으로 3,000번, 5,000번, 7,000번의 훈련을 하여 최적의 기법을 도출 하였다.

    이 때 특정한 데이터 값을 선정하여 실제 데이터 값과 예측 값을 비교하여 오차율을 나타냈다. 이로 인해 데이터셋과 은닉 계층 수가 증가함에 따라 오 차율이 적어지는 결과를 얻을 수 있었다. 즉, 훈련 을 많이 할수록 특정한 데이터 값에 가까운 결과를 나타낸다는 것을 의미한다.

    따라서 딥러닝 기법을 건축 구조 해석 분야에 적 용 시 수치 해석 프로그램을 사용하지 않고도 빠르 면서 정확하게 결과 값을 예측할 수 있다는 점이 본 연구의 핵심이다. 추후 건축 구조 분야에 적용할 수 있는 한 단계 발전된 알고리즘에 관한 연구가 이루 어진다면 상당한 파급력을 가져올 것으로 사료된다. 또한 축적되어 있는 기존의 빅 데이터(Big data)를 가지고 딥러닝 기법을 적용시킨 발전된 연구가 필 요할 것으로 사료된다.

    감사의 글

    본 연구는 교육과학기술부 재원 한국연구재단의 지 업사업(NRF-2018R1C1B6004751)에 의해 수행되었 습니다.

    Figure

    KASS-18-69_F1.gif

    The structure of the neural network

    KASS-18-69_F2.gif

    The structure of the 10-bar truss

    KASS-18-69_F3.gif

    The structure of the 25-bar truss

    Table

    Physical properties of the 10-bar and 25-bar truss

    Material property of 25-bar truss

    2 types of training models based on dataset size and number of epochs

    Network configurations of 10-bar and 25-bar truss

    The static analysis of 10-bar truss based on dataset size

    The dynamic analysis of 10-bar truss based on dataset size

    The static analysis of 10-bar truss based on epochs

    The dynamic analysis of 10-bar truss based on epochs

    The static analysis of 25-bar truss based on dataset size

    The dynamic analysis of 25-bar truss based on dataset size

    The static analysis of 25-bar truss based on epochs

    The dynamic analysis of 25-bar truss based on epochs

    Reference

    1. Turing, A. M. , “ Computing Machinery and Intelligence ”, Mind49, pp.433~460, 1950.
    2. Hajela, P. , & Berke, L. , “ Neurobiological computational models in structural analysis and design ”, Computers & Structures, Vol.41, No.4, pp.657~667, 1991
    3. Biedermann, J. D. , “ Representing Design Knowledge with Neural Networks ”, Computer-Aided Civil and Infrastructure Engineering, Vol.12, No.4, pp.277~285, 1997
    4. Li, S. , “ Global flexibility simulation and element stiffness simulation in finite element analysis with neural network “, Computer Methods in Applied Mechanics and Engineering, Vol.186, No.1, pp.101~108, 2000
    5. Lee, S. H. , Ha, J. W. , Zokhirova, M. , Moon, H. J. , & Lee, J. H. , “ Background Information of Deep Learning for Structural Engineering ”, Archives of Computational Methods in Engineering, Vol.25, No.1, pp.121~129, 2018
    6. Samuel, A. L. , “ Some Studies in Machine Learning Using the Game of Checkers. II -Recent Progress ”, IBM Journal of Research and Development, Vol.11, No.6, pp.601~617,1967
    7. Lee, S. H. , & Lee, J. H. , “ Deep Learning for Structural Analysis ”, Journal of Korean Association for Spatial Structures, Vol.17, No.4, pp.10~15, 2017
    8. Pearson, K. , & Lee, A. , “ On The Generalized Probable Error in Multiple Normal Correlation ”, Biometrika, Vol.6, No.1, pp.59~68, 1908
    9. Kromanis, R. , & Kripakaran, P. , “ Predicting thermal response of bridges using regression models derived from measurement histories ”, Computers & Structures, Vol.136, pp.64~77, 2014
    10. Takayuki, O. , "Deep Learning", Jpub Press, pp.203, 2016.
    11. Jo, T. H. , "Deep Learning for Everyone", Gilbut INC., pp.308, 2017.
    12. Makridakis, S. , Andersen, A. , Carbone, R. , Fildes, R. , Hibon, M. , Lewandowski, R. , … Winkler, R., “The Accuracy of Extrapolation (Time Series) Methods: Results of a Forecasting Competition ”, Journal of Forecasting, Vol.1, No.2, pp.111~153, 1982
    13. Kingma, D. P. , & Ba, J. (2015). Adam: A Method for Stochastic Optimization. Proceedings of the 3rd International Conference for Learning Representations, USA, pp.1~15
    14. Lim, H. K. , Kim, J. B. , Kwon, D. H. , & Han, Y. H. , “ Comparison Analysis of Tensor Flow'sOptimizer Based on MNIST's CNN Model ”, Journal of Advanced Technology Research,Vol. 2, No.1, pp.6~14, 2017