지능형시스템_9 [머신러닝] - RNNs (Recurrent Neural Networks) 1. 개요 기존의 FNNs (Feedforward Neural Networks)는 각각의 학습 벡터에 대해 독립적으로 학습을 진행하였다. 그러나 실세계에서는 문장, 영상 및 음성 데이터 등 시간 $t-1$에서의 입력과 결과가 $t$에서의 입력과 결과에 영향을 주는 경우가 많이 존재한다. [그림 1] 플립 북 (Flip book) 플립 북 (flip book)은 이전과 다음의 데이터가 서로 연관되어 있는 대표적인 예시이다. 플립 북이라는 것은 어떠한 동작을 하나의 종이에 그리고, 다음 종이에는 해당 동작을 미세하게 변화시킨 그림을 그리는 작업을 반복하여 마치 그림이 움직이는 것과 같은 효과를 보여주는 것이다 [그림 1]. 플립 북에서 $n-1$번째 종이에 그려진 그림이 $n$번째 종이에 그려질 그림에 영향.. 2016. 10. 6. [머신 러닝] - 은닉 마르코프 모델 (Hidden Markov Model, HMM) Markov model은 어떠한 날씨, 주식가격 등과 같은 어떠한 현상의 변화를 확률 모델로 표현한 것이다. Hidden Markov model (HMM)은 이러한 Markov model에 은닉된 state와 직접적으로 확인 가능한 observation을 추가하여 확장한 것이다. HMM은 observation을 이용하여 간접적으로 은닉된 state를 추론하기 위한 문제를 풀기 위해 사용된다. 아래의 [그림 1]은 은닉된 state와 그에 따른 observation의 개념을 나타낸다. HMM을 이용해 우리가 풀고자 하는 문제는 관측 가능한 것은 오직 $y_t$뿐이며, $y_t$는 $q_t$에 종속적으로 발생한다고 할 때, $y_t$의 sequence를 통해 $q_t$의 sequence를 추론하는 것이다. .. 2016. 9. 2. [머신러닝] - Autoencoder 1. 개요 Autoencoder는 이미지 데이터의 압축을 위해 연구된 인공신경망 (Artificial Neural Networks, ANNs)이다. Autoencoder의 구조는 일반적인 feedforward neural networks (FNNs)와 유사하지만, autoencoder는 비지도 학습 (unsupervised learning) 모델이다 [1]. Autoencoder는 기존에 대부분 데이터의 압축을 위해 활용되었으나, 최근에는 딥 러닝 (deep learning)에 대한 연구가 활발해지면서 입력 벡터의 차원 축소, 은닉층의 학습 등에 많이 이용되고 있다 [2, 3]. 2. 구조 Autoencoder의 구조는 일반적인 FNN의 구조와 매우 유사하며, 한 가지 다른 점은 입력층 (input la.. 2016. 7. 30. [머신러닝] - Complex-Valued Neuron (CVN) 1. 개요 일반적인 neural network의 neuron은 가중치와 입력값, 출력값이 실수 도메인에 존재하며, 이러한 neural networks를 real-valued neural networks (RVNNs)라고 하고, RVNNs를 구성하는 각각의 neuron를 real-valued neuron (RVN)이라고 한다. 이 글에서 소개하는 complex-valued neuron (CVN)은 RVN과 같은 구조 및 데이터 처리 과정을 갖지만, 가중치와 입력값, 출력값이 복소 도메인에 존재한다. CVN으로 이루어지는 complex-valued neural networks (CVNNs)는 현재까지도 많은 연구가 이루어지고 있는 분야이며, RVNNs에 비해 다소 복잡한 구조를 갖고 있다. 특히, 실수 도메.. 2016. 7. 8. [머신러닝] - Overfitting (과적합) 1. 개요 머신 러닝 (machine learning)에서 overfitting은 학습데이터를 과하게 잘 학습하는 것을 뜻한다. 일반적으로 학습 데이터는 실제 데이터의 부분집합인 경우가 대부분이다. 따라서, 아래의 그래프처럼 학습 데이터에 대해서는 오차가 감소하지만, 실제 데이터에 대해서는 오차가 증가하는 지점이 존재할 수 있다. Overfitting을 이러한 관점에서 본다면 overfitting은 학습 데이터에 대해 과하게 학습하여 실제 데이터에 대한 오차가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보며 고양이의 특성을 학습한 사람이 검은색이나 흰색 고양이를 보고는 그것을 고양이라고 인식하지 못 하는 현상이 overfitting과 유사한 경우이다. 2. Overfitting과 딥러닝 앞에서 설명.. 2016. 5. 7. [지능형시스템] - Artificial Bee Colony(ABC) Algorithm 1. 개요 Artificial Bee Colony Algorithm(이하 ABC 알고리즘)은 computer Science, operation research 분야에서 이용되는 전역 최적화 알고리즘이다. 비교적 최근에 연구된 알고리즘으로써 Karaboga, Basturk (2007), A powerful and efficient algorithm for numerical function optimization: artificial bee colony (ABC) algorithm에서 본격적으로 소개된 ABC 알고리즘은 꿀벌 군집(honey bee swarm)의 지능적인 수렵 행위를 모방하여 최적화를 수행한다. 아직 한글로 번역된 문서가 없기 때문에 이 글에서는 논문에서 사용한 영어 단어를 그대로 사용한다... 2016. 4. 13. [머신러닝] - LVQ(Learning Vector Quantization) 1. 개요 LVQ는 입력 벡터를 가장 유사한 참조 벡터로 군집화하는 인공신경망이다. 비슷한 종류의 군집화 인공신경망인 자기조직화지도 (Self-organizing Map, SOM)와 비슷하게 경쟁학습을 통해 학습을 수행한다. 자기조직화지도와 비슷하게 LVQ 또한 초기 가중치에 의해 군집화 결과가 많은 영향을 받기 때문에 신경망이 불안정하다는 단점을 가지고 있다. 이 글에서는 LVQ, LVQ1 및 LVQ2에 대해 소개한다. 2. 용어 정의 군집화(clustering): 유사한 특성을 갖는 입력 벡터들을 하나의 집단으로 조성하는 방법론으로써 머신러닝 분야의 한 갈래이다.참조 벡터(reference vector): 경쟁학습을 통해 형성되는 입력 벡터의 그룹으로써, 다른 군집화 인공신경망의 출력층 노드와 같다... 2016. 4. 8. [머신 러닝] - 인공신경망 (Artificial Neural Network, ANN)과 역전파 (Backpropagation) Algorithm Artificial neural network (ANN)는 딥 러닝의 가장 핵심적인 기술로써, 신경 세포인 neuron을 추상화한 artificial neuron으로 구성된 네트워크이다. ANN은 일반적으로 어떠한 형태의 function이든 근사할 수 있는 universal function approximator로도 알려져 있다. 이 글에서는 ANN을 구성하는 가장 작은 요소인 artificial neuron부터 multi-layer ANN과 이를 학습시키기 위한 algorithm에 대해 서술한다. 1. Neuron과 artificial neuronNeuron은 생물체의 신경계를 이루는 신경 세포를 말하며, artificial neuron은 생물체의 neuron을 구성하는 dendrite, soma, a.. 2016. 2. 21. [머신러닝] - 홉필드 네트워크(Hopfield Network) 1. 개요 1982년 물리학자 존 홉필드가 제안한 신경망의 물리적 모델로써 최적화, 연상기억 등에 사용된다. 2. 용어 정의 양극화(bipolarization): 0과 1로 표현된 데이터를 -1과 1로 변환하는 것 3. 알고리즘 구조 자기조직화맵(SOM)이나 인공신경망에서 가장 많이 사용되는 퍼셉트론(perceptron) 등은 연산이나 학습 과정에서 지속적으로 가중치(weight)가 변경되는 알고리즘이다. 다른 알고리즘과 다르게 홉필드 네트워크(Hopfield network)는 고정된 가중치를 이용하여 완전한 정보를 연상하는 차이점이 있다. 홉필드 네트워크는 학습 패턴에 대해 계산된 고정 가중치 행렬을 저장하고, 입력 패턴이 들어올 때마다 가중치 행렬을 이용하여 입력 패턴에 대한 학습 패턴을 연상하면 된.. 2016. 1. 10. 이전 1 다음
