愛林

앞서서 2D 합성곱에 대해서 알아보았었다. [합성곱 신경망] https://wndofla123.tistory.com/112 [Python/DL] 합성곱 신경망 (Convolution Neural Network) :: CNN 합성곱 신경망 (Convolution Neural Network, CNN) 여러 딥러닝 모델들 중 특히나 이미지 처리에 성능이 좋은 다층 신경망이다. 인공신경망의 부흥기인 1995년에 LeCun과 Bengio가 CNN (Convolution Neural Network) 을 wndofla123.tistory.com 이미지 분류에는 2D 합성곱이 쓰이나, 자연어처리나 시계열 분석엔 1D CNN 이 많이 사용된다. 텍스트를 분석할 때 우리는 문장을 임베딩시켜 벡터로 만든 상태로 분석을 했다..

합성곱 신경망 (Convolution Neural Network, CNN) 여러 딥러닝 모델들 중 특히나 이미지 처리에 성능이 좋은 다층 신경망이다. 인공신경망의 부흥기인 1995년에 LeCun과 Bengio가 CNN (Convolution Neural Network) 을 발표했다. 이를 이용해서 문자 인식이나 음성 인식에는 아주 좋은 성능이 발휘되었지만, 기존 신경망이 가졌던 문제들이 해결되지 않은 시점이었기에 SVM 등의 알고리즘에 밀렸었다. 이후 딥러닝이라는 기술이 나오며 기존 인공신경망이 가졌던 문제들이 해결되며 CNN도 강력해졌다. 현재는 이미지 분류에서는 최강의 성능을 보이고 있으며 CNN 과 유사한 신경망들도 많이 개발되어 이 알고리즘의 활용성이 많이 높아진 상태이다. CNN 은 위의 사진의..

Sentence Piece 앞서 배운 서브워드 토크나이징을 위한 BPE 의 변형 알고리즘 중 하나이다. 구글에서 내놓은 알고리즘으로, BPE 알고리즘과 Unigram Language Model Tokenizer 를 구현한 SentencePiece를 Github에 공개했다. 실무에서 쓰기 좋다고 저자가 말했다 . NLP Community 에서 널리 채택되는 방법이다. [논문] https://arxiv.org/pdf/1808.06226.pdf [Github] https://github.com/google/sentencepiece Subward Tokenize 를 수행하기 위해서는 데이터에 단어 토큰화가 미리 진행되어 있어야 한다. 또한 이러한 알고리즘을 모든 언어에 적용하기도 쉽지가 않다. 그러나 이런 사전..

Deep Learning - Keras https://keras.io/ Keras: the Python deep learning API State-of-the-art research. Keras is used by CERN, NASA, NIH, and many more scientific organizations around the world (and yes, Keras is used at the LHC). Keras has the low-level flexibility to implement arbitrary research ideas while offering optional high keras.io Python 에서 Deep Learning 을 공부할 때 이 라이브러리가 빠질 수는 없다고 생각한다...

Deep Learning ANN 글을 적으면서 간결하게 공부했으나, 처음 보는 개념이라 헷갈리기도 했고 아직 능숙하게 사용하기에는 심층적인 공부가 더 필요할 것 같다는 생각이 들었다. 그래서 정리하는 글 딥 러닝에 대해서 알아보고, keras 를 통해 간결한 사용방법을 익혀보자. Deep Learning ? Deep Learning 은 머신 러닝(Machine Learning)의 한 분야로서, 인공 신경망(ANN)의 층을 연속적으로 깊게 쌓아올려 데이터를 학습하는 방식을 말한다. ANN 에 대한 개념은 앞서 공부했지만, 너무 간결하기도 했고 자격증 공부를 위한 얕은 공부였다. 그래서 이번에도 다시 Perceptron의 개념부터 차근차근 쌓아올려 보기로 했다. Perceptron 퍼셉트론은 제일 초기 형태..