code the world

[딥러닝] 2. Shallow Neural Network / Activation function [딥러닝] 2. Shallow Neural Network / Activation functionNeural Network 이전 글에서 알아봤던 logistic regression을 아래처럼 표시해보자.이런 작은 층을 여러 개 쌓으면 Neural Network가 된다.대괄호 [ ] 는 층을 얘기한다.computation graph를 그리면 아래와 같다. 보april2901.tistory.com 이번 글에서는 이전 글들에서 계속 다뤘던 두 개의 층을 가진 신경망에서 역전파를 사용해 gradient를 계산해보자. 먼저 각 층의 unit의 개수를 각각 $n^{[0]}, n^{[1]}, n^{[2]}$라고 하자.그러..

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다.읽은 논문들 정리 읽은 논문들 정리[목차]지속적으로 업데이트 중1. Computer Vision 분야 논문Classification 모델들의 발전Detection 모델들의 발전2. Natural Language Processing 분야 논문3. 유명한 딥러닝 논문들 1. Computer VisionAlexNet → VGGNet → Gooapril2901.tistory.com 이번에 읽을 논문은 YOLO라고 불리는 구조에 대한 논문이다.영어 줄임말 YOLO를 You Only Look Once로 바꿔 사용했다.1. Introduction이전 모델들은 관심영역(RoI)를 먼저 뽑고, 해당 지역에 대해 분류기를 돌리고, 중복..

컴퓨터 비전과 관련해서 논문은 계속 읽고 있지만 직접 실습을 해보기 위해 colab을 사용해 보았다.라이브러리는 detectron2를 사용했다.# 현재 코랩의 PyTorch 버전에 맞는 detectron2 설치import torchTORCH_VERSION = ".".join(torch.__version__.split(".")[:2])CUDA_VERSION = torch.__version__.split("+")[-1]!pip install 'git+https://github.com/facebookresearch/detectron2.git' detectron은 faster R-CNN부터 지원하는데, 원본 논문과는 약간 다르게 FPN이라는 기술이 추가된 faster R-CNN을 기본적으로 권장한다. 따라서 여..

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다.읽은 논문들 정리 읽은 논문들 정리[목차]1. Computer Vision 분야 논문2. Natural Language Processing 분야 논문3. 유명한 딥러닝 논문들 지속적으로 업데이트 중1. Computer Vision1. AlexNet [2012년]대규모 CNN을 GPU로 학습해 ImageNet 성능을 크게 끌어올april2901.tistory.com 이때까지 리뷰했던 논문들의 흐름은 classification의 발전과정을 따라가는 순서였다.아래 모델이름을 누르면 해당 논문을 리뷰한 포스팅으로 연결된다.AlexNet → VGGNet → GoogLeNet → ResNet → SENet → ViT → Swin..

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다.읽은 논문들 정리 이 논문은 ViT라고 부르는, 트랜스포머를 이미지에 적용시킨 기술에 대한 논문이다.이 논문은 아래 링크에서 볼 수 있다.https://files.ryancopley.com/Papers/2010.11929v2.pdf1. IntroductionTransformer의 탄생이후 NLP분야에서는 이것이 대세가 되었다.CNN방식을 버리고 아예 transformer를 CV분야에 적용해보려는 시도이다.이미지를 격자로 쪼개, 각 구역이 하나의 토큰(단어)인 것처럼 동작시킨다.작은 규모의 데이터셋에서 실험했을 때는 ResNet보다 안좋았지만, 대규모 데이터셋에서는 최고성능을 기록했다. 3. METHOD2. Related..

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다.읽은 논문들 정리 읽은 논문들 정리[목차]1. Computer Vision 분야 논문2. Natural Language Processing 분야 논문3. 유명한 딥러닝 논문들 지속적으로 업데이트 중1. Computer Vision1. AlexNet [2012년]대규모 CNN을 GPU로 학습해 ImageNet 성능을 크게 끌어올april2901.tistory.com 이번 논문은 SENet에 대한 논문이다.논문은 여기에서 볼 수 있다. 기존의 inception, ResNet같은 모델은 깊이나 넓이를 늘리는데 초점을 두었다. 우리가 사용했던 convolution연산은 공간정보와 채널정보를 융합한다.예를 들어 3x3필터라면, ..

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다.읽은 논문들 정리 전체 논문은 아래 링크에서 볼 수 있다.https://arxiv.org/pdf/1409.1556 VGGNet이라고 불리는 모델에 대해 설명하는 논문이다. 3x3크기의 작은 합성곱 필터를 사용하면서 네트워크의 깊이를 키워가면서 관찰했을 때 16~19개의 층으로 구성한 것이 성능이 좋다는 것을 확인했다. 1. Introduction이전 글에서 알아봤었던 AlexNet이 출현 이후 CNN이 컴퓨터 비전 분야의 표준이 되었다.AlexNet 논문에 대한 블로그 글은 아래 링크에서 볼 수 있다. [CV 논문] ImageNet Classification with Deep ConvolutionalNeural Net..

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다.읽은 논문들 정리 최근에 컴퓨터 비전 분야를 세부전공으로 정했다.따라서 computer vision(CV)분야의 논문을 많이 포스팅하게 될 것 같다. 이 논문은 CV분야에서 처음으로 읽는 논문으로 AlexNet이라고 부르는 유명한 모델에 대한 설명이다. 이 글이 다룬 논문의 전문을 보고 싶다면 아래 링크를 클릭하면 된다.https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdfAbstract120만 개의 고해상도 이미지를 1,000개의 클래스로 분류하는 ImageNet대회에서 기존의 최첨단 모델들을..