code the world

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다.읽은 논문들 정리 논문 보기 : https://nlp.stanford.edu/pubs/glove.pdf 이전 논문들과 똑같이 Stanford 강의의 1주차 내용과 연관된 논문이다.다만 이전 논문 2개 (word2vec, negative sampling)은 Lecture1, 이번 논문은 Lecture2와 연관된 논문이다.위 논문들을 읽고 정리한 글들은 이 블로그의 논문읽기 카테고리에 들어가면 볼 수 있다. 이 논문은 이름처럼 GloVe 모델에 대한 내용이다. 연관되는 강의인 stanford 강의 Lecture2에 대한 내용정리는 아래 링크에 있다. [Stanford 강의] Lecture 2 : Word Vectors a..

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다.읽은 논문들 정리이전 논문 리뷰와 마찬가지로 이 논문도 스탠포드 강의 1강에서 읽을거리로 언급되었다.2025.11.19 - [논문읽기] - [NLP 논문] Efficient Estimation of Word Representations inVector Space [NLP 논문] Efficient Estimation of Word Representations inVector Space2025.11.10 - [자연어처리(NLP)] - [NLP 이론] Stanford CS224N - Lecture 1 : Intro and Word Vectors [NLP 이론] Stanford CS224N - Lecture 1 : Intro ..

아래 글에서 이 블로그에서 리뷰한 논문들의 흐름과 분야별 분류를 한 눈에 볼 수 있다.읽은 논문들 정리아래 글에서 얘기한 word2vec방법을 처음으로 제시하는 논문이다. 스탠포드 강의 사이트에 같이 읽을 거리로 올라와 있어 읽어보았다.2025.11.10 - [자연어처리(NLP)] - [NLP 이론] Stanford CS224N - Lecture 1 : Intro and Word Vectors [NLP 이론] Stanford CS224N - Lecture 1 : Intro and Word Vectors친구와 같이 스탠포드 대학교의 자연어처리(NLP) 수업을 들어보기로 했다.수업영상은 유튜브에 업로드 되어있다.영상은 아래 링크를 참고하면 된다. https://www.youtube.com/watch?v=Dz..

영상 주소는 https://www.youtube.com/watch?v=nBor4jfWetQ&list=PLoROMvodv4rOaMFbaqxPDoLWjDaRAdP9D&index=6 이다.Gradient Descent어떤 랜덤지점에서 시작해 그 지점에서의 기울기(gradient)를 구하고 해당 방향으로 조금 내려간(미끄러진) 다음, 그 도착점에서 또 같은 행동을 반복하면 우리가 원하는 가장 낮은 지점을 찾을 수 있다.아래 그림처럼 1차원(변수 1개)에서는 매우 간단하다.하지만 차원 수가 커지면 복잡할 것이다.기본적인 방법은 그 지점에서의 기울기($\bigtriangledown _\theta J(\theta)$)를 구해서 매우 작은 수를 곱해 기존 값에서 빼는 것이다.$\theta$는 여러개의 차원을 가지고 있..

친구와 같이 스탠포드 대학교의 자연어처리(NLP) 수업을 들어보기로 했다.수업영상은 유튜브에 업로드 되어있다.영상은 아래 링크를 참고하면 된다. https://www.youtube.com/watch?v=DzpHeXVSC5I&list=PLoROMvodv4rOaMFbaqxPDoLWjDaRAdP9D&index=2 첫 강의이다 보니 과목 개요와 배경 등을 설명해주고 시작한다.이 부분은 조금 간단히 요약해 기록만 하고 넘어갈 예정이다. Intro인간은 언어를 통해 유인원들과 차별화된다.언어는 크게 두 가지의 핵심기능이 있다. 소통(communication)과 고등 사고(higher thought)이다. 이후 문자가 발명되어 발전이 더 가속화 되었다.자연어 처리 분야는 최근 10년간 큰 발전이 있었다.이전의 키워드..