전체 글 48

[호붕싸 모각코 6차] 논문 리뷰 - Attention is All you Need

사실 알고는 있지만 블로그로 이해했기 때문에..논문을 제대로 읽어보았습니다!!파이팅.  0. Abstract단순히 attention 메커니즘만으로 이루어진 모델로 RNN과 CNN을 성능으로 이길 수 있음실험을 통해 알아낸 장점으로는 더 높은 품질, 병렬처리 가능 그리고 훈련 시간 단축이 있었음1. Introduction언어 모델이나 기계 번역 같은 문제에서 RNN, LSTM과 같이 sequence 모델링이나 번역 분야에서 SOTA였음Recurrent 모델은 입력과 출력의 위치에 따라서 연산을 수행하는데, 병렬 처리가 불가능하기 때문에 긴 time sequence에서 효율적이지 못함Attention 메커니즘은 굉장히 중요한 파트가 되었지만 여전히 RNN과 연결하여 사용함    → 효율적인 병렬화가 불가능 ..

세은 2025.03.31

[호붕싸 모각코 5차] Image Captioning - Evaluation

Image Captioning 모델의 inference와 평가 지표를 멀티모달 인공지능 시간에 배우게 되어 정리해보았습니다.  자연어 처리(NLP) 모델에서 Inference(추론) 과정은 모델이 학습한 내용을 바탕으로 실제 문장을 생성하는 중요한 단계입니다. 이 과정에서 다양한 디코딩 전략과 평가 지표가 사용되며, 각각의 방식은 장단점을 가지고 있습니다. 이번 글에서는 대표적인 디코딩 방법인 Greedy Decoding과 Beam Search, 그리고 평가 지표인 BLEU에 대해 알아보겠습니다.1. Image Captioning 모델의 Inference 방법1) Greedy DecodingGreedy Decoding은 매 타임스텝(time step)마다 확률이 가장 높은 단어를 선택하는 방식입니다.수식..

세은 2025.03.24

[호붕싸 모각코 5차] beakjoon 2225. 합분해

작성자김윤희소 감오늘은 백준 알고리즘 문제를 풀었다. 알고리즘 문제 해결이다보니 친구들과 토론하거나 질문하기보다는 혼자서 집중하여 푸는 시간이였던 것 같다. 하지만 문제가 잘 해결되지 않아 집중력을 잃어갈 때, 옆에서 집중하며 공부하는 친구들이 많은 도움이 되었던 날이다. 일 시2025. 3. 24. (월) 18:00 ~ 21:00장 소미래관 429호 자율주행스튜디오참가자 명단신수민, 임혜진, 배세은, 김윤희 (총 4명)사 진  2225. 합분해 문제 설명 0부터 N까지의 정수 K개를 더해서 그 합이 N이 되는 경우의 수를 구하는 프로그램을 작성하시오.덧셈의 순서가 바뀐 경우는 다른 경우로 센다(1+2와 2+1은 서로 다른 경우). 또한 한 개의 수를 여러 번 쓸 수도 있다. 입력 첫째 줄에 두 정수 N..

윤희 2025.03.24