test 시에는 하나의 이미지에 대해 한 문장을 생성해야하니까 batch 단위가 아닌 1 장씩 처리하는 것이 일반적임
3) encoder와 decoder의 learning rate를 다르게 설정
# Cell 4: Show and Tell 모델 및 optimizer 정의
# TODO : model_sat 변수명으로 모델 선언
embed_size = 512
hidden_size = 512
num_layers = 1
vocab_size = tokenizer.vocab_size
model_sat = ShowandTell(tokenizer, embed_size, hidden_size,
vocab_size, num_layers).cuda()
criterion = nn.CrossEntropyLoss(ignore_index=tokenizer.pad_token_type_id)
# optimizer = optim.Adam(model.parameters(), lr=0.001)
encoder_params = list(model_sat.encoder.parameters())
decoder_params = list(model_sat.decoder.parameters())
optimizer = torch.optim.Adam([
{'params': encoder_params, 'lr': 0.0001},
{'params': decoder_params, 'lr': 0.001}
])
이유
encoder는 ImageNet으로 사전학습된 모델이라 너무 큰 lr을 주게되면 좋은 feature를 망가뜨릴 가능성이 존재 → 작은 lr을 사용
학습된 가중치를 보존하며 미세조정을 해야함
decoder는 우리가 새로 정의한 LSTM 이므로 처음부터 학습을 진행해야함
상대적으로 초기에 학습속도가 빨라야하므로 큰 lr을 설정
→ transfer learning 의 방식
Greedy decoding
def generate_caption(self, image, max_len=30):
with torch.no_grad():
# 이미지 feature 추출
feature = self.encoder(image)
# cls 토큰으로 시작
inputs = torch.tensor([[self.tokenizer.cls_token_id]]).cuda()
hiddens = self.decoder.init_h(feature).unsqueeze(0)
cells = self.decoder.init_c(feature).unsqueeze(0)
states = (hiddens, cells)
caption = []
for _ in range(max_len):
embeddings = self.decoder.embed(inputs)
hiddens, states = self.decoder.lstm(embeddings, states)
outputs = self.decoder.linear(hiddens.squeeze(1))
predicted = outputs.argmax(1) # argmax를 사용해서 확률이 가장 높은 인덱스
predicted_id = predicted.item()
if predicted_id == self.tokenizer.sep_token_id: # sep 토큰이면 종료
break
caption.append(predicted_id)
inputs = predicted.unsqueeze(0)
return caption # [249, 03044.. ]
greedy decoding
매 시점마다 가장 확률이 높은 단어 하나를 선택해서 문장을 만들어나가는 방식
greedy → 앞으로 어떤 단어가 나올지 고려하지않고 현재 상태에서 가장 좋은 선택을 해
BLEU evaluation
generated_captions = []
reference_captions = []
for image, caption in test_loader:
image = image.cuda()
pred_caption_ids = model_sat.generate_caption(image)
pred_caption = tokenizer.decode(pred_caption_ids,
skip_special_tokens=True)
generated_captions.append(pred_caption.split())
ref = [tokenizer.decode([w for w in cap if w != tokenizer.pad_token_id],
skip_special_tokens=True).split()
for cap in caption.squeeze(0)]
reference_captions.append(ref)
bleu1_score = corpus_bleu(reference_captions,
generated_captions,
weights = (1, 0, 0, 0))
print(f'BLEU-1 score : {bleu1_score*100:.2f}')
BLEU란
기계번역이나 이미지 캡셔닝에서 생성된 문장과 정답 문장을 비교해서 얼마나 잘 맞는지 평가하는 대표적인 지표
BLEU-1 → 1-gram 정확도만 고려 → precision 기반
코드 설명
모델을 통해 캡션 생성
이미지 입력으로 캡션을 greedy decoding 방식으로 예측
생성된 토큰 → 단어로 디코딩
단어 문자열로 복원
정답 캡션을 정제
캡션은 여러 정답 캡션을 포함해
각 참조 캡션에서 pad_token 제거하고 디코딩
split으로 단어 리스트 변환
BLEU-1 계산
weights = (1, 0, 0, 0) → 1-gram 사용
BLEU
는 문자열 비교가 아니라 단어 리스트를 비교
Attention 메커니즘 적용
1) CNNGridEncoder
class CNNGridEncoder(nn.Module):
def __init__(self):
super(CNNGridEncoder, self).__init__()
resnet = torchvision.models.resnet50(pretrained=True)
self.feature_extractor = nn.Sequential(*list(resnet.children())[:-2])
def forward(self, images):
features = self.feature_extractor(images) # [B, 2048, 7, 7]
features = features.view(features.size(0), 2048, -1) # [B, 2048, 49]
features = features.permute(0, 2, 1) # [B, 49, 2048]
return features
이 전과의 차이점
전에는 전체 이미지를 하나의 feature vector로 압축
하지만 어떤 위치가 중요한 지는 알 수 없고, 모든 위치의 정보를 평균낸 것이라는 정보손실이 있음
