[호붕싸 모각코 7차] 논문 리뷰 - CLLMate: A Multimodal LLM for Weather and Climate EventsForecasting

 

캡스톤에서 진행할 날씨 예측 프로젝트와 관련해서

먼저 기존의 날씨 예측 관련 논문을 리뷰하게 되었다.

---

0. Abstract

• 기존의 환경 예측은 온도 or 강수량 등 수치 기상 변수를 예측하는데 집중
• → 예측하는 변수가 정해져 있다
• 이러한 한계를 극복하기 위해 날씨 및 기후 사건 예측(WCEF: Weather and Climate Event Forecasting) 라는 새로운 task 제안
• → 기상 영상 레이더와 텍스트 기반 사건 데이터를 결합해 날씨 및 기후 사건 발생 가능성을 예측하는 것!
• 하지만 multimodal data를 일치 시키기가 어려움
• 따라서 먼저 LLM을 통해 데이터를 정렬(align)하는 프레임워크 제안

뉴스 기사에서 날씨랑 기후 사건 정보를 추출해서 지식그래프를 구축한 후에 기상 영상 데이터와 매핑해서 supervised datset을 구축, 이를 기반으로 multimodal model인 CLLMate도 개발

*Closed-set과 Open-set의 차이는?

Open-set은 완전히 새로운 사건, 정의되지 않은 사건도 고려하여서 유연하게 예측이 가능함

1. Introduction

• 기상 사건을 사전에 예측해서 피해를 최소화 하는 것이 최우선
• 과거의 연구들은 수치 데이터에서 closed-set 사건 추론→ open-set 및 2, 3차 재난은 예측이 힘듦
• ex) 도로에서 폭우가 내릴 경우 침수, 교통 마비 등.. 과 같은 사건은 closed-set에서 예측이 힘듦
• ex) 최고 기온이 3일 이상 95백분위 이상이면 폭염 사건
• Weather and Climate Event Forecasting 이라는 Task 제안
  • Open-set날씨 및 기후 사건 예측이 목표
    • 복합적인 기후 사건을 텍스트로 직접 예측하는 것이 목표
    • 상황을 설명하는 예측 ex)폭우로 인해 침수와 교통 체증 발생
  • 도시화, 인구 통계, 사회적 요인 등 다양한 복합적 데이터 필요
  ⇒ 종합적인 정보가 들어간 환경 뉴스 기사를 사용하여 Task 수행

LLM으로 해당 과제를 수행하는데 한계점

1. 정보 추출의 어려움
   • 너무 방대하고 뉴스가 다양한 주제여서 LLM도 필요한 정보를 뽑아내기 힘듦
2. multimodal 데이터의 alignment가 잘 안됨
   • 기상 영상 데이터 (수치형 시공간 데이터)와 날씨 및 기후 사건 (텍스트 데이터)를 align시켜서 예측하는 연구는 거의 이루어지지 않음
     • LLM은 주로 텍스트 데이터를 학습하여 수치형 영상 데이터를 잘 처리하지 못함
   • *기상 데이터는 특정 구역을 나눠서 시간 별 기상 변수를 수치로 기록한 데이터

→ WCEF 과제를 위한 데이터 구축 및 LLM 훈련 프레임워크 개발!

1. Llama3-70B 모델을 사용해 뉴스 기사에서 정보 추출
2. → 자연어로 설명되어 LLM이 쉽게 학습할 수 있게 지식 그래프 구축
3. 기상 영상 데이터와 사건 텍스트 데이터를 매핑해 최초의 multimodal instruction dataset구축
4. CLLMate라는 multimodal 모델 개발

• multimodal 데이터 align이 핵심이었는데 기상 영상 데이터에서 기상 패턴을 발견해 이를 vision model을 통해 감지하도록 함
• → LLM 임베딩 공간에 반영하여 텍스트 데이터와 align
• 날씨 및 기후 사건 텍스트를 예측할 수 있게 되었고, 실질적인 피해 완화를 돕게 함
• 실제 활용으로는 프로젝트에 통합하여 기후 위험 완화에 기여

2. Problem Formulation

2.1 Data Type

Spatio-Temporal Data(시공간 데이터)

• 기상 격자 데이터
  • 시간 축, 경도, 위도
  • 특정 시간에서의 기상 변수들을 나타냄

• 이벤트 데이터
  • 특정 시간과 장소에서 나타난 사건을 텍스트 정보로 표현할 수 있음

⇒ 두 데이터는 각각 숫자와 문자로 이루어져 있고, 각각 dense, sparse하다는 특징 존재

knowledge graph(지식 그래프)

• V(노드)는 기후 사건이며 텍스트 데이터 T의 사건 설명을 가짐
• E(엣지)는 노드 간의 관계를 나타냄, 두 노드를 연결할 때에 방향성을 가짐

2.2 WCEF Task

• 과거에는 input, output 모두 R(수치형 데이터)만 사용
• 수치형 데이터 + 텍스트 형태의 사건을 활용
• → 수치형 데이터와 instruction 명령어가 LLM에 들어가 텍스트 데이터가 나온다는 것이 중점

3. Methodology

3.1. Multimodal Instruction Dataset

• 수치형 데이터와 텍스트 데이터를 결합하여 multimodal data를 만듦

Extracting Events and Their Relationships

 

*triple → 주어 - 서술어 - 목적어 구조의 3요소 관계

• LLM에 전문가의 instruction을 주어주고 few-shot learning으로 뉴스 기사에서 원하는 triple을 뽑아냄
• 중국 지역만 위도, 경도를 통해 필터링

Building Knowledge Graph

• 위에서 추출한 triple 기반으로 knowledge graph를 구축
• → 그래프 구조를 자연어로 바꿔 LLM이 학습할 수 있게 준비

날짜 별로 수치, 텍스트 데이터 매칭시킴

모델의 input은 수치데이터, output은 그래프 기반으로 만들어진 텍스트 데이터

3.2. Raster Instruction-Tuning

Raster Data Embedding

1. 기상 격자 데이터를 이미지로 변환
   1. 기온(T), 풍속(U, V), 강수량(P)를 RGB 이미지처럼 변환
2. CLIP의 ViT-L/14모델로 이미지 특징 추출
3. 2개 MLP 거쳐 LLM의 임베딩 공간에 맞게 변환

→ 기상 데이터를 LLM 임베딩 공간으로 들어갈 수 있게끔 토큰 변화 시킴

Raster-Text alignment

• Raster Data와 text data을 하나로 합쳐서 LLM의 입력으로 사용

    → 이미지와 텍스트를 LLM에 함께 제공

 

⇒ 뉴스 데이터는 사건 중심이어서 수치적인 기상 변수를 통해 패턴을 인식하고 어떠한 사건이 일어나는지 인과관계를 표현하기 위해 두 데이터셋을 사용함

 

Multimodal Instruction-Tuning

 

• Llama3-8B모델 기반
• LoRA로 필요한 부분만 finetuning

입력 : 기상 feature + 문맥 정보 + 질문

출력 : 환경 사건 예측 결과 → 자연어 텍스트(knowledge graph로 만들어낸 text)

자연어 평가 지표에 맞춰 문장 생성 능력을 키우는 방향으로 학습

4. Evaluation

4.1. Dataset

Meteorological Raster Dataset

• 유럽중기예보센터에서 제공한 데이터를 재분석한 데이터셋을 활용

Environmental News Dataset

• 뉴스기사에서 사건 정보 추출한 데이터셋

 

오른쪽은 자연어 기반 평가 방식들

• Top-1 Sim은 과거의 날씨 상황을 찾아서 발생한 사건을 가져오게 됨

   → 과거 유사 상황이 있어도 사건이 꼭 똑같이 일어나진 않기 때문에 성능 낮음

• LLaVA모델은 기본적으로 멀티모달인데 이를 finetuning

• 결과로 CLLMate가 가장 높은 정답률
• WCEF TASK자체가 어려움
• 기존 모델들의 학습 데이터 부족 → 낮은 성능 예측

Conclusion

• 수치형 데이터가 아닌 자연어 텍스트로 사건을 예측하는 과제를 만들게 됨
• 새로운 multimodal LLM모델 CLLMate를 개발
• 중국 지역의 ERA5기상 데이터와 텍스트 데이터를 결합한 데이터셋 구축

   → 후에 더 많은 지역이나 위성사진을 학습 데이터로 사용하는 연구가 필요하겠다

---

 

유명하지 않은 논문이었지만 knowledge graph를 직접 만들어 사용하는 부분이 인상깊었다.

그리고 단순한 날씨 예측 뿐만 아니라 관련되어 나타날 수 있는 사건도 예측하는 것이 장점이라고 생각한다.  

 

작성자	배세은
소 감	논문을 읽었는데 캡스톤 관련해서 아이디어도 여러개 생각나고 좋은 시간이었다.
일 시	2025. 4. 4. (금) 18:00 ~ 21:00
장 소	미래관 429호 자율주행스튜디오
참가자 명단	신수민, 임혜진, 배세은, 김윤희 (총 4명)
사 진

 

 

 

 

---