전북대학교 조재혁 교수와 현준서 석사과정생(공대 소프트웨어공학과)이 최근 열린 ‘2025년 (사)ICT플랫폼학회 하계학술대회 및 생성형 AI 기술세미나’에서 우수논문상을 수상했다.
생성형 인공지능이 사회 전반에 미치는 영향과 그 활용 방안을 논의한 이번 학술대회에서 현 석사과정생은 「Quantized Low-Rank Adaptation의 하이퍼 파라미터가 의료 언어모델 fine-tuning에 미치는 영향」을 주제로 한 논문을 발표했다.
이 논문은 제한된 자원 환경에서 대형 언어모델을 효율적으로 훈련시키기 위한 기법 중 하나인 ‘Quantized Low-Rank Adaptation(QLoRA)’의 핵심 하이퍼 파라미터가 의료 데이터 학습에 어떤 영향을 미치는지를 분석한 것이다.
연구팀은 구조는 동일하지만 다른 데이터로 사전 학습된 모델인 ‘Gemma3’와 ‘MedGemma’이라는 두 모델을 의료 언어모델 파인튜닝 과정에서 QLoRA의 하이퍼 파라미터인 r(저차원 행렬 차원)과 α(출력 스케일링 계수)의 변화가 학습 성능에 미치는 영향을 실험적으로 분석했다.
그 결과, 의료 데이터로 사전 학습된 MedGemma가 일반 모델보다 더 안정적이고 빠르게 학습된다는 점을 밝혀냈다.