최정욱 교수

한양대학교 융합전자공학과 최정욱 교수팀과 KT 연구팀이 대형 언어 모델(LLM)의 효율성을 획기적으로 개선하는 두 가지 새로운 알고리즘을 개발했다고 한양대가 21일 밝혔다. 이번 연구는 고성능 대규모 언어 모델의 효율성을 유지하면서 정성적, 정량적 성능을 극대화하는 데 중점을 두고 있다.

대규모 언어 모델은 심층 신경망의 가중치 수를 크게 늘려 뛰어난 성능을 발휘하지만, 일반적으로 16비트 부동소수점으로 모델 가중치와 활성화를 연산하기 때문에 막대한 저장 공간과 연산 비용이 필요하다. 이를 해결하기 위해 다양한 양자화 기법들이 개발되어 저장 공간과 연산 비용을 줄이는 데 기여해왔다.

그러나 최정욱 교수 연구팀은 기존 양자화 기법들이 대화형 언어 모델에서 정량적인 성능은 유지하지만, 대화 능력과 같은 정성적인 성능이 크게 감소하는 문제를 발견했다. 이는 연구팀이 개발한 두 가지 알고리즘 중 첫 번째로 해결하려고 했던 문제였다.

이를 해결하기 위해 최 교수 연구팀은 '양자화 인식 직접 선호 최적화(QDPO)'라는 새로운 방법을 제안했다. QDPO는 양자화된 대화형 언어 모델의 대화 능력 감소의 주 원인이 토큰 전환 문제에 있음을 밝혀냈다. 토큰 전환 문제는 양자화된 모델이 특정 단어를 잘못 예측하여 대화의 흐름을 깨뜨리는 현상이다. 연구팀은 이를 해결하기 위해 저 정밀도 모델을 고 정밀도 모델과 정렬을 높이는 효율적인 최적화 기법을 개발했다.

QDPO는 16비트 정밀도 모델과 저 정밀도 모델을 활용하여 최적화를 위한 데이터를 별도의 라벨링 없이 자동으로 생성하며, 이를 통해 대화 능력을 유지하거나 향상시키는 것을 목표로 한다. 실험 결과, QDPO를 적용한 4비트 저 정밀도 모델은 기존 4비트 양자화 기법과 비슷한 정량적 성능을 유지하면서도 GPT-4와 같은 최신 모델을 활용한 정성적 벤치마크에서 우수한 성능을 보였다.

또한, 연구팀은 두 번째로 해결하려던 문제인 저비트 양자화 환경에서의 성능 저하 문제를 해결하기 위해 'RA-LoRA (Rank-Adaptive Low-Rank Adaptation)'라는 방법을 개발했다. 기존의 Low-Rank Adaptation (LoRA) 기법은 모델의 메모리 사용량을 줄이기 위해 일부 파라미터만 조정하는 방식이었으나, 이는 양자화 오류를 충분히 보정하지 못했다. 이를 보완하기 위해 RA-LoRA는 랭크 서브스페이스 분석을 통해 어댑터의 랭크를 동적으로 조정하여 최적의 성능을 유지할 수 있도록 설계됐다.

랭크 서브스페이스 분석은 각 레이어의 특성과 입력 데이터에 따라 적절한 랭크를 선택하는 과정을 포함한다. 이를 통해 RA-LoRA는 적은 파라미터로도 높은 정확도를 유지할 수 있으며, 이는 특히 2비트 양자화 환경에서 두드러진다. 실험 결과, RA-LoRA는 DeBERTa-V3 및 LLaMA-2 모델을 사용한 2비트 효율적인 미세 조정에서 기존의 방법들보다 뛰어난 성능을 보여주었다. 특히, RA-LoRA는 다양한 NLP 작업에서 기존의 양자화가 적용된 LoRA 기법보다 더 우수한 성능을 기록했다.

첫 번째 논문 「Improving Conversational Abilities of Quantized Large Language Models via Direct Preference Alignment」는 한양대 융합전자공학과 이장환, 박성민 박사과정생이 공동1저자, 최정욱 교수가 교신저자로 KT 연구팀과 함께 참여했다. 두 번째 논문 「RA-LoRA: Rank-Adaptive Parameter-Efficient Fine-Tuning for Accurate 2-bit Quantized Large Language Models」은 한양대 융합전자공학과 김민수 박사과정생이 1저자, 서울대 성원용 교수가 참여 연구자, 최정욱 교수가 교신저자로 참여했다.

이들 논문은 지난 8월 11일부터 16일까지 진행된 세계 권위의 자연어처리 학회 ‘ACL 2024: The 62nd Annual Meeting of the Association for Computational Linguistics’에서 각각 Main track과 Findings track에서 발표됐다.

양자화 인식 직접 선호 최적화(QDPO)의 효과