ÇѾç´ëÇб³ °ø°ú´ëÇÐ
´ëÇѹα¹ ±â¼ú Çö½ÇÈÀÇ »ê½Ç°ø°ú´ëÇÐ ¼Ò½Ä±³¼ö
ÇѾç´ë ÃÖÁ¤¿í ±³¼öÆÀ, ÃÊ°Å´ë ¾ð¾î ¸ðµ¨ È¿À²¼ºÀ» ȹ±âÀûÀ¸·Î °³¼±ÇÏ´Â µÎ °¡Áö Çõ½Å ¾Ë°í¸®Áò °³¹ß | |
---|---|
ÀÛ¼ºÀÚ : ÇѾç´ëÇб³ °ø°ú´ëÇÐ(help@hanyang.ac.kr) ÀÛ¼ºÀÏ : 24.09.06 Á¶È¸¼ö : 92 | |
÷ºÎÆÄÀÏ : research03.jpg |
|
ÃÖÁ¤¿í ±³¼ö
ÇѾç´ëÇб³ À¶ÇÕÀüÀÚ°øÇаú ÃÖÁ¤¿í ±³¼öÆÀ°ú KT ¿¬±¸ÆÀÀÌ ´ëÇü ¾ð¾î ¸ðµ¨(LLM)ÀÇ È¿À²¼ºÀ» ȹ±âÀûÀ¸·Î °³¼±ÇÏ´Â µÎ °¡Áö »õ·Î¿î ¾Ë°í¸®ÁòÀ» °³¹ßÇß´Ù°í ÇѾç´ë°¡ 21ÀÏ ¹àÇû´Ù. À̹ø ¿¬±¸´Â °í¼º´É ´ë±Ô¸ð ¾ð¾î ¸ðµ¨ÀÇ È¿À²¼ºÀ» À¯ÁöÇÏ¸é¼ Á¤¼ºÀû, Á¤·®Àû ¼º´ÉÀ» ±Ø´ëÈÇÏ´Â µ¥ ÁßÁ¡À» µÎ°í ÀÖ´Ù. ´ë±Ô¸ð ¾ð¾î ¸ðµ¨Àº ½ÉÃþ ½Å°æ¸ÁÀÇ °¡ÁßÄ¡ ¼ö¸¦ Å©°Ô ´Ã·Á ¶Ù¾î³ ¼º´ÉÀ» ¹ßÈÖÇÏÁö¸¸, ÀϹÝÀûÀ¸·Î 16ºñÆ® ºÎµ¿¼Ò¼öÁ¡À¸·Î ¸ðµ¨ °¡ÁßÄ¡¿Í È°¼ºÈ¸¦ ¿¬»êÇϱ⠶§¹®¿¡ ¸·´ëÇÑ ÀúÀå °ø°£°ú ¿¬»ê ºñ¿ëÀÌ ÇÊ¿äÇÏ´Ù. À̸¦ ÇØ°áÇϱâ À§ÇØ ´Ù¾çÇÑ ¾çÀÚÈ ±â¹ýµéÀÌ °³¹ßµÇ¾î ÀúÀå °ø°£°ú ¿¬»ê ºñ¿ëÀ» ÁÙÀÌ´Â µ¥ ±â¿©ÇØ¿Ô´Ù. ±×·¯³ª ÃÖÁ¤¿í ±³¼ö ¿¬±¸ÆÀÀº ±âÁ¸ ¾çÀÚÈ ±â¹ýµéÀÌ ´ëÈÇü ¾ð¾î ¸ðµ¨¿¡¼ Á¤·®ÀûÀÎ ¼º´ÉÀº À¯ÁöÇÏÁö¸¸, ´ëÈ ´É·Â°ú °°Àº Á¤¼ºÀûÀÎ ¼º´ÉÀÌ Å©°Ô °¨¼ÒÇÏ´Â ¹®Á¦¸¦ ¹ß°ßÇß´Ù. ÀÌ´Â ¿¬±¸ÆÀÀÌ °³¹ßÇÑ µÎ °¡Áö ¾Ë°í¸®Áò Áß Ã¹ ¹ø°·Î ÇØ°áÇÏ·Á°í Çß´ø ¹®Á¦¿´´Ù. À̸¦ ÇØ°áÇϱâ À§ÇØ ÃÖ ±³¼ö ¿¬±¸ÆÀÀº '¾çÀÚÈ ÀÎ½Ä Á÷Á¢ ¼±È£ ÃÖÀûÈ(QDPO)'¶ó´Â »õ·Î¿î ¹æ¹ýÀ» Á¦¾ÈÇß´Ù. QDPO´Â ¾çÀÚÈµÈ ´ëÈÇü ¾ð¾î ¸ðµ¨ÀÇ ´ëÈ ´É·Â °¨¼ÒÀÇ ÁÖ ¿øÀÎÀÌ ÅäÅ« Àüȯ ¹®Á¦¿¡ ÀÖÀ½À» ¹àÇô³Â´Ù. ÅäÅ« Àüȯ ¹®Á¦´Â ¾çÀÚÈµÈ ¸ðµ¨ÀÌ Æ¯Á¤ ´Ü¾î¸¦ À߸ø ¿¹ÃøÇÏ¿© ´ëÈÀÇ È帧À» ±ú¶ß¸®´Â Çö»óÀÌ´Ù. ¿¬±¸ÆÀÀº À̸¦ ÇØ°áÇϱâ À§ÇØ Àú Á¤¹Ðµµ ¸ðµ¨À» °í Á¤¹Ðµµ ¸ðµ¨°ú Á¤·ÄÀ» ³ôÀÌ´Â È¿À²ÀûÀÎ ÃÖÀûÈ ±â¹ýÀ» °³¹ßÇß´Ù. QDPO´Â 16ºñÆ® Á¤¹Ðµµ ¸ðµ¨°ú Àú Á¤¹Ðµµ ¸ðµ¨À» È°¿ëÇÏ¿© ÃÖÀûȸ¦ À§ÇÑ µ¥ÀÌÅ͸¦ º°µµÀÇ ¶óº§¸µ ¾øÀÌ ÀÚµ¿À¸·Î »ý¼ºÇϸç, À̸¦ ÅëÇØ ´ëÈ ´É·ÂÀ» À¯ÁöÇϰųª Çâ»ó½ÃÅ°´Â °ÍÀ» ¸ñÇ¥·Î ÇÑ´Ù. ½ÇÇè °á°ú, QDPO¸¦ Àû¿ëÇÑ 4ºñÆ® Àú Á¤¹Ðµµ ¸ðµ¨Àº ±âÁ¸ 4ºñÆ® ¾çÀÚÈ ±â¹ý°ú ºñ½ÁÇÑ Á¤·®Àû ¼º´ÉÀ» À¯ÁöÇϸ鼵µ GPT-4¿Í °°Àº ÃֽŠ¸ðµ¨À» È°¿ëÇÑ Á¤¼ºÀû º¥Ä¡¸¶Å©¿¡¼ ¿ì¼öÇÑ ¼º´ÉÀ» º¸¿´´Ù. ¶ÇÇÑ, ¿¬±¸ÆÀÀº µÎ ¹ø°·Î ÇØ°áÇÏ·Á´ø ¹®Á¦ÀÎ ÀúºñÆ® ¾çÀÚÈ È¯°æ¿¡¼ÀÇ ¼º´É ÀúÇÏ ¹®Á¦¸¦ ÇØ°áÇϱâ À§ÇØ 'RA-LoRA (Rank-Adaptive Low-Rank Adaptation)'¶ó´Â ¹æ¹ýÀ» °³¹ßÇß´Ù. ±âÁ¸ÀÇ Low-Rank Adaptation (LoRA) ±â¹ýÀº ¸ðµ¨ÀÇ ¸Þ¸ð¸® »ç¿ë·®À» ÁÙÀ̱â À§ÇØ ÀϺΠÆĶó¹ÌÅ͸¸ Á¶Á¤ÇÏ´Â ¹æ½ÄÀ̾úÀ¸³ª, ÀÌ´Â ¾çÀÚÈ ¿À·ù¸¦ ÃæºÐÈ÷ º¸Á¤ÇÏÁö ¸øÇß´Ù. À̸¦ º¸¿ÏÇϱâ À§ÇØ RA-LoRA´Â ·©Å© ¼ºê½ºÆäÀ̽º ºÐ¼®À» ÅëÇØ ¾î´ðÅÍÀÇ ·©Å©¸¦ µ¿ÀûÀ¸·Î Á¶Á¤ÇÏ¿© ÃÖÀûÀÇ ¼º´ÉÀ» À¯ÁöÇÒ ¼ö ÀÖµµ·Ï ¼³°èµÆ´Ù. ·©Å© ¼ºê½ºÆäÀ̽º ºÐ¼®Àº °¢ ·¹À̾îÀÇ Æ¯¼º°ú ÀÔ·Â µ¥ÀÌÅÍ¿¡ µû¶ó ÀûÀýÇÑ ·©Å©¸¦ ¼±ÅÃÇÏ´Â °úÁ¤À» Æ÷ÇÔÇÑ´Ù. À̸¦ ÅëÇØ RA-LoRA´Â ÀûÀº ÆĶó¹ÌÅͷεµ ³ôÀº Á¤È®µµ¸¦ À¯ÁöÇÒ ¼ö ÀÖÀ¸¸ç, À̴ ƯÈ÷ 2ºñÆ® ¾çÀÚÈ È¯°æ¿¡¼ µÎµå·¯Áø´Ù. ½ÇÇè °á°ú, RA-LoRA´Â DeBERTa-V3 ¹× LLaMA-2 ¸ðµ¨À» »ç¿ëÇÑ 2ºñÆ® È¿À²ÀûÀÎ ¹Ì¼¼ Á¶Á¤¿¡¼ ±âÁ¸ÀÇ ¹æ¹ýµéº¸´Ù ¶Ù¾î³ ¼º´ÉÀ» º¸¿©ÁÖ¾ú´Ù. ƯÈ÷, RA-LoRA´Â ´Ù¾çÇÑ NLP ÀÛ¾÷¿¡¼ ±âÁ¸ÀÇ ¾çÀÚÈ°¡ Àû¿ëµÈ LoRA ±â¹ýº¸´Ù ´õ ¿ì¼öÇÑ ¼º´ÉÀ» ±â·ÏÇß´Ù. ù ¹ø° ³í¹® ¡¸Improving Conversational Abilities of Quantized Large Language Models via Direct Preference Alignment¡¹´Â ÇѾç´ë À¶ÇÕÀüÀÚ°øÇаú ÀÌÀåȯ, ¹Ú¼º¹Î ¹Ú»ç°úÁ¤»ýÀÌ °øµ¿1ÀúÀÚ, ÃÖÁ¤¿í ±³¼ö°¡ ±³½ÅÀúÀÚ·Î KT ¿¬±¸ÆÀ°ú ÇÔ²² Âü¿©Çß´Ù. µÎ ¹ø° ³í¹® ¡¸RA-LoRA: Rank-Adaptive Parameter-Efficient Fine-Tuning for Accurate 2-bit Quantized Large Language Models¡¹Àº ÇѾç´ë À¶ÇÕÀüÀÚ°øÇаú ±è¹Î¼ö ¹Ú»ç°úÁ¤»ýÀÌ 1ÀúÀÚ, ¼¿ï´ë ¼º¿ø¿ë ±³¼ö°¡ Âü¿© ¿¬±¸ÀÚ, ÃÖÁ¤¿í ±³¼ö°¡ ±³½ÅÀúÀÚ·Î Âü¿©Çß´Ù.
ÀÌµé ³í¹®Àº Áö³ 8¿ù 11ÀϺÎÅÍ 16ÀϱîÁö ÁøÇàµÈ ¼¼°è ±ÇÀ§ÀÇ ÀÚ¿¬¾îó¸® ÇÐȸ ¡®ACL 2024: The 62nd Annual Meeting of the Association for Computational Linguistics¡¯¿¡¼ °¢°¢ Main track°ú Findings track¿¡¼ ¹ßÇ¥µÆ´Ù.
¾çÀÚÈ ÀÎ½Ä Á÷Á¢ ¼±È£ ÃÖÀûÈ(QDPO)ÀÇ È¿°ú |
|
ÀÌÀü±Û | ÇѾç´ëÇб³-°í·Á´ëÇб³ °øµ¿¿¬±¸ÆÀ, »óÀüÀÌ ±â¹Ý ¿Àü°¥¹Ù´Ð ¿¡³ÊÁö ¼öÈ® ±â¼ú °³¹ß |
´ÙÀ½±Û | ÇѾç´ë À§Á¤Àç ±³¼öÆÀ, ¿ø¼Ò Ȳ È°¿ëÇÑ Ä£È¯°æ ¸¶Âû´ëÀü ¹ßÀü¿ë º¹ÇÕ¼ÒÀç °³¹ß |
|