ÇѾç´ëÇб³ °ø°ú´ëÇÐ

´ëÇѹα¹ ±â¼ú Çö½ÇÈ­ÀÇ »ê½Ç

ȨÀ¸·Î °ø°ú´ëÇÐ ¼Ò½Ä±³¼ö

±³¼ö

°Ô½Ã¹° »ó¼¼³»¿ë
ÇѾç´ë ÃÖÁ¤¿í ±³¼öÆÀ, ÃÊ°Å´ë ¾ð¾î ¸ðµ¨ È¿À²¼ºÀ» ȹ±âÀûÀ¸·Î °³¼±ÇÏ´Â µÎ °¡Áö Çõ½Å ¾Ë°í¸®Áò °³¹ß
ÀÛ¼ºÀÚ : ÇѾç´ëÇб³ °ø°ú´ëÇÐ(help@hanyang.ac.kr)   ÀÛ¼ºÀÏ : 24.09.06   Á¶È¸¼ö : 92
÷ºÎÆÄÀÏ : research03.jpg

                 ÃÖÁ¤¿í ±³¼ö

ÃÖÁ¤¿í ±³¼ö

 

ÇѾç´ëÇб³ À¶ÇÕÀüÀÚ°øÇаú ÃÖÁ¤¿í ±³¼öÆÀ°ú KT ¿¬±¸ÆÀÀÌ ´ëÇü ¾ð¾î ¸ðµ¨(LLM)ÀÇ È¿À²¼ºÀ» ȹ±âÀûÀ¸·Î °³¼±ÇÏ´Â µÎ °¡Áö »õ·Î¿î ¾Ë°í¸®ÁòÀ» °³¹ßÇß´Ù°í ÇѾç´ë°¡ 21ÀÏ ¹àÇû´Ù. À̹ø ¿¬±¸´Â °í¼º´É ´ë±Ô¸ð ¾ð¾î ¸ðµ¨ÀÇ È¿À²¼ºÀ» À¯ÁöÇϸ鼭 Á¤¼ºÀû, Á¤·®Àû ¼º´ÉÀ» ±Ø´ëÈ­ÇÏ´Â µ¥ ÁßÁ¡À» µÎ°í ÀÖ´Ù.

 

´ë±Ô¸ð ¾ð¾î ¸ðµ¨Àº ½ÉÃþ ½Å°æ¸ÁÀÇ °¡ÁßÄ¡ ¼ö¸¦ Å©°Ô ´Ã·Á ¶Ù¾î³­ ¼º´ÉÀ» ¹ßÈÖÇÏÁö¸¸, ÀϹÝÀûÀ¸·Î 16ºñÆ® ºÎµ¿¼Ò¼öÁ¡À¸·Î ¸ðµ¨ °¡ÁßÄ¡¿Í È°¼ºÈ­¸¦ ¿¬»êÇϱ⠶§¹®¿¡ ¸·´ëÇÑ ÀúÀå °ø°£°ú ¿¬»ê ºñ¿ëÀÌ ÇÊ¿äÇÏ´Ù. À̸¦ ÇØ°áÇϱâ À§ÇØ ´Ù¾çÇÑ ¾çÀÚÈ­ ±â¹ýµéÀÌ °³¹ßµÇ¾î ÀúÀå °ø°£°ú ¿¬»ê ºñ¿ëÀ» ÁÙÀÌ´Â µ¥ ±â¿©ÇØ¿Ô´Ù.

 

±×·¯³ª ÃÖÁ¤¿í ±³¼ö ¿¬±¸ÆÀÀº ±âÁ¸ ¾çÀÚÈ­ ±â¹ýµéÀÌ ´ëÈ­Çü ¾ð¾î ¸ðµ¨¿¡¼­ Á¤·®ÀûÀÎ ¼º´ÉÀº À¯ÁöÇÏÁö¸¸, ´ëÈ­ ´É·Â°ú °°Àº Á¤¼ºÀûÀÎ ¼º´ÉÀÌ Å©°Ô °¨¼ÒÇÏ´Â ¹®Á¦¸¦ ¹ß°ßÇß´Ù. ÀÌ´Â ¿¬±¸ÆÀÀÌ °³¹ßÇÑ µÎ °¡Áö ¾Ë°í¸®Áò Áß Ã¹ ¹ø°·Î ÇØ°áÇÏ·Á°í Çß´ø ¹®Á¦¿´´Ù.

 

À̸¦ ÇØ°áÇϱâ À§ÇØ ÃÖ ±³¼ö ¿¬±¸ÆÀÀº '¾çÀÚÈ­ ÀÎ½Ä Á÷Á¢ ¼±È£ ÃÖÀûÈ­(QDPO)'¶ó´Â »õ·Î¿î ¹æ¹ýÀ» Á¦¾ÈÇß´Ù. QDPO´Â ¾çÀÚÈ­µÈ ´ëÈ­Çü ¾ð¾î ¸ðµ¨ÀÇ ´ëÈ­ ´É·Â °¨¼ÒÀÇ ÁÖ ¿øÀÎÀÌ ÅäÅ« Àüȯ ¹®Á¦¿¡ ÀÖÀ½À» ¹àÇô³Â´Ù. ÅäÅ« Àüȯ ¹®Á¦´Â ¾çÀÚÈ­µÈ ¸ðµ¨ÀÌ Æ¯Á¤ ´Ü¾î¸¦ À߸ø ¿¹ÃøÇÏ¿© ´ëÈ­ÀÇ È帧À» ±ú¶ß¸®´Â Çö»óÀÌ´Ù. ¿¬±¸ÆÀÀº À̸¦ ÇØ°áÇϱâ À§ÇØ Àú Á¤¹Ðµµ ¸ðµ¨À» °í Á¤¹Ðµµ ¸ðµ¨°ú Á¤·ÄÀ» ³ôÀÌ´Â È¿À²ÀûÀÎ ÃÖÀûÈ­ ±â¹ýÀ» °³¹ßÇß´Ù.

 

QDPO´Â 16ºñÆ® Á¤¹Ðµµ ¸ðµ¨°ú Àú Á¤¹Ðµµ ¸ðµ¨À» È°¿ëÇÏ¿© ÃÖÀûÈ­¸¦ À§ÇÑ µ¥ÀÌÅ͸¦ º°µµÀÇ ¶óº§¸µ ¾øÀÌ ÀÚµ¿À¸·Î »ý¼ºÇϸç, À̸¦ ÅëÇØ ´ëÈ­ ´É·ÂÀ» À¯ÁöÇϰųª Çâ»ó½ÃÅ°´Â °ÍÀ» ¸ñÇ¥·Î ÇÑ´Ù. ½ÇÇè °á°ú, QDPO¸¦ Àû¿ëÇÑ 4ºñÆ® Àú Á¤¹Ðµµ ¸ðµ¨Àº ±âÁ¸ 4ºñÆ® ¾çÀÚÈ­ ±â¹ý°ú ºñ½ÁÇÑ Á¤·®Àû ¼º´ÉÀ» À¯ÁöÇϸ鼭µµ GPT-4¿Í °°Àº ÃֽŠ¸ðµ¨À» È°¿ëÇÑ Á¤¼ºÀû º¥Ä¡¸¶Å©¿¡¼­ ¿ì¼öÇÑ ¼º´ÉÀ» º¸¿´´Ù.

 

¶ÇÇÑ, ¿¬±¸ÆÀÀº µÎ ¹ø°·Î ÇØ°áÇÏ·Á´ø ¹®Á¦ÀÎ ÀúºñÆ® ¾çÀÚÈ­ ȯ°æ¿¡¼­ÀÇ ¼º´É ÀúÇÏ ¹®Á¦¸¦ ÇØ°áÇϱâ À§ÇØ 'RA-LoRA (Rank-Adaptive Low-Rank Adaptation)'¶ó´Â ¹æ¹ýÀ» °³¹ßÇß´Ù. ±âÁ¸ÀÇ Low-Rank Adaptation (LoRA) ±â¹ýÀº ¸ðµ¨ÀÇ ¸Þ¸ð¸® »ç¿ë·®À» ÁÙÀ̱â À§ÇØ ÀϺΠÆĶó¹ÌÅ͸¸ Á¶Á¤ÇÏ´Â ¹æ½ÄÀ̾úÀ¸³ª, ÀÌ´Â ¾çÀÚÈ­ ¿À·ù¸¦ ÃæºÐÈ÷ º¸Á¤ÇÏÁö ¸øÇß´Ù. À̸¦ º¸¿ÏÇϱâ À§ÇØ RA-LoRA´Â ·©Å© ¼­ºê½ºÆäÀ̽º ºÐ¼®À» ÅëÇØ ¾î´ðÅÍÀÇ ·©Å©¸¦ µ¿ÀûÀ¸·Î Á¶Á¤ÇÏ¿© ÃÖÀûÀÇ ¼º´ÉÀ» À¯ÁöÇÒ ¼ö ÀÖµµ·Ï ¼³°èµÆ´Ù.

 

·©Å© ¼­ºê½ºÆäÀ̽º ºÐ¼®Àº °¢ ·¹À̾îÀÇ Æ¯¼º°ú ÀÔ·Â µ¥ÀÌÅÍ¿¡ µû¶ó ÀûÀýÇÑ ·©Å©¸¦ ¼±ÅÃÇÏ´Â °úÁ¤À» Æ÷ÇÔÇÑ´Ù. À̸¦ ÅëÇØ RA-LoRA´Â ÀûÀº ÆĶó¹ÌÅͷεµ ³ôÀº Á¤È®µµ¸¦ À¯ÁöÇÒ ¼ö ÀÖÀ¸¸ç, À̴ ƯÈ÷ 2ºñÆ® ¾çÀÚÈ­ ȯ°æ¿¡¼­ µÎµå·¯Áø´Ù. ½ÇÇè °á°ú, RA-LoRA´Â DeBERTa-V3 ¹× LLaMA-2 ¸ðµ¨À» »ç¿ëÇÑ 2ºñÆ® È¿À²ÀûÀÎ ¹Ì¼¼ Á¶Á¤¿¡¼­ ±âÁ¸ÀÇ ¹æ¹ýµéº¸´Ù ¶Ù¾î³­ ¼º´ÉÀ» º¸¿©ÁÖ¾ú´Ù. ƯÈ÷, RA-LoRA´Â ´Ù¾çÇÑ NLP ÀÛ¾÷¿¡¼­ ±âÁ¸ÀÇ ¾çÀÚÈ­°¡ Àû¿ëµÈ LoRA ±â¹ýº¸´Ù ´õ ¿ì¼öÇÑ ¼º´ÉÀ» ±â·ÏÇß´Ù.

 

ù ¹ø° ³í¹® ¡¸Improving Conversational Abilities of Quantized Large Language Models via Direct Preference Alignment¡¹´Â ÇѾç´ë À¶ÇÕÀüÀÚ°øÇаú ÀÌÀåȯ, ¹Ú¼º¹Î ¹Ú»ç°úÁ¤»ýÀÌ °øµ¿1ÀúÀÚ, ÃÖÁ¤¿í ±³¼ö°¡ ±³½ÅÀúÀÚ·Î KT ¿¬±¸ÆÀ°ú ÇÔ²² Âü¿©Çß´Ù. µÎ ¹ø° ³í¹® ¡¸RA-LoRA: Rank-Adaptive Parameter-Efficient Fine-Tuning for Accurate 2-bit Quantized Large Language Models¡¹Àº ÇѾç´ë À¶ÇÕÀüÀÚ°øÇаú ±è¹Î¼ö ¹Ú»ç°úÁ¤»ýÀÌ 1ÀúÀÚ, ¼­¿ï´ë ¼º¿ø¿ë ±³¼ö°¡ Âü¿© ¿¬±¸ÀÚ, ÃÖÁ¤¿í ±³¼ö°¡ ±³½ÅÀúÀÚ·Î Âü¿©Çß´Ù.

 

 

 

ÀÌµé ³í¹®Àº Áö³­ 8¿ù 11ÀϺÎÅÍ 16ÀϱîÁö ÁøÇàµÈ ¼¼°è ±ÇÀ§ÀÇ ÀÚ¿¬¾îó¸® ÇÐȸ ¡®ACL 2024: The 62nd Annual Meeting of the Association for Computational Linguistics¡¯¿¡¼­ °¢°¢ Main track°ú Findings track¿¡¼­ ¹ßÇ¥µÆ´Ù.

 

¾çÀÚÈ­ ÀÎ½Ä Á÷Á¢ ¼±È£ ÃÖÀûÈ­(QDPO)ÀÇ È¿°ú

¾çÀÚÈ­ ÀÎ½Ä Á÷Á¢ ¼±È£ ÃÖÀûÈ­(QDPO)ÀÇ È¿°ú

ÀÌÀü±Û ÇѾç´ëÇб³-°í·Á´ëÇб³ °øµ¿¿¬±¸ÆÀ, »óÀüÀÌ ±â¹Ý ¿­Àü°¥¹Ù´Ð ¿¡³ÊÁö ¼öÈ® ±â¼ú °³¹ß
´ÙÀ½±Û ÇѾç´ë À§Á¤Àç ±³¼öÆÀ, ¿ø¼Ò Ȳ È°¿ëÇÑ Ä£È¯°æ ¸¶Âû´ëÀü ¹ßÀü¿ë º¹ÇÕ¼ÒÀç °³¹ß
¸®½ºÆ®