ÇѾç´ëÇб³ °ø°ú´ëÇÐ

´ëÇѹα¹ ±â¼ú Çö½ÇÈ­ÀÇ »ê½Ç

ȨÀ¸·Î °ø°ú´ëÇÐ ¼Ò½Ä±³¼ö

±³¼ö

°Ô½Ã¹° »ó¼¼³»¿ë
ÄÄÇ»ÅͼÒÇÁÆ®¿þ¾îÇкΠ¼­Áö¿ø ±³¼ö, ´ë±Ô¸ð µö·¯´× ¸ðµ¨ ÇнÀ °¡¼Ó±â¼ú °³¹ß
ÀÛ¼ºÀÚ : ÇѾç´ëÇб³ °ø°ú´ëÇÐ(help@hanyang.ac.kr)   ÀÛ¼ºÀÏ : 22.10.19   Á¶È¸¼ö : 148


asdf.jpg


ÇѾç´ë ÄÄÇ»ÅͼÒÇÁÆ®¿þ¾îÇкΠ¼­Áö¿ø ±³¼öÆÀÀÌ ÃÖ±Ù BERT, GPT-3 µîÀÇ ´ë±Ô¸ð µö·¯´× ¸ðµ¨ ÇнÀÀ» °¡¼ÓÇϴ ÃÖÀûÈ­ ±â¼úÀ» °³¹ßÇß´Ù. ÇØ´ç ±â¼úÀº µö·¯´× ¸ðµ¨À» ÇнÀÇϴ ±×·¡ÇÈÄ«µå(GPU) µîÀÇ Çϵå¿þ¾î °¡¼Ó±â »ç¿ë·üÀ» ³ô¿© ÇнÀÀ» °¡¼Ó½ÃŲ´Ù. À̸¦ ÅëÇØ ¼­ ±³¼öÆÀÀº »ó´ëÀûÀ¸·Î ÀûÀº ¼öÀÇ Çϵå¿þ¾î °¡¼Ó±â·Î ´ë±Ô¸ð ¸ðµ¨ ÇнÀÀ» °¡´ÉÇÏ°Ô ¸¸µé¾ú´Ù.


À̹ø ¿¬±¸´Â ÄÄÇ»ÅͽýºÅÛ ºÐ¾ß ¼¼°èÃÖ°í Çмú´ëȸ ¡®EuroSys(The European Conference on Computer Systems)¡¯¿¡ ¹ßÇ¥µÆÀ¸¸ç, ´ë±Ô¸ð ½Å°æ¸Á ¸ðµ¨ ÇнÀÀ» °¡¼ÓÈ­ÇÒ »Ó ¾Æ´Ï¶ó ÇâÈÄ ´Ù¾çÇÑ ¹æ½ÄÀ¸·Î È°¿ëµÉ ¼ö Àִٴ Á¡¿¡¼­ Çаè¿Í ¾÷°èÀÇ ÁÖ¸ñÀ» ¹Þ°í ÀÖ´Ù.

±âÁ¸ÀÇ µö·¯´× ¸ðµ¨ ÇнÀ¹æ½ÄÀº ¿ªÀüÆÄ(BackProp) ¾Ë°í¸®Áò ¼öÇ࠽àµö·¯´× ¸ðµ¨ ·¹À̾îÀÇ ¿ª¼øÀ¸·Î¸¸ °è»êÀ» ½ºÄÉÁÙ¸µÇϱ⠶§¹®¿¡ Çϵå¿þ¾î °¡¼Ó±â¸¦ È¿À²ÀûÀ¸·Î »ç¿ëÇÒ ¼ö Àִ ½ºÄÉÁÙ¸µÀÌ ºÒ°¡´ÉÇß´Ù. ¼­ ±³¼öÆÀÀº ÀÌ·± ´ÜÁ¡À» °³¼±ÇÏ°íÀÚ ¿ªÀüÆÄ ¾Ë°í¸®Áò °úÁ¤ÀÇ °è»ê ÀÇÁ¸¼ºÀ» ºÐ¼®, Çϵå¿þ¾îÀÇ °¡¿ë¼ºÀ» ÃÖÀûÈ­Çϴ ¼ø¼­·Î ¿ªÀüÆÄ ¾Ë°í¸®Áò °è»êÀ» Çϴ ¡®½ºÄÉÁÙ¸µ ¾Ë°í¸®Áò¡¯À» °í¾ÈÇß´Ù.

¼­ ±³¼öÆÀÀº ºÐ¼® °úÁ¤¿¡¼­ ÆĶó¹ÌÅÍ ±â¿ï±â °è»ê(Weight Gradient Computation)ÀÇ °æ¿ì µö·¯´× ¸ðµ¨ÀÇ ·¹À̾ª¼øÀ¸·Î °è»êÇÏÁö ¾Ê°í ´Ù¸¥ ¼ø¼­·Î ½ºÄÉÁÙ¸µ Çϴ °ÍÀÌ °¡´ÉÇϴٴ °ÍÀ» ÆľÇÇß°í, À̸¦ È°¿ëÇØ ½ºÄÉÁÙ¸µÀ» Çϴ ¡®ºñ¼øÂ÷Àû ¿ªÀüÆÄ(Out-Of-Order BackProp)¡¯ ±â¹ýÀ» °³¹ßÇß´Ù.

ÇØ´ç ±â¹ýÀº µö·¯´× ¸ðµ¨ ÇнÀ ½Ã ÀϹÝÀûÀ¸·Î ±¤¹üÀ§ÇÏ°Ô Àû¿ëµÉ ¼ö Àִ ±â¹ýÀ¸·Î, Æ¯È÷ ´ë±Ô¸ð µö·¯´× ¸ðµ¨ÀÇ ºÐ»ê ÇнÀ¿¡ Àû¿ëÇØ È¿À²ÀûÀΠ½ºÄÉÁÙ¸µ ¾Ë°í¸®ÁòÀ» ¸¸µé ¼ö ÀÖ¾ú´Ù.

À̸¦ ÅëÇØ ¼­ ±³¼öÆÀÀº ºÐ»ê ÇнÀÀÇ ´ëÇ¥¹æ½ÄÀΠµ¥ÀÌÅÍ º´·ÄÇнÀ(Data Parallel Training)°ú ÆÄÀÌÇÁ¶óÀΠº´·ÄÇнÀ(Pipeline Parallel Training)¿¡¼­ ÀÓ°è°æ·Î(Critical Path)¿¡ Àִ ÆĶó¹ÌÅÍ ±â¿ï±â °è»êÀÇ ¿ì¼±¼øÀ§¸¦ ³ôÀ̴ ½ºÄÉÁÙ¸µ ±â¹ýÀ» Àû¿ëÇØ ÃÖÀûÈ­Çß´Ù.

±× °á°ú ¼­ ±³¼öÆÀÀÌ Á¦¾ÈÇÑ ½ºÄÉÁÙ¸µ ¾Ë°í¸®ÁòÀº DenseNet, MobileNet µîÀ» Æ÷ÇÔÇÑ ÄÄÇ»ÅÍ ºñÀü ¸ðµ¨ÀÇ ÇнÀ¼Óµµ¸¦ ÃÖ´ë 1.5¹è ÀÌ»ó Çâ»ó½Ã°í, BERT¡¤GPT-3 µîÀÇ °Å´ë ÀÚ¿¬¾î󸮠¸ðµ¨ÀÇ ÇнÀ ¼Óµµ¸¦ ÃÖ´ë 2¹è Çâ»ó½ÃÄ×´Ù.

¼­ ±³¼öÀÇ ¿¬±¸ °á°ú´Â EuroSys Çмú´ëȸ ¹ßÇ¥ ÈÄ ¿ì¼ö¼ºÀ» ÀÎÁ¤¹Þ¾Æ ¿µ±¹ ÀÓÆ丮¾ó Ä®¸®Áö ·±´ø, ¹Ì±¹ ½ºÅÄÆ÷µå ´ëÇп¡¼­ ÃÊû¹ßÇ¥°¡ ÁøÇàµÆ´Ù. ¶Ç »ê¾÷°èÀÇ ÁÖ¸ñµµ ¹Þ¾Æ ¹Ì±¹ ±¸±Û º»»ç, ³×À̹ö Å¬·Î¹Ù, LG AI¿¬±¸¿ø, KT, SKT, ¸ô·ÎÄÚ, ¸¶Å°³ª¶ô½º µîÀÇ ÃÊûÀ» ¹Þ°í ¼¼¹Ì³ª°¡ ¿­·È´Ù.

Á¤º¸Åë½Å±âȹÆò°¡¿ø(IITP)°ú ÁÖ½Äȸ»ç KTÀÇ Áö¿øÀ» ¹ÞÀº À̹ø ¿¬±¸´Â ¿ÀÇüÁØ, ÀÌÁØ¿­, ±èÇüÁÖ ÇѾç´ë ¼®¡¤¹Ú»ç°úÁ¤ Çлýµé°ú ÇÔ²² ÁøÇàµÆ´Ù. ÇÑÆí ¼­Áö¿ø ±³¼ö´Â KT AI¿øÆÀ¿¡ Âü¿©ÇØ À̹ø ¿¬±¸¿¡¼­ °³¹ßµÈ ±â¼úÀ» Àû¿ëÇϴ ¿¬±¸¸¦ ÁøÇàÇÏ°í ÀÖ´Ù.

ÀÌÀü±Û µµ½Ã°øÇаú ÀÌ⹫ ±³¼ö, ¡®ÁýÄÚ³ë¹Ì Äܼ­Æ® 2022¡¯ Á¤Ã¥ ¼¼¹Ì³ª¿¡¼­ '±â·Î¿¡ ¼± ºÎµ¿»ê ½ÃÀå, »óȲ°ú Àü¸Á' ÁÖÁ¦·Î Åä·Ð
´ÙÀ½±Û ÇѾç´ë ¿øÀüÇØü¿¬±¸¼¾ÅÍ, ¾ÈÀüÇÑ ¿øÀüÇØü À§ÇÑ Áöħ¼­ 2Á¾ ¹ßÇà
¸®½ºÆ®