트랜스폼모델의 얼개와 읽기와 쓰기의 미래

언어모델이라는것은 언어가 인간의 생각을 담는 그릇이라는 점에서 컴퓨터가 1과 0이 아닌 인간의 언어능력을 모방하고 발전해나가고 있다는 것은 굉장히 직관적이고 말이 된다. 

2017년에 구글브레인의 "Attention is All You Need" 논문에서 소개된  연구는 현재의 거대언어모델 개발에 큰 영향을 미쳤다. 기계 번역과 같은 시퀀스-투-시퀀스(sequence-to-sequence) 작업을 개선하기 위해 Transformer 아키텍처가 도입되었다.

출처: Transformer 아키텍처 및 Transformer 모델의 동작 원리 – 지니코딩랩 (jiniai.biz)

기존의 '시퀀스 투 시퀀스'가 단어를 순차적으로 입력언어사전과(인코더) 번역어사전(디코더를) 연결해서 번역해서 1:1로 번역하는 구조라면, '트랜스포머 모델'은 문장의 구조와 패턴을 파악해서 번역하는 구조이다. 또한 언어간 연결과 맥락 이 언어는 맥락과 내용이 단어의 배열과 연결에 따라 여러가지 의미를 전달하고 담아내고있는 것이다.

이 모델이 혁신인 이유는

1.문장전체를 한번에 병렬로 처리하여 처리량과 속도를 늘림
2. 자기 어탠션(self-attension)
 - 어텐션 매커니증으로 문장내에서 단어간의 관계가 어떻게 연결되어있는지 계산해서 중요한 단어에 가중치를 부여함. 이전 모델이 문장을 순서대로 처리했다면 트랜스포머는 단어의 연결성을 바탕으로 문장을 이해함

self-attention이란? Transformer self-attention 매우 쉬운 설명 (tistory.com)

self-attention이란? Transformer self-attention 매우 쉬운 설명

3. 멀티헤드 어텐선(Multi-head Attention)
 - 여러 각도에서 단어간의 연결구조를 파악함. 한 헤드가 문장에서 주어와 목적어의 관계를 파악한다면, 다른 헤드는 동사와 목적어의 관계를 분석

4-2. Transformer(Multi-head Attention) [초등학생도 이해하는 자연어처리] (tistory.com)

4-2. Transformer(Multi-head Attention) [초등학생도 이해하는 자연어처리]

4.긴 문장애서도 성능유지
 -종전의 모델에서는 문장이 길어질수록 성능이 떨어지고 긴 문장의뒤로 갈수록 앞 부분이 누락이 발생할 확률이 높아짐. 트렌새폼모델은 문장이 길어저도 성능이 떨어지지 않음

5.  포지셔널 인코딩
 - 동시에 문장을 병렬로 처리하기 때문에 문장 내의 순서를 보관하고 모델의 각 단어가 문장에 어디있는지 알 수 있도록 도와줌

Transformer - 1. 포지셔널 인코딩 (by WikiDocs) (velog.io)

Transformer - 1. 포지셔널 인코딩 (by WikiDocs)

6. 범용적인 활용
-이 알고리즘은 자연어 번역뿐 아니라 전환하는 능력이 있어서 이미지 분석이나 음석인식 같은 데이터 유형에도 활용이 가능해졌는데 이 글을 쓴 이유 가운데 하나가 언어모델의 전환이라는 이 알고리즘이 언어영역과 이미지 언어영역과 작곡등 다른 영역으로 응용되면서 전방위적인 혁신이 일어나기 시작했다는 것이다.

Transformer 모델이란? : AI 혁신을 주도하는 트랜스포머 알고리즘 (superb-ai.com)

Transformer 모델이란? : AI 혁신을 주도하는 트랜스포머 알고리즘

또한 인간의 언어중 명사는 추상적인 개념까지 담아 의사소통을 하개되는데,  전문용어, '혼돈의 가장자리', '케즘'등의 용어는 사고가 확장되기 전에는 쓰이 않던 말들이지만 학문과 인간의 의식영역이 확장될때마다 이런 새로운 단어가 지속적으로 추가되고 있다. 인간이 새로운 말은 교육과 문맥의 맥락에서 파악하는 것과 마찬가지로, 컴퓨터는 개념어가 어떤 맥락에 쓰이는지 알 수 있게 된다면 인간의 사고를 모방할 수 있는 것이다. 객체지향방법론 인간의 행동과 상호작용에 대한 모델링이었다면 인간의 언어를 다룰 수 있게되었다는것은 계산하는 컴퓨터가 아니라 말하는 컴퓨터가 되었다는 것이고 말하는능력의 향상은 결국 사고력이 향상된다는 테크트리가 된 것이다.

컴퓨터 언어는 컴퓨터의 입출력에 너무 붙어있어 컴퓨터의 언어논리를 인간이 배워서 명령을 내리는 특별한 일이 필요했지만, 모든 인간들이 인공지능을 끼고 살게 되어 아무리 어려운 개념이라도 컴퓨터가 보조해주고 아무리 방대한 자료나 통계수치라도 모두 해석이 가능해진다. 역설적이게도 인공지능의 능력을 자기능력처럼 휘두르려면 더 많은 추상적 사고와 어휘력이 필요하다. 읽는 나로서 생각하는 수준이 아니라 생산자로서 기능하려면 정말로 많은 책을 읽어야 하는 시대가 된 것이다. 이제 새로운 개념어를 익혀 사고해서 새로운 분야에 응용하고 글을 읽고 해석하고 쓰는 능력이 점점 더 중요해질 것 같다.