챗 GPT란?

요즘 챗 GPT(Chat GPT)란 게 여기저기서 들려서, 도대체 챗 GPT는 뭔지 어디에 사용하는 건지 어떻게 만들어진 녀석인지를 공부하고 정보를 바탕으로 이후 내가 쉽게 리마인드할 수 있도록 기록하고자 한다.

 

1. GPT란?

• GPT란 Open AI라는 인공지능 연구소에서 만든 자연어 처리 모델(NLP)이다.
  • 자연어 처리 모델이라는 것은 자연어(=텍스트, 인간의 언어)를 다루는 인공지능 모델.
• Open API처럼 누구나 사용할 수 있게 오픈되어 있는 AI가 바로 GPT이다.

 

2. 이 중 Chat GPT란?

• 대규모 언어모델(LMM)에 기반한 대화형 인공지능 서비스.
• 이렇게 이용자의 특정 요구에 따라 결과를 ‘생성해내는’ 인공지능을 생성형 인공지능(Generative AI)이라고 한다.
  • 수 많은 데이터 원본을 통해 학습함으로써, 이미지(그림), 비디오(영화), 코딩, 음성 등등 다양한 콘텐츠를 생성할 수 있다.

 

3. Chat GPT(초거대 AI)의 학습 방법

• 인공지능은 지금껏 다양한 데이터를, 다양한 방식으로 학습해왔다.
• 학습 방법을 정리하기 전에, 학습이 됐는지 안 됐는지를 알 수 있는 실험에 대해 먼저 정리해야겠다.
  • 자연어, 즉 0과 1로 이루어진 코드 기호가 아닌 인간이 만든 text를 기계에게 학습시키면서 학습이 잘 되었는지 어떻게 확인할 수 있을까?
  • 그건 앨런 튜링(수학자이자 암호학자 이자 등등 암튼 대단한 사람)의 논문의 문장, “기계는 생각할 수 있을까?”라는 가설을 검증하기 위한 ‘이 실험’을 통해 확인하고 있다고 한다.
  • 실험이란, 방에 인공지능 혹은 사람을 두고 방 밖에 있는 사람과 대화를 시켜 → 방 밖에 있는 사람이 안에 있는 것이 인공지능임을 구분하면 실패 구분하지 못하면(사람인 줄 알면) 지능이 있다(학습 성공)고 판단하는 것이다.

 

• 기존의 AI와 현재 챗GPT는 규모도 그렇지만, 학습 방법에서도 차이를 보인다.
  • 기존의 AI는 “한국의 수도는 어디?”이라는 문장의 ‘한국’과 ‘수도’의 의미, ‘어디’의 의미를 이해하려 노력했다.
    • 이는 기호적 접근으로, 문장을 분해하여 의미를 해석하고 정답을 출력해낸다.
  • 현재 챗GPT는 인터넷의 수많은 글들을 통으로 학습하여 “한국의 수도” ⇒ ‘서울’이 많더라 → 서울을 출력하는 식이다.(like 빈칸 채우기.)
    • 이는 비기호적 접근으로, 문장 요소를 분해하여 이해하는 것이 아닌, 그냥 더 이상 학습할 게 없을 때까지 문맥 자체를 학습해 특정 단어들 이후에 가장 높은 확률로 오는 단어를 출력하는 식이다.

 

• 지난번 정리했던 기계 학습(머신러닝, Machine Learning)을 복기하자면,
  • 머신러닝은 문제 해결&과업 달성을 위해 사람이 컴퓨터 코드를 일일이 작성하지 않고, 대규모 데이터와 일반화된 알고리즘을 통해 문제 해결 패턴(모델)을 자동 학습하는 기술이다.
  • 즉 데이터를 마구마구 집어 넣으면 기계가 알아서 범주화, 예측하여 피처(특징)을 분석하는 식이다.
• 이렇게 ‘알아서’ ‘잘’ 학습하려면, 잘 만들어진 AI 모델이 필요하다.
  • 뇌에 있는 ‘뉴런’을 연결하는 ‘시냅스’처럼, ‘함수’를 연결하는 ‘신경망’이 존재한다.(이 신경망을 파라미터라고도 한다.)
  • 뉴런보다(만큼?) 중요한 건 시냅스다. 즉 어떻게 연결되어 있는지가 중요하다.(이걸 밝힌 사람이 노벨상을 받았다고 함.)
  • 즉슨 수많은 함수(보통 그래프에서는 원으로 표시되어 있다)를 연결하는 방식에 따라 다양한 Neural Networks가 생기는 거다.
    • 엄청나게 많이 연결 → 엄청난 계산 필요 → 엄청 많은(고사양의) GPU 필요!
    • 많이 연결할 수록 똑똑해진다.(예를 들면 원래는 강아지, 고양이만 구분할 줄 알았는데 이제는 말티즈, 말티푸, 푸들, 샴 등등 기준이 모호한 사진들도 구분할 수 있어진 거다.)
• 챗 GPT를 말하려면 구글의 논문인 “Attention Is All You Need”를 빼놓을 수가 없다.
  • 구글이 발표한 Transformers라는 알고리즘을 통해 인간 언어의 특징 학습에 성공했다.(현재는 이 인공지능을 기반해 살을 붙여가고 있는 과정이라고 이해하면 될 듯하다.)
  • 사람이 글을 읽을 때, 말을 할 때를 생각해 보자.
    • a → b → c… 시간이 지나면 맨 처음 정보인 a를 까먹는다.
  • 인공지능도 마찬가지였다. 아무리 많은 수학적 뉴런(파라미터)를 연결해도 학습에 성공하지 못했다.
    • 신경학습망을 거쳐갈 수록 인공지능이 ‘정보를 개념화’하는 과정을 거치기 때문이다.
    • 개념화란 ‘단순화’이기도 하기 때문에 상세 정보를 잃는 과정이기도 하다.
  • 이걸 발견하고 앞의 정보들 중 '중요한 정보'를 뒤에 넣어줬더니 이젠 실패하지 않고 점점 똑똑해지는 것이다.(like 쪽집게 강사처럼.)

 

• Chat GPT를 학습시키는 방식을 간략히 정리하면.
  1. 어엄청나게 많은 양의 text 비지도형 학습.(알아서 데이터 학습 → 패턴/상관관계 인식.)
  2. 이후 지도형 학습.(인풋과 아웃풋으로 구성된 데이터 쌍 학습.)
  3. 결과 확인 후 아웃풋에 상벌을 줌.(맞았다 틀렸다 채점.)
  4. 두 AI를 두고 서로 상벌을 주게 함.(자체 강화학습.)
  • 이런 학습 방법에 따라, 그러니까 “학습한 데이터의 양” 그리고 “상벌의 영향(사람의 피드백을 받은 강화학습)”에 의해 챗 GPT 같은 인공지능의 성능에 차이를 가지게 된다.
    • ex_람다라는 인공지능은 내가 알려준 지식(or 검색 엔진을 참고하여) 원래 갖고 있던 지식과 결합해 대화를 진행한다.

 

4. Chat GPT의 문제점

• 긴 답변을 보다 보면, 맥락에 대한 이야기만 하는 경우가 있다.
  • 학습 방법에서 파생된 문제로, 질문을 이해하는 게 아닌 확률상 단어를 뿌려주는 것 뿐이기 때문.
• 현재는 2021년까지의 데이터로 학습되어 있다.(내가 알기론 Chat GPT 4를 최신 정보를 넣어 만드는 중이라고.)
  • 가끔 현재 질의응답하는 게 모델을 학습시키는 과정이라고 생각하는 사람들이 있는데 내가 알기론 실시간 학습은 안 되는 걸로 안다. 물론 현재 질의응답 과정을 모아서 이후에 학습에 사용할 수는 있겠지만.
• 영어로 학습되었기에 타나라 지원이 약할 수 있다.
• 진짜 일상 대화는 전혀 못한다.(지식 기반의 생성 대화 O.)
  • 초기 학습 데이터가 정보성 데이터일 확률이 높다고 보여짐. 일상 대화만으로 학습시키면 일상 대화를 하는 AI가 만들어질 것이다.(ex_이루다나 강…다온? 요런 AI 같이.)
• 간단한 논리에도 약하고 상식도 없다.
  • 예를 들면 가족 정보를 말해주고, 할머니를 물으면 최OO이라고 답변하는데 이후 최OO의 성별은 뭐야?라고 물으면 모른다고 답한다.
• 완전히 틀린 오답을 진짜처럼 얘기할 때가 있다.
  • 왜를 설명해주지는 않는다.(즉 어디서 잘못 배웠는지는 모른다.)
  • 큰 네트워크(인공신경망) 안에 학습된 벡터 데이터 덩어리이기 때문.

 

---

 

내가 이 챗 GPT를 조사하면서 가장 흥미로웠던 점은 대화의 맥락을 기억한다는 점이었다. 어렸을 적 심심이와 대화를 해본 나로선 심심이와 티키타카를 하고 있으면 갑자기 엉뚱한 말을 하는 경우가 있는데 확실히 그 부분의 어색함은 많이 사라진 것 같았다. 몇달 전 대화의 주요 정보를 후반 대화에 재인식시키는 논문을 슬쩍 본 적이 있는데 그 기억도 나고… 암튼 신기할 따름이다.

 

하하, 이렇게 똑똑한 인공지능이 나오고, 그걸 공부하고 있으면 이걸 대체 어떻게 사용해서 수익을 내야 하나 이 생각이 든다. 내가 본 유튜브에서, 이런 말을 했다. “지금은 혁신이 아니다. 혁신의 발끝을 본 것이다.” 정말 공감이 되는 말이다. 혁신의 일부만 공부해도 이렇게 방대한데, 이 재료로 어떤 비즈니스들이 생겨날지는 앞으로 계속 지켜봐야 할 것이다.

 

이 인공지능 붐이 WWW, 아이폰 탄생과 더불어 텐배거(10배의 수익을 올리는 투자 종목)의 기회라면… 과연 인공지능과 더불어 어떤 기술이 혁신을 이끌지는 모르겠지만, 열심히 조금씩 조금씩 공부해가는 수밖엔 없을 것이다.

 

돈을 버는 사람의 대다수는 첫발을 디딘 사람이 아니라 그 뒤를 바짝 붙어 따라간 사람이라고 한다. 물론 이는 첫 시장에 들어가 시장 점유율을 먼저 장악한 기업에 빗대면 틀린 말이겠지만, 나는 아직 대학생이고 아직 기회는 많다. 계속 혁신의 끝자락을 잡고 파고 공부하고, 나만의 인사이트를 쌓아갈 예정이다.(중꺾마~ 중요한 건 꺾이지 않는 마음~ ㅋㅋ)