ChatGPT-3.5 vs ChatGPT-4 비교 / ChatGPT는 얼마나 똑똑할까?

 

OpenA에 의해 개발된 언어 모델인 chatGPT는 다양한 환경에서 사람과 같은 반응을 생성하는 능력 때문에 지난 1년 동안 엄청나게 인기를 끌었습니다.

사실, ChatGPT는 매우 유능해져서 학생들은 ChatGPT를 이용해 숙제나 레포트를 작성하는 등 대중화가 되어가고 있는데요. 그렇기 때문에 미국에서는 일부 학교들이 학교 네트워크에 접속해 있을 경우, ChatGPT에 접속하는 것을 막기도 했죠.

 

 

그렇다면, ChatGPT는 얼마나 똑똑할까요?

2023년 3월 27일 발표된 기술 보고서에서 Open AI 사는 가장 최근 모델인 GPT-4에 대한 포괄적인 내용을 발표했는데요.

이 보고서에는 아래 그림과 같이 시각화한 일련의 시험 결과가 포함되었습니다.

 

www.visualcapitalist.com

 

GPT-4 vs GPT-3.5

ChatGPT의 역량을 벤치마킹하기 위해 Open AI사는 다양한 전문 시험들을 대상으로 모의 시험을 시물레이션했습니다.

여기에는 SAT, 변호사 시험 및 AP시험이 포함되었는데요.

결과치는 백분위로 측정되었고 이것은 각 시험 유형의 수험생이 가장 최근에 얻고 있는 점수 분포를 기반으로 했습니다.

백분위 점수는 다른 사람들의 성적에 상대적인 자신의 성적을 순위로 매기는 방법입니다.

예를 들어, 만약 우리가 어떤 시험에서 60번째 백분위라면 이것은 총 시험 응시자들의 60%보다 더 높은점수를 받았음을 의미합니다.

이 그래프에서 우리가 알수 있듯이, GPT-4(2023년 3월 출시)는 이러한 시험들 대부분에서 GPT-3.5(2022년 3월 출시)보다 휠씬 더 뛰어난 능력을 가진 것으로 보이지만 AP English와 Competitive Programming에서는 GPT-3.5보다 그렇게 큰 발전은 없어 보입니다.

AP English (오프라인 시험을 포함)와 관련하여, ChatGpT의 응답값은 '관련 업무 경험이 있는 1~2명의 자격 있는 감독관이 해당 에세이를 채점하여 등급이 매겨졌는데요.

ChatGPT는 확실히 적절한 에세이를 작성할 수 있지만, 시험의 프롬프트를 이해하는 데 어려움을 겪었을 수도 있을 것 같습니다.

Competitive Programming 시험을 위해, ChatGPT는 각각 100회씩 10개의 코드포스 대회를 거쳤는데요.

코드포스는 참가자들이 복잡한 문제를 해결해야 하는 경쟁력 있는 프로그래밍 대회를 말합니다.

여기서 GPT-4의 평균 코드포스 등급은 392등급(5백분위 이하)인 반면, 단일 대회에서 최고 점수는 약 1,300점이었습니다.

코드포스 등급 페이지를 참조하면, 최고 점수를 받은 사용자는 3,841점으로 중국 출신입니다.

 

Source_Flickr

 

 

그럼 ChatGPT-3.5 대비, ChatGPT-4가 달라진 점은 무엇일까요?

1. ChatGPT-3.5의 단점은 인터넷에 접근할 수 없고 2021년 6월까지의 데이터에 대해서만 학습했다는 것입니다.
   
   반면, GPT-4를 사용하면 인터넷에 접근이 가능하고 더 최신 정보가 반영된 응답값을 얻을 수 있으며 더 넓은 범위의 작업을 완료할 수 있는 다양한 플러그인에 액세스할 수 있습니다.
   여기에는 ChatGPT가 여행 일정을 예약할 수 있는 익스피디아와 같은 서비스의 타사 플러그인이 포함됩니다.
   
   
2. GPT-3.5는 텍스트 입력만 가능했지만 GPT-4는 이미지를 분석할 수 있는 기능이 추가되었습니다.
   사용자는 ChatGPT에게 사진 설명, 차트 분석 등을 요청할 수 있게 되었습니다.
   
   
3. 마지막으로, GPT-4는 휠씬 더 많은 양의 텍스트를 처리하고 대화를 더 오래할 수 있게 되었습니다.
   참고로, GPT-3.5는 약 3,000단어에 해당하는 4,096개 토큰이 최대 요청 값이지만 GPT-4는 두 가지 베리에이션으로 하나는 8,192개의 토큰(6,000단어)과 다른 하나는 32,768개의 토큰(24,000단어)으로 처리량을 상당히 늘린 것이 특징입니다.

 

 

https://www.visualcapitalist.com/how-smart-is-chatgpt/