OpenAI ChatGPT 성능 저하에 대한 의문

OpenAI ChatGPT 성능 저하에 대한 의문

최근 현 시점(23년06월04일)을 기준으로 초기 chatGPT4 모델 보다 답변은 빨라졌지만 답변 결과는 초기 GPT4 보다 못하다는 얘기들이 있어서 주말 친구와의 대화 중 인사이트가 생겨서 간단히 내 생각을 얘기해보려고 한다.

1. 깊은 도메인 이해의 어려움

내가 생각하는 첫번째 이유는 사용자들의 GPT에 대한 높은 이해도 때문이라는 생각이 든다. 처음 GPT가 등장했을 때는 일반적으로 상식적인 내용들을 많이 질문했는데 이에 대한 GPT의 답변은 사람과 구분하기 어려울 정도로 자연스러운 답변을 하였으나 GPT에 대한 사용자들의 이해도가 높아지고 특정 도메인에 대한 깊은 지식과 답변을 요구했을 때는 GPT의 '데이터 부족'과 '사전 학습데이터 한계'로 자세한 답변이 어려워 보인다. 

2. 편향된 학습데이터

어쨋든 GPT는 기존에 있던 데이터들을 학습하여 이를 정리해서 보여주는 데이터들이다. 이 때 발생할 수 있는 가장 큰 오류로 생각되는 것이 '일반화의 오류' 라는 생각이다. 세상의 옳고 그름에 대한 기준은 문화, 윤리, 가치관 등의 다양한 요소에 따르는데 GPT는 기존에 있던 데이터를 바탕으로 학습하고 한정된 정보에 기반하여 일반적인 패턴을 추론하면서 논리적 결함을 일으킬 수 있다는 생각이다.

앞으로는 수 많은 정보들이 생성형 AI를 통해서 만들어질텐데 선택적으로 고품질의 정보, 데이터를 학습하는 AI가 아니라면 AI가 추론하는 내용은 점점 더 안좋아지게 될 것으로 보인다.

3. 서버비용에 따른 가성비 소형모델의 연구

마지막으로 서버비용에 따른 가성비 소형 모델 개발이다. 초기 GPT의 경우 초대형 인공지능으로 많은 서버 리소스를 사용하여 결과를 추론했지만 이는 많은 서버 비용이 발생하고 이는 오랜시간 유지보수 하는데 비용적인 측면에서 많은 어려움이 따른다. 따라서 GPT는 기능상 비슷한 답변을 하지만 기존보다 소형화된 모델로 연산량을 줄여 빠른 답변 속도와 저렴한 비용으로 대응하고 있는 것이 아닌가 라는 생각이다. 최근까지도 계속적으로 업데이트 되고 있는 GPT를 본다면 앞으로 생성형 AI의 가성비 모델은 계속 진행 될 것 같다.

현재 AI 부분에서 규제에 관하여 많은 이슈와 논란이 있는데 이에 대한 나의 생각은 AI가 위험한 것은 알겠지만 이미 시장 선점한 기득권들이 AI를 규제하고 이끌어가겠다는 부분은 정치적인 이슈와 함께 마치 핵폭탄을 관리하는 특정 나라들이 AI 기득권을 가지고 가겠다는 것처럼 보인다. 초연결시대가 도래하는 시점에서 예전처럼 힘으로 규제하고 관리하는 방식이 안일한 생각처럼 보이는 것은 기우(杞憂)일까?