딥시크, 물리 경시대회서 챗GPT 제쳤다?…中 테스트 결과 공개

중국과학원 물리연구소 테스트
딥시크, 인간과 경쟁시 '3등'

중국 스타트업이 개발한 생성형AI 딥시크 실행화면. 연합뉴스

중국 인공지능(AI) 스타트업 딥시크(DeepSeek)가 물리학 문제 해결 분야에서 챗GPT(ChatGPT)를 앞섰다는 주장이 중국에서 나왔다.

지난 30일 중국과학원 물리연구소는 소셜미디어 공식 계정을 통해 최근 개최한 물리 경시대회의 AI 테스트 결과를 공개하며 이같이 밝혔다.

연구소는 이달 17일 장쑤성에서 열린 '톈무(天目)배 이론물리 경시대회'에서 출제된 문제를 AI가 풀도록 한 결과 딥시크의 최신 모델인 R1의 점수가 오픈AI의 GPT-o1을 제쳤다고 밝혔다.

연구소는 딥시크의 R1, 오픈AI의 GPT-o1, 앤스로픽의 클로드 소넷 등 3개 AI 모델이 푼 문제의 답안을 실제 경시대회 채점위원단에게 전달했다고 밝혔다.

연구소는 "AI 응답을 통해 시험 진행 방식에 대한 이해도를 확인한 후 시험을 시작했다"면서 "총 문제 7개에 대해 순차적으로 답안을 받았으며, 답안에 대해서는 중간에 어떤 피드백도 제공하지 않았다"고 설명했다.

채점 결과 140점 만점에 딥시크가 100점으로 1등을 차지했으며, 다음으로 챗GPT이 97점, 클로드 소넷이 71점을 받았다.

다만 이번 대회 참가자들과 경쟁할 경우 딥시크는 3등 수준의 성적이었으며, 인간 최고점인 125점과 상당히 격차가 났다.

연구소는 "이제 연구원이나 박사후연구원(Postdoc·포닥)을 뽑을 필요도 없는 걸까"라면서도 "AI의 사고 과정이 뛰어난 것은 사실이나, 기본적 실수에서 헤매는 경향이 있는 것으로 나타났다"고 지적했다.

항목별 채점 결과를 공유하며 흥미로운 사실도 분석했다.

연구소는 "딥시크와 비교하면 챗GPT의 답안은 인간이 작성한 것과 더 유사한 스타일을 보였다"면서 "챗GPT가 증명 문제에서 상대적으로 높은 점수를 기록했다"고 분석했다.

이어 "딥시크는 '증명'의 의미를 제대로 이해하지 못했다"면서 "증명해야 할 결론을 재서술했을 뿐 증명 과정을 답안에 포함하지 않았다"고 덧붙였다.

또 "클로드 소넷은 예상외로 부진한 성적을 나타냈다"면서 "초반 두 문제에서 0점을 받는 실수를 저질렀으며, 후반으로 가서는 챗GPT와 유사한 부분에서 감점을 받았다"고 덧붙였다.

한편 딥시크는 AI 모델이 다른 모델의 출력 결과를 훈련 목적으로 사용, 유사한 기능을 개발하는 '증류'(distillation) 기술을 통해 무단으로 다른 AI 기업의 데이터를 수집했다는 의혹을 받고 있다. 이로 인해 '저비용 개발'로 전세계를 놀라게 한 딥시크가 다른 기업의 성과를 훔쳐 온 것인지, 자체적으로 혁신을 일궈낸 것인지 한동안 논란이 계속될 전망이라고 미국 자유아시아방송(RFA) 등은 지적했다.