용인신문 | 수학 문제 하나를 떠올려보자. 답이 쉽게 보이지 않는다. 공식을 대입했지만 틀렸다. 다시 처음으로 돌아가 머릿속에서 숫자를 바꿔보고 다른 방법을 시도한다. 30분쯤 씨름한 끝에 겨우 답이 보인다.

그런데 같은 문제를 인공지능(AI)에게 물었더니 3초 만에 정답을 내놓았다. 그렇다면 인간이 30분 동안 한 일은 쓸데없는 일이었을까. 

세계 최정상급 수학자들이 최근 던진 질문도 결국 여기에 닿아 있다. 허준이 미국 프린스턴대 교수와 테렌스 타오 미국 UCLA 교수, 페터 숄체 독일 막스플랑크 수학연구소장 등 필즈상 수상자 25명은 최근 공동성명을 내고 AI 기업들의 ‘수학 난제 풀이 경쟁’이 오히려 수학이라는 학문에 해를 끼칠 수 있다고 경고했다.

겉으로 보면 이해하기 어려운 주장이다. 수십 년 동안 풀리지 않은 문제를 AI가 대신 해결한다면 좋은 것 아닌가. 인간이 평생 걸려 풀 문제를 AI가 하루 만에 해결한다면 인류의 지식도 그만큼 빨리 발전하는 것 아닌가.

하지만 수학자들이 걱정하는 것은 AI가 답을 맞히는 능력 자체가 아니다. 답을 얻기 위해 인간이 해왔던 ‘생각하는 과정’이 사라지는 것이다.

◇ 수학 문제를 풀 때 인간의 뇌는 계속 움직인다
사람이 어려운 수학 문제를 풀 때 뇌에서는 단순한 계산 이상의 일이 벌어진다. 숫자의 크기와 관계를 처리하는 두정엽뿐 아니라 주의 집중과 판단, 문제 해결에 관여하는 전전두엽이 함께 작동한다. 이미 배운 공식을 기억에서 불러오고, 중간 계산값을 머릿속에 붙잡아두고, 틀린 방법을 버리고 새 전략을 고르는 과정에서는 작업기억과 기억 회로도 동원된다.

예를 들어 머릿속으로 ‘37×24’를 계산하려면 37과 24를 기억하면서 중간 계산값까지 잠시 붙들고 있어야 한다. 이런 능력을 작업기억이라고 한다. 여러 연구에서도 작업기억과 수학 문제 해결 능력은 밀접하게 관련된 것으로 나타났다.

반복 학습은 뇌의 작동 방식도 바꾼다. 처음에는 손가락으로 하나씩 세던 아이가 익숙해지면 답을 빠르게 기억에서 꺼내듯, 학습이 쌓일수록 문제를 처리하는 뇌의 전략도 효율적으로 변한다. 즉 수학을 배운다는 것은 답을 외우는 것뿐 아니라 문제를 처리하는 뇌의 회로를 반복적으로 사용하는 과정이기도 하다.

여기서 AI 문제가 달라 보이기 시작한다. 사람이 30분 동안 문제를 풀면서 틀리고 다시 생각하고, 기억에서 지식을 꺼내고, 여러 방법 가운데 하나를 선택했다면 그 시간 동안 뇌는 계속 훈련되고 있었다. AI에게 물어 3초 만에 답을 받아 적었다면 29분 57초를 절약한 셈이다.
그런데 우리가 아낀 것이 정말 시간뿐일까.

◇ 수학의 목적은 ‘정답 하나’가 아니다
우리는 학교에서 수학을 ‘정답을 맞히는 과목’으로 배웠다. x의 값을 구하고, 넓이를 계산하고, 방정식을 풀어 답을 쓴다. 그래서 수학의 목적을 정답이라고 생각하기 쉽다.

그러나 실제 수학은 답을 찾아가는 과정에서 발전했다. 한 수학자가 100년 동안 풀리지 않던 문제를 해결할 때 중요한 것은 마지막 정답 하나가 아니다. 왜 기존 방법으로는 안 됐는지, 어떤 새로운 개념이 필요한지, 그 방법을 다른 문제에도 적용할 수 있는지를 찾는 과정에서 새로운 수학이 만들어진다.

그래서 난제는 단순히 ‘답이 없는 문제’가 아니다. 수많은 수학자를 새로운 생각으로 끌고 가는 일종의 등대였다. 그런데 AI가 이 과정을 건너뛰고 갑자기 답부터 가져오기 시작하면 이야기가 달라진다.

◇ AI가 난제 100개 풀면 수학은 100년 발전한 걸까
어느 날 AI가 인류가 아직 풀지 못한 수학 난제 100개를 한꺼번에 해결했다고 해보자. 검증해보니 증명도 맞다. 그렇다면 수학은 하루아침에 100년 발전한 것일까.

꼭 그렇다고 말하기는 어렵다. AI가 왜 그런 방법을 택했는지 인간이 이해하지 못하고, 그 증명에서 어떤 원리가 새로 발견됐는지 설명하지 못한다면 우리는 ‘맞는 답’ 100개만 얻었을 수도 있기 때문이다.

수학은 원래 정답을 다음 세대에 전달하는 학문이 아니라 ‘생각하는 방법’을 전달해 온 학문이었다. “왜 이렇게 풀었을까”,  “다른 방법은 없을까”라는 질문을 다음 사람이 이어받으면서 지식이 커졌다. 세계적인 수학자들이 걱정하는 것도 바로 이 연결고리가 끊기는 상황이다.

◇ 정답은 늘어나는데 생각하는 사람은 줄어드는 세상
이 문제는 수학에서 끝나지 않는다. 의사가 오랫동안 공부하는 이유는 병명을 맞히기 위해서만이 아니고, 기자가 취재 경험을 쌓는 이유도 기사 문장을 빨리 쓰기 위해서만은 아니다. 수많은 정보 가운데 무엇이 중요한지 판단하고, 틀린 가능성을 버리고, 새로운 질문을 던지는 능력을 배우기 위해서다.

과학자와 변호사, 연구자도 마찬가지다. 사람은 공부하면서 결과물을 만드는 법뿐 아니라 판단하고 의심하고 실패하고 다시 시도하는 방법을 배운다.

그런데 AI가 최종 결과물을 몇 초 만에 만들어주기 시작하면 인간은 점점 결과를 소비하는 쪽으로 밀려날 수 있다. 정답과 논문과 보고서는 훨씬 많아졌는데 정작 처음부터 스스로 생각할 수 있는 사람은 줄어드는 역설이 생길 수 있다.

◇ 수학자들이 원하는 것은 ‘AI 금지’가 아니다
그렇다고 필즈상 수상자들이 AI에게 수학을 시키지 말자고 주장한 것은 아니다. AI는 사람이 하기 힘든 계산을 대신하고, 긴 증명에서 오류를 찾아내고, 인간이 보지 못한 패턴과 새로운 가설을 제시하는 강력한 도구가 될 수 있다.

문제는 AI가 인간의 생각을 ‘확장하는 도구’가 될 것인지, 인간의 생각을 ‘생략하는 도구’가 될 것인지다.
계산기가 단순 계산을 대신하면서 인간이 더 어려운 문제를 생각할 수 있게 했듯, AI도 인간을 대신해 생각하는 기계가 아니라 인간이 더 어려운 질문을 던지게 만드는 도구가 돼야 한다는 것이다.

이번 공동성명의 핵심도 결국 여기에 있다.
AI가 인간보다 빨리 정답을 찾는 세상을 막자는 것이 아니다. 인류가 수천 년 동안 쌓아온 ‘생각하는 방법’의 가치가 정답을 빨리 얻는 경쟁 속에서 사라지는 세상이 되어서는 안 된다는 것이다.

AI가 모든 답을 알려주는 시대가 가까워질수록 인간에게 더 중요해지는 능력은 정답을 많이 아는 것이 아니라, 정답을 보고도 다시 묻는 능력일지 모른다.
“그런데, 왜?”

※ 이 기사는 2026년 9월 11일 테렌스 타오 UCLA 교수가 공개한 ‘수학에서 AI의 심각한 목표 불일치(A Severe Misalignment of AI in Mathematics)’ 공동성명 전문을 바탕으로 작성했다. 허준이 프린스턴대 교수 등 필즈상 수상자 25명이 밝힌 문제의식과 주장을 독자가 쉽게 이해할 수 있도록 기사 형식으로 재구성했으며, 일부 대목은 실제 인터뷰 문답처럼 읽히도록 성명서의 취지를 풀어 설명했다.