[딥 마인드] LLM으로 미해결 난제를 해결한 최초의 사례, FunSearch

LLM의 한계

그동안, LLM(대규모 언어 모델)은 새로운 지식을 발견하지 못할 것이다라는 게 사람들의 생각이었습니다. LLM은 사실과 다른 정보를 사실처럼 말하는 '환각' 현상이 있기 때문에 이를 검증하는 일도 쉽지 않은 일이었습니다. 하지만, '환각' 현상 없이 LLM의 창의성을 활용해서 수학이나 과학에서 새로운 해결책을 찾을 수 있다면 어떨까요? 12월 14일 구글의 딥마인드가 네이처에 게재한 논문에서 그 가능성을 엿볼 수 있습니다.

FunSearch: Making new discoveries in mathematical sciences using Large Language Models

 

컴퓨터 코드를 검색하는 FunSearch

FunSearch의 Fun은 Function을 의미하는데요, 프로그래밍 코드로 작성된 수학적 함수를 찾는데 중점을 둔 도구입니다. 이 FunSearch는 '평가자'라는 Pre-trained LLM과 결합되어 LLM이 생성한 응답에서 '환각' 현상을 걸러냅니다. 이 '평가자'는 현재 Google의 PaLM2 버전인 Codey를 사용하고 있으며, 컴퓨터 코드의 미세 조정을 수행합니다.

FunSearch의 구조

 

FunSearch, 새로운 수학 해결책을 제시하다

구글 연구진들이 밝힌 놀라운 사실은 FunSearch를 통해 지금껏 존재하지 않은 해결책을 스스로 제안했다는 점입니다. 추선 FunSearch가 해결한 문제는 'Cap set problem' (대충 그래프 종이에 점을 찍을 때 세 점이 일직선을 이루지 않도록 최대한 많은 점을 찍는 것과 관련된 문제) 인데요, 지난 20년간 밝혀진 방법보다 더 뛰어난 설루션을 생성했습니다.

 

또, Bin packing이라는 데이터센터 관리에서부터 전자 상거래에 이르기까지 다양한 컴퓨터 과학 응용 분야에서 중요한 문제에 대한 해결책도 찾아냈다고 연구진들은 밝혔습니다. 

bin packing 관련 일러스트

 

FunSearch, 새로운 시대를 열다

이 연구의 성공은 인공지능과 인간의 창의력이 결합하여 앞으로 더 복잡한 문제를 해결할 수 있는 새로운 시대를 예고합니다. 앞으로 순수 수학 및 과학 분야에서도 LLM을 이용해 지금까지 해결하지 못했던 난제들에서 새로운 답을 찾아낼 수 있을 것으로 보입니다. 수학자들은 아직 FunSearch와 같은 모델을 연구 플로우에 통합하는 최적의 방법을 찾고 있는 중입니다. 이러한 도구들이 수학과 과학의 어떤 미래를 그려나갈지 논의는 계속되고 있으며, 기대가 모아지고 있습니다.