AI 발전

최근 AI에 사람들의 관심이 집중되고 있다.

 

ChatGPT의 등장 이후 생성형 AI는 Meta에서 공개하고 진행하고 있는 Llama 가 있고, Anthropic 의 Claude 가 있으며, Alphabet에서 개발하는 Gemini 가 있으며, 유럽에서 개발하고 있는 Mistral AI 도 있다. 최근에는 어떤 검색을 해서, 내용을 요약해서 보여주는 것으로 검색과 연결되고 있다.

 

이런 AI에 관련해서 주목해서 보고 있는 회사로 DeepMind가 있다. AlphaGo로 많이 알려진 많은 AI 기능을 개발하고 있다. 여기에서 최근에 2개의 내용을 발표했다. 첫번째 내용은 IMO문제를 풀 수 있을 수준의 논리 전개가 가능한 AI 기능 AlphaGeometry2, AlphaProof를 발표했다. 아직 조합에서 약한 점을 봐서는 사람들이 문제 해결을 위해서 특정 아이디어를 기준으로 출발하기보다는 Brute Force에 기반한 방법으로 추정된다. 다른 내용은 실시간으로 Human scale activity가 가능한 로봇을 개발했다는 것이다. 이런 로봇은 많은 회사들에서 관심을 기울이고 있는 부분이다. 아직도 많은 생산에 필요한 활동들은 인간의 규격에 맞춰져 있다. 이런 부분을 로봇으로 대체할 수 있게 되는데 AI가 중요한 기능을 할 수 있게 된다.

• https://deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level/
• https://deepmind.google/research/publications/107741/

 

아직 AI가 인터넷 혁명처럼 생산성의 향상이나 사회 변화를 만들어 내지는 못하지만, 그럴 가능성은 분명하다. 다만, 데이터, 전력 등 아직 해결해야 할 문제들이 있는 것은 분명하다. 하지만 자원이 집중되는 기술 발전이 후퇴하는 경우가 별로 없는 것을 생각하면 한 세대정도가 지난 후에는 지금은 생각하기 어려운 세상이 시작될 것 같다.

 

2024-10-24 추가

 

2024년 노벨상의 두 영역에서 AI가 수상했다. 물리학상은 AI의 이론적인 배경을 제공했던 학자들에게 수여됐고, 화학상은 단백질의 접힘을 해석하는 기술 발전에 기여한 것으로 deepmind 팀이 수상자중에 한명이 됐다. 지금과 같은 자원이 지속적으로 투입된다고 하면, 한 세대를 예상했던 것보다 훨씬 빠른 시기에 AI가 많은 영역에서 새로운 위치를 차지하게 될 것 같다.

 

여기에 Google의 검색에 대한 반독점 1차 판결이 있었다. 이것은 Google 검색창을 웹 주소창에 연결되는 기본검색으로 설정하기 위해서, Apple 이나 삼성에 지원을 한것이 그 판결의 이유 중 한가지로 나온다. 향후 예상은 Microsoft 반독점 소송에서 인터넷 익스플로러를 개별 적인 프로그램을 설치/제거 할 수 있도록 했던 것에 비추어볼때 브라우저의 웹 주소창에서 기본 검색을 설정할 수 있도록 하고, 그 우선순위는 사용자 혹은 브라우저 제작사들에게 맞기고, 구글과 같은 검색업체들은 그 순위에 개입할 수 없도록 하는 형태가 될 것 같다. 그런데, 이런 검색 회사가 구글과 Bing 정도 이외에 다른 업체가 없다면, 큰 변화가 없을 것이다. 그런데 최근에 AI 를  이용해서, 질문의 답으로 추정되는 목록을 제공하는 검색이 아니라 예상되는 답과 참고 문헌, 혹은 비슷한 질문을 보여주는 서비스들(Perplexity, Goover) 이 나오고 있다. 보통의 이용자들이 이런 AI 에 기반한 검색 서비스에 익숙해지고, 그 서비스의 수준이 달라지는 것이 AI의 발전을 가속할 수 있을 것이다.

 

2024-12-22 추가

 

최근 여러가지 다양한 형태의 AI 관련 서비스들이 나오고 있다. BMW와 중국에서 실제 공장에서 사람을 대신하기 위한 로봇들이 도입되어 연구중이라는 소식도 있었고, 아직은 수준이 부족하지만 용접을 해주는 로봇 얘기도 나온다. LLM 혹은 ChatGPT로 대표되던 AI서비스가 최근에 나오는 다른 경쟁자들 - Gemini, Claude, Mistral AI - 의 성능도 경쟁할 수 있는 수준까지 올라왔다는 뉴스들이 보이고, Microsoft 에서 시작되고 있는 AI agent 기능에 대한 얘기들도 나온다. 이런 뉴스들의 많은 부분에서 초기에 사람들의 관심을 받던 LLM은 이면으로 감춰지고, 실제 사람들이 사용하는 기능 혹은 서비스로 초점이 움직이고 있는 것 같다. 하지만, LLM의 역할이 이제 끝난 것 같지는 않다. 실제 AI를 이용하는 많은 서비스들에서 사람과 기계 사이의 인터페이스를 담당하는 기능은 LLM이 필요하다.

 

그리고, LLM이  AI연구에 두 가지 변화를 가져온 것 같다. 

 

첫번째는 아주 대용량의 데이터를 처리할 수 있는 능력이다.

 

신경망-Neural Network-을 대상으로 하는 연구는 내가 아는 것도 30년이 넘었다. 하지만, 많은 발전이 어려웠던 것이 규모의 문제였다. 인간의 뇌세포-뉴런 수를 대략 1000억개(10^11 ), 그런  뉴런 사이의 연결을 의미하는 시냅스는 100조개( 10^14)정도로 추정한다.  알려진 ChatGPT4의 변수의 수는  1.76 trillion(1.76 x 10^12) 이다. 즉, 기존에는 이론적으로만 생각하거나 간략화 시켜서 연구했던 많은 신경망 모델들을 직접 구현해서 연구해 볼 수 있는 상황이 됐다. 여전히 실제 인간의 뇌의 효율을 생각하면 많이 부족하지만, 할 수 없는 일과 할 수 있는 일을 최적화 하는 것은 전혀 다른 영역의 문제가 된다. 그리고, 사람들은 할 수 있는 일의 최적화에 더 뛰어 난것 같다.

 

두번째는 원리를 모르는 Blackbox 형태로도 의미 있는 물건이 나왔다는 것이다.

 

ChatGPT 의 동작원리는 여전히 알려져 있지 않다. 혹은 대부분의 사람들이 이해할 수 없는 형태라는 것이 맞다. 기존의 많은 기술 발전 과정에서 동작원리에 대한 이해가 있기전의 기술들은 실제 사용되지 않았고, 미완의 형태라서 사용해서는 안된다는 평가가 많았다. 그리고, 어떤 현상이 관찰되면 그 원리를 알기 위한 것들이 학문이 되었다. 하지만, LLM의 경우는 매개 변수가 특정한 크기 이상으로 커지면 성능이 급작스럽게 개선되는 현상이 알려졌다. 어떤 원리로 이런 성능 향상이 있는지, 이런 매개변수 크기를 늘릴 수 있는 한계가 있는가? 아직 이런 아주 기본적인 내용에 대한 답을 구하지 못했지만, 많은 기업들에서는 매개변수 크기를 계속 늘리고, 훈련에 필요한 자료들을 계속 모으고 있다. 실제 일상생활에서 사용하고 있는 많은 기술들을 일반 대중들은 이해하지 못하고, 그냥 사용하지만 할 뿐이다. 하지만, 기술을 연구하고 개발하는 사람들은 그 원리를 이해하고 응용할 수 있여야 제품의 형태로 공급할 수 있었다. 하지만, 우리는 이미 수 많은 영역에서 이런 원리들을 모르고, AI를 그저 쓸만한 물건이라고 생각하면 쓰고 있다. 이런것은 로봇을 훈련시키는 과정에도 도입되어 기존의 방법에서는 모든 상황을 사람이 분석하고 모델링해서 동작과정을 설계했다면, 지금은 Pattern recognition에 뛰어난 AI의 도움으로 어떤 상황이나 동작을 AI라는 시스템을 통해서, 로봇의 행동을 정의하는 것이다. 중간 동작에서 어떤 방향으로 어떤 힘을 투사하는지 사람이 직접 추론하지는 못하지만, 로봇의 동작이 희망하는 방향에서 매끄럽게 진행된다면, 그것을 실제로 도입해서 사용해 보는 것이다. 아마 AI를 통한 생산성 향상은 이런 방향에서 일어날 것으로 생각된다.

 

- https://arxiv.org/abs/2303.18223

A Survey of Large Language Models