[210822] 스탠퍼드대 연구진, "대규모 언어모델이 편향성 강화하고 심각한 환경 오염 발생시켜"

스탠퍼드대 연구진, "대규모 언어모델이 편향성 강화하고 심각한 환경 오염 발생시켜" < 정책 < 기사본문 - AI타임스 (aitimes.com)

스탠퍼드대 연구진, "대규모 언어모델이 편향성 강화하고 심각한 환경 오염 발생시켜" - AI타임스

 

- 스탠퍼드대 페이페이 리·퍼시 리앙 등 100여명 논문 발표
- 기초부터 올바르게 훈련되지 않은 언어모델 영향력 지적
- “불안정한 방식으로 상호작용할 뿐” 불평등 영구화 초래
- 환경피해 속출.. 과도한 컴퓨팅으로 심각한 탄소배출 초래

대규모 언어모델이 인간에게 주는 이득도 분명 존재하지만, 그로 인해 사회가 편향적이고 환경에도 치명적인 피해를 줄 가능성이 있다. 스탠퍼드대 인간중심연구소(HAI) 연구진은 이를 지적하는 논문을 발표했다. (사진=셔터스톡). 

 

미 스탠퍼드대 인간중심연구소(HAI) 연구진이 대규모 언어모델과 AI윤리 상관관계에 관한 논문을 발표했다. 지난 18일(이하 현지시간) 벤처비트·싱크드 등 IT 전문매체에 따르면 이 논문 작성에는 페이페이 리(Fei-Fei Li), 퍼시 리앙(Percy Liang) 등 인공지능학계 대가들이 중심적인 역할을 한 것으로 알려졌다.

 

 

16일 발표된 논문은 ‘기초 모델의 기회와 리스크(On the Opportunities and Risks of Foundation Models)’라는 이름으로, 현재 아카이브(arXiv)에 게재돼있다. HAI에서 대규모 언어모델의 토대부터 다양한 사회적 영향을 분석·연구하는 CRFM 이니셔티브에 소속된 100여명의 연구진이 공동저자로 이름을 올렸다. CRFM은 ‘센터 포 리서치 온 파운데이션 모델(Center for Research on Foundation Models)’의 약자다.

 

 

2018년 탄생한 구글의 버트(BERT)를 시작으로 최근 몇 년 사이 대규모 언어모델이 속속 등장했다. 1750억 개 매개변수(파라미터) 기반의 GPT-3(오픈AI 개발)는 현재 수만 명의 개발자가 300여 개 이상의 앱에서 사용하고 있다. 꾸준한 수요 덕에 GPT-3가 매일마다 생산하는 단어 수는 평균 45억 개.

 

이처럼 대규모 언어모델로 인한 AI 패러다임이 바뀌고 있다. 연구진은 논문에서 이러한 흐름이 과연 옳은 것인지 질문을 던진다. 과연 언어모델이 컴퓨터 비전, 자연어 처리(NLP), 로봇 공학, 추론·검색과 같은 AI 분야에서 보편화 돼도 괜찮은지 묻는다.

 

 

200페이지 이상의 논문에서 연구진은 대규모 언어모델을 크게 ▲출현(Emergence)과 ▲균질화(Homogenization) 등 두 가지 틀로 나누어 그 중요성에 대해 설명했다.

 

이들은 대규모 언어모델의 출현과 균질화되어가는 과정에 대해 “잠재적으로 불안정한 방식으로 상호작용한다”고 지적했다. 언어모델은 시스템 구성이 명확하고 올바르기 이전에 ‘출현’해 모델의 역량이 불확실하고 결함(오류)이 발견돼도 그 수요를 늘린다. 출현에 앞서 기초단계에서부터 제대로 검증되지 않은 언어모델은 광범위한 애플리케이션에서 모든 사용자를 아우르는 ‘균질화’를 이루어 내기가 더욱 어려워진다.

 

연구진이 논문에서 주장하는 내용은 쉽게 말해 언어모델이 내포하는 잠재적 편향성과 AI윤리에 관한 것이다. AI 시스템이 사회에 깊숙이 파고들면서 부정적 영향에 대한 우려는 점점 증가하고 있다. 훈련된 모델이 전체가 아닌 한쪽으로 편향된 데이터만 학습한다면, 그로 인한 불평등이 영구화될 수 있다.

 

 

논문은 언어모델의 잠재적 편향 외에도 환경적 관점에서 다른 부정적인 영향을 미칠 수 있다고 지적했다. 지난해 6월 엠마 스트루벨 박사가 이끄는 매사추세츠 주립대 애머스트 캠퍼스 연구진은 언어모델 개발 시 에너지 사용률에 대한 결과를 발표했다.

 

이들 연구에 따르면 구글은 BERT를 훈련시키는 동안 1438lb(약 652kg)의 이산화탄소를 발생시켰다. 이는 비행기가 뉴욕에서 샌프란시스코를 왕복으로 오갈 때 뿜어내는 양과 같으며, 미 전국에서 달리는 자동차 평균 배출량의 약 5배에 해당하는 수치다. 오픈AI도 자체 조사를 실시해 GPT-3와 같은 언어모델들이 하루에 수백 페타플롭(PF)의 컴퓨팅을 요구한다는 사실을 인정했다.

 

 

그렇다면 이를 해결하는 방안은 무엇일까.

 

연구진은 이미 엄청난 성능의 언어모델이 선보이기 시작했기 때문에, 이 같은 흐름을 중심으로 AI 시스템이 구축되는 방식이 오랫동안 지속될 것이라고 전망한다. 그러나 “내구성 있는 기반에서 이러한 모델의 책임 있는 개발과 배치를 보장하기 위해 다양한 부문, 기관 간 협업이 더욱 중요하다”고 강조했다.

 

퍼시 리앙 교수도 벤처비트와의 인터뷰에서 “언어모델 개발자들에게 과도한 컴퓨팅으로 인한 에너지 소비전력을 줄이고, 편향성을 배제하는 이론 교육이 정부 차원의 데이터셋을 통해 이뤄져야 한다”고 제안했다.

 

리앙은 이어 “언어모델은 매우 초기 단계에 있기 때문에 전문적 규범이 미비하다”며 “공동체 의식을 갖고 이 기술이 윤리적으로나 사회적으로 책임감 있는 방식으로 개발되고 배치될 수 있도록 조치를 취해야 한다”고 주장했다.

 

 

---

요약하자면 이번 논문에서는 '대규모 언어모델의 문제점'을 다루었고, 1. 잠재적 편향성, 윤리적 문제를 안고 있을 수 있다, 2. 컴퓨팅 에너지 소비가 크다는 것이었다. 대규모 언어모델을 시작으로 대규모 AI모델들이 계속해서 만들어질 것이라는 전망 하에, 다양한 기관 사이의 협업이 요구된다. 정부 차원에서 에너지 소비전력 줄이고, 편향성을 배제하도록 개발자 대상 이론 교육을 펼치고, 개발자들은 윤리적, 사회적으로 책임을 갖고 있으므로 공동체 의식을 갖고 전문적 규범을 세우려고 노력해야 한다는 것이다.

 

사실 AI윤리에 대한 내용은 지난 번 트위터 기사에서도 다루었기 때문에 어느 정도 예상은 했는데, 컴퓨팅 에너지에 관한 내용은 신선했다. 생각해보면 Open API를 사용하면서도 '아, 이게 없었으면 내 노트북 하루종일 돌아가다가 박살 났을수도 있겠다'는 생각을 했었는데, 대규모 언어모델은 어떻게 서버를 유지, 보수하는지 너무 궁금했었다. 일반적인 대규모도 아니고, GPT-3와 하이퍼클로바와 같은 초대규모 모델은 정말 많은 컴퓨팅 파워를 필요로 할 것이다.

 

이 부분에서 궁금해지는 것은, 컴퓨팅 파워를 enhance하여 자연에 끼치는 부정적 영향을 줄일 수 있는 방법은 없냐는 것이다. 워낙 그간 IT업계에서 생겼던 문제들이 해결된 상태로 공부를 시작했기 때문에, 서버의 한계를 느껴 개발된 클라우드컴퓨팅, Open API등의 기술들이 발명되었듯 그런 방법이 하나 발명되지 않을까 싶다. 물론 가장 기본적인 원리라서 불가능할 것 같기도 하지만..