210731 [스페셜리포트]④ 클라우드 서비스 필수 요소된 서비스형 머신러닝 MLaaS...빅테크가 리드

[스페셜리포트]④ 클라우드 서비스 필수 요소된 서비스형 머신러닝 MLaaS...빅테크가 리드 < 테크 < 기사본문 - AI타임스 (aitimes.com)

[스페셜리포트]④ 클라우드 서비스 필수 요소된 서비스형 머신러닝 MLaaS...빅테크가 리드 - AI타임

- MLaaS 서비스 대표격인 아마존 세이지메이커, 60여개 기능 탑재
- 인터페이스가 장점인 MS·5월 통합 플랫폼 출시한 구글
- 국내 시장은 태동기...네이버 중심으로 AI API 서비스 시작

 

 

[편집자주] 클라우드는 구름이 아니다. 그러나 구름보다도 더 전 세계를 덮고 있는 서버의 구름떼 같다. 이제 클라우드가 없으면 전 세계의 산업이 돌아가지 않을 정도가 됐다고 해도 과언이 아니다. 서버라는 말은 많은 기사들에게서 찾기가 어려워졌고 대신 클라우드라는 용어는 매일 접하게 됐다.

클라우드는 왜 중요하게 됐을까, 아마존의 AWS와 마이크로소프트의 애저(Azure)의 경쟁은 어떻게 돼갈까, 구글과 네이버는? 업체별로 어떤 기술적 차이가 있을까, AI와는 어떤 관계인가? 궁금증이 커진다. 그 궁금증에 대해 AI타임스가 나름대로 답안지를 만들어봤다.

(사진=Sightline Innovation 유튜브 페이지 내 MLaaS 소개 영상 캡처)

인공지능(AI) 기업이 클라우드를 도입하는 중요한 이유 중 하나는 단연 서비스형 머신러닝(MLaaS, Machine Learning As A Service)에 있다.

 

클라우드 서비스 일부인 MLaaS는 머신러닝(ML) 개발을 효율화하는 도구를 서비스형 소프트웨어(SaaS) 방식으로 제공한다. 구독 기반 모델에서 ML 학습 솔루션을 제공하고, 사용한 만큼 지불할 수 있는 유연성을 갖췄다.

 

서비스 특장점은 ML 솔루션 구축을 위해 필수적인 서버와 스토리지, 네트워크 확장에 드는 비용을 줄이는 것.

 

예를 들어 AI 서비스 개발 역량이 부족한 기업은 클라우드에서 제공하는 완성된 AI 모델의 API를 사용해 데이터 학습만으로 AI 솔루션을 개발할 수 있다. AI 시스템 확장 또는 축소 시에도 유동적인 대응이 가능해 기존 장비나 인력 구성 변경에 따른 비용을 줄인다.

 

학습 모델을 튜닝하고 변수를 설정하는 작업, 사용자의 요구에 맞게 시스템 자원을 할당하고 배포하는 프로비저닝 작업까지. 기존엔 일일이 코드로 설정해줘야 했던 작업들을 시스템이 책임진다. 기업의 개발자 고용 부담을 덜고 전문인력이 보다 중요한 일을 맡을 수 있게 지원 가능하다.

 

포브스지에 따르면 MLaaS 시장 규모는 2020년 10억달러(한화 약 1조1465억원)에서 2026년 84억8000만달러(한화 약 9조7223억2000만원)에 이를 예정이다. 사업성을 일찍이 파악한 글로벌 빅테크 기업들은 앞다퉈 MLaaS 사업에 뛰어든 상태다.

 

가장 대표적인 서비스는 세계적으로 가장 높은 클라우드 시장 점유율을 보이는 AWS의 아마존 세이지메이커(Amazon SageMaker)다. 전통적인 소프트웨어 업체 MS는 애저 ML(Azure ML)을, 하드웨어 시장에서의 AI 개발을 이끈 IBM은 왓슨 스튜디오(Watson Studio)를 서비스 중이다. 구글은 올해 5월 그동안 키워왔던 구글 클라우드 기반 ML 개발·배포·운영 플랫폼을 통합하는 버텍스 AI(Vertex AI)를 공개했다.

 

국내 기업들 사이에서는 아직 ML 개발을 돕는 플랫폼 사업이 활성화되지 않은 상황이다. 현재 MLaaS를 제공 중인 국내 대기업은 네이버와 KT가 전부인데, 해당 기업들의 서비스도 이제 막 시작한 단계에 있다. 클라우드 보급이라는 선결과제가 해결되지 않았기 때문인 것으로 보인다.

 

자체 AI 기술을 보유한 기업들은 클라우드를 통해 자사 AI 서비스의 API를 제공하고 있다. 해당 영역에서는 네이버 클라우드 플랫폼이 17개라는 독보적으로 많은 기능을 API로 제공한다. KT에서는 3개, NHN은 1개 기능을 서비스 중이다. 카카오와 삼성SDS 클라우드에서는 현재 AI API 서비스를 제공하는 바가 없다.

---

네이버 클라우드 플랫폼 사이트에 접속해서 어떤 서비스가 제공되고 있는지 확인해보았다

NAVER CLOUD PLATFORM 네이버 클라우드 플랫폼 (ncloud.com)

NAVER CLOUD PLATFORM

자연어처리 분야 API가 대부분이고, 컴퓨터 비전 (Pose Estimation, Object Detection, Face Recognition, OCR) 관련 API도 제공하고 있다. 아무래도 그동안 쌓아온 텍스트 데이터 양이 무궁무진할테니 자연어처리 분야에 쏟은 학습데이터도 엄청 많았을 것으로 예상된다.

---

이번 기획에서는 글로벌 MLaaS 시장을 견인하는 대표 3사인 아마존, MS, 구글 서비스를 집중 조명한다.
 

◆MLaaS 시장 대표주자 ‘아마존 세이지메이커’

세이지메이커 실적이 급증한 모습(사진=AWS)

 

2017년 등장한 세이지메이커는 한마디로 동일한 애플리케이션에서 모델 빌드, 훈련, 배포, 분석까지 모두 가능한 통합 ML환경이다.

 

데이터의 제작과 전처리, 모델의 학습, 튜닝, 추론, 후처리, 배포 등 ML 솔루션 구축에 필요한 전 과정을 쉽게 진행할 수 있도록 도와준다. 여러 플러그인들이 포함된 주피터랩 개발환경이라 할 수 있다. 

 

현재 세이지메이커가 제공하는 기능은 약 60개에 이른다. 대표적인 기능 중 하나인 세이지메이커 오토파일럿(SageMaker Autopilot)은 개발자들이 모델에 대한 통제력과 가시성을 포기하지 않아도 되는 업계 최초의 자동화 ML 기능이다.

 

로우 데이터(Raw data) 자동 검사, 기능 프로세서 적용, 최적의 알고리즘 세트 선택, 여러 모델 훈련, 모델 세부 조정·성능 추적·모델 순위 책정 등 이 모든 과정을 단 몇 번의 클릭으로 수행한다.

 

세이지메이커 점프스타트(SageMaker JumpStart)는 개발자에게 동급 최강의 솔루션, 알고리즘, 샘플 노트북을 찾기 위해 검색이 가능하고 사용하기 쉬운 인터페이스를 제공한다.

 

세이지메이커 스튜디오(SageMaker Studio)는 ML을 위한 최초의 통합개발환경 소프트웨어 어플리케이션 인터페이스(IDE, Integrated Development Environment)다. 단일 인터페이스에서 머신러닝 모델을 보다 단순하고 빠르게 구축, 훈련, 설명, 검사, 모니터링, 디버그, 실행할 수 있도록 지원한다. 동료 개발자들 간에 프로젝트 폴더 생성부터 노트북, 결과물 공유를 쉽게 진행할 수 있다.

 

 

◆‘MS 애저 ML’ 특장점은 편리한 인터페이스·오토ML

클라우드 시장 내 또 다른 강자인 MS도 애저 ML이라는 데이터셋 관리와 모델 교육·배포를 위한 기본 환경을 제공한다.

애저 ML에는 기본적으로 ML 작업과 파이프라인 구성을 빠르게 진행할 수 있는 웹 기반 로우 코드 환경인 ‘애저 ML 스튜디오(Azure ML Studio)’가 있다. 애저 ML 스튜디오는 데이터 탐색, 사전 처리, 방법 선택, 모델링 결과 유효성 검사를 위한 도구를 제공한다. 또한 분류, 이상 감지, 회귀, 추천, 텍스트 분석 등이 가능한 100가지 기능을 지원한다.

MS 내 AI 플랫폼 서비스 구성(사진=MS 애저)

 

ML 모델을 자동으로 학습하고 튜닝해 주는 ‘오토메이티드 ML(Automated ML)’과 드래그 앤 드롭으로 데이터 준비부터 모델 배포까지 각 단계를 쉽게 설계하는 ‘애저 ML 디자이너(Azure ML Designer)’ 기능이 특히 돋보인다.

 

오토메이티드 ML은 데이터를 기반으로 AI가 ML 모델을 만들어 주는 것이다. 데이터 전처리부터 알고리즘 설정, 파라미터 조정까지 해주는 서비스로 직접 만든 모델보다 정확도가 높은 모델을 만든다. 결과물 도출 과정과 파이썬 코드로 된 결과물을 함께 제시해 작업 효율성을 높인다.

 

애저 ML 디자이너는 사용자가 플랫폼 기능 사용 시 드래그 앤 드롭 방식을 허용하는 UI(User Interface)다. 데이터 수정, ML 방법 적용, 서버에 솔루션 배포에까지 모두 적용 가능하다.

 

이외 ML 솔루션 모임이라 할 수 있는 ‘애저 AI 갤러리(Azure AI Gallery)’, MS 파트너 하드웨어 장치와 통합할 수 있는 모델 개발을 위한 SDK를 제공하는 ‘애저 퍼셉트(Azure Percept)’를 주요 기능으로 들 수 있다.

 

‘애저 데이터 사이언스 버추얼 머신(Azure Data Science Virtual Machine)’을 통해서는 오픈소스 AI 개발 툴이 내장된 전용 가상 머신을 애저 클라우드에서 사용할 수 있다. 즉, 추가적인 ML 툴 설치 없이 바로 가상 머신에 접속해 애저 ML 서비스 환경에서 개발할 수 있다.

---

[누구나 개발자 #1] ③Azure에서 머신러닝을 한다는 것 - IT조선 > 기술 > 일반 (chosun.com)

[누구나 개발자 #1] ③Azure에서 머신러닝을 한다는 것

이 내용을 읽고 위 기사를 찾아 읽었다. 데이터 사이언티스트라면 누구나 Azure ML을 다룰 줄 알아야 하는 시기가 올 수도 있다~ 는 내용이 흥미로웠다. 솔직히 계속 기술이 발전한다~ 해도 꿈같은 기술들이 쉽게 성취되지 않았었기 때문에 (하늘을 나는 자동차처럼...^^) 뉴스에서 호들갑 떠는거다, 생각했었는데 현업에서 일하고 계신 분이 직전 이렇게 말을 하시니 진짜 시간이 지나면서 점점 기술 발전의 속도가 빨라지는구나, 점점 가속도가 붙는구나 싶어서 신기하고, 또 미래가 점점 기대된다...!

 

또 드는 생각은, 지금 내가 코딩한다고 직접 타이핑하고, 또 쉘 스크립트 입력한다고 검은 화면에 흰 글씨 치고~ 이런 과정이 나중에는 정말 불필요할수도 있겠구나, 싶다. 물론 그건 더 먼 미래겠지만, 아무튼 지금 번거롭다고 여겨지는 태스크들이 나중에는 아무렇지 않게 클릭 몇번으로 가능해질 것 같다는 생각이다!

 

그리고 또 '데브옵스'라는 단어가 자꾸 걸려서, 유튜브에서 해당 개념을 다루는 영상을 찾아보았다. Youtubu review에 추가로 올릴 예정이다.

---

◆구글, 올해 5월 통합 MLaaS 플랫폼 ‘버텍스 AI’ 발표

인기 오픈소스 딥러닝 프레임워크인 텐서플로우(TensorFlow)를 만든 구글은 올해 5월 그간 MLaaS 서비스를 통합한 플랫폼인 '버텍스 AI(Vertex AI)'를 공개했다.

 

버텍스 이전에도 구글은 2019년 출시한 '텐서플로우 엔터프라이즈(TensorFlow Enterprise)'를 비롯해 다수 MLaaS 서비스를 제공해왔다.

 

버텍스 AI는 필요한 모든 도구를 갖춘 단일 플랫폼으로 ML 교육 없이 데이터, 프로토타입, 실험, 모델 배치, 모델 해석, 생산 모니터링을 할 수 있다. 기본 지식만 있으면 누구나 해당 툴을 사용해 머신러닝 모델을 구현, 배포할 수 있다는 것이다.

버텍스 AI 구성(사진=구글 클라우드)

 

통합 UI와 API로 AI를 위한 구글 클라우드 서비스를 통합하는 것도 특징이다. 덕분에 기존 경쟁 플랫폼에 비해 AI 모델을 개발하고 유지하는데 필요한 코드 라인을 약 80% 줄였다는 것이 구글 설명이다.

 

구글이 자사 AI 플랫폼 개발에서 우선시하는 목표 중 하나는 모든 기술셋 구축이 쉽도록 액세스하는 것이다. 버텍스 AI 사용자는 컴퓨터 비전, 언어, 대화와 같은 기능과 구조화된 데이터를 포함하는 동일한 AI 툴킷에 액세스할 수 있다.

 

‘버텍스 비지어(Vertex Vizier)’는 새로운 ML 프로젝트 구축·관리를 효율적으로 운영하는 MLOps 기능이다. 해당 기능으로 더 많은 AI 애플리케이션을 빠르게 배포할 수 있다. MS 애저 ML과 같이 드래그 앤 드롭이라는 편리한 인터페이스도 갖췄다. 오토ML(AutoML)을 사용하면 사용자 경험에 따라 맞춤형 ML 모델 구축과 교육이 가능하다.

 

실무자의 ML 서비스·공유·재사용을 지원하는 ‘버텍스 피처 스토어(Vertex Feature Store)’, 모델 선택을 돕는 ‘버텍스 익스피리먼트(Vertex Experiment) 등의 기능도 추가됐다.

 

현재 테스트 단계에 있는 '버텍스 머신러닝 엣지 매니저(Vertex ML Edge Manager)'를 통해서는 자동화된 프로세스와 유연한 API를 통해 엣지에서 모델을 배포하고 모니터링할 수 있다.