세계적인 클라우드 기업인 Amazon Web Service(AWS)에 아이지에이웍스의 고객 데이터 플랫폼 디파이너리(DFINERY)에 대한 성공 사례가 소개되었습니다.
아이지에이웍스의 데이터 분석 솔루션인 디파이너리는 디지털 트랜스포메이션 실현을 위한 SaaS 기반 Customer Data Platform으로서 약 10,000여개의 회사들이 보내는 수십억개의 고객 여정, 데이터를 매일 처리하며 Business-Intelligence, 머신러닝, 개인화된 고객 여정 마케팅 환경을 제공합니다.
수십억개의 데이터는 실시간 활용이 가능하도록 멈춤없이 처리되며, GUI로 이루어진 콘솔을 통해 데이터에 접근하고 인사이트를 얻을 수 있습니다. 이를 통해 고객사의 마케터와 운영자들은 기술적인 지식이 없어도 데이터 드리븐 액션을 수행할 수 있습니다.
AWS 상의 아이지에이웍스 인프라 아키텍쳐
고객사별로 각각 다른 형태의 데이터는 예측이 불가능할 정도로 증가하고 있습니다. 그럼에도 불구하고 디파이너리는 쉽게 데이터를 처리하는 과정이 필요했습니다. 데이터 플랫폼 부분 현동규 CTO는 “우리의 제품이 데이터 트랜스포메이션 시대에 꼭 필요한 제품이라는 것을 알고 있었습니다. 그래서 페타 바이트 규모의 데이터를 넘어서 성장할 것이라는 것을 알고 있었습니다. 우리는 무한 확장 가능하고 유연한 데이터플랫폼을 제공하기 위해 클라우드 환경이 꼭 필요하다는 것을 깨달았습니다.” 라고 말했습니다.
AWS를 사용하여 빅데이터 솔루션 구축
아이지에이웍스는 데이터 레이크를 통해 데이터를 저장하고 처리하는 AWS솔루션을 활용하여 문제를 해결하였습니다. 현CTO는 “무한 확장 가능하고 관리가 용이하며 쉽게 배워서 적용할 수 있는 솔루션은 AWS가 유일하다고 생각합니다.” 라고 말했습니다.
IGAWorks는 Amazon Route 53을 사용하여 SDK나 API를 통해 수집된 고객 여정 데이터를 Amazon Elastic Container Service로 전달하여 Amazon Simple Storage Service(Amazon S3)에 적재합니다. 적당히 모인 데이터는 Amazon Elastic MapReduce(Amazon EMR)를 통해 고객사별로 구분 정리 후 Parquet 형태로 가공하여 다시 Amazon Simple Storage Service에 저장합니다. 이 과정에서 새롭게 추가되거나 변경된 데이터 구조를 식별하고 AWS Glue Data Catalog에 반영하여 최종적인 데이터 레이크를 구축합니다. 그리고 고객사에게 Amazon Redshift 나 Amazon Athena를 통해 원시 데이터를 쿼리하여 비즈니스에 필요한 인사이트를 제공합니다.
데이터 레이크는 데이터 기반 어플리케이션을 쉽게 만들 수 있도록 도와줍니다. 그중 하나인 고객 프로필 구성은 주기적으로 Amazon Elastic MapReduce 를 통해 데이터 레이크를 조회하며, 고객별 프로필을 구성합니다. 그리고 결과를 Amazon DynamoDB에 업데이트 합니다. 현CTO는 “DynamoDB는 항상 일정한 검색 시간을 제공하며, 인프라 증설 없이 Read, Write 용량을 실시간 변경 가능합니다. DynamoDB를 사용한 이후에는 모니터링과 관리 이슈가 매우 줄어들었습니다.” 라고 말했습니다.
또한, 개인화된 고객 여정 마케팅을 제공하기 위해 Amazon SageMaker을 사용하여 고객별 관심사, 메시징 유형, 메시징 시점들을 추측합니다. 고객사의 데이터별로 적합한 예측 Model이 다르기 때문에 이 과정에서 Amazon SageMaker Autopilot을 사용하여 적합한 Model을 점수별로 나열하여 결정합니다. 그리고 이것을 적당한 주기로 반복하여 예측품질을 지속적으로 개선합니다.
실시간 데이터 레이크 업데이트
데이터 수집 후 사용 가능하도록 가공된 데이터를 제공하는 것은 일괄처리를 통해 1~3일 후 전달하는 것이 일반적입니다. AWS는 이를 수분 내에 가능하도록 합니다. 현CTO는 “데이터 최초 수집 후 Amazon Simple Storage Service와 AWS Glue Data Catalog를 통해 최대 30분내 데이터 레이크에 통합합니다. 그리고 Athena 및 Redshift 를 통해 즉시 인사이트를 얻을 수 있습니다. 이를 통해 고객사는 더 빠른 시간내에 의사결정을 내릴 수 있습니다.” 라고 말했습니다.
IGAWorks는 AWS를 활용하여 운영 비용도 절감하고 있습니다. 현CTO는 “Amazon Elastic Container Service에서 스팟 인스터스를 활용하며 온 디맨드 가격보다 최대 90% 저렴하게 사용하고 있습니다. 그리고, 데이터 레이크에 저장된 1년 이상의 데이터는 고객들이 자주 사용하지 않는 것을 발견했습니다. 이때 자동적으로 스토리지 클래스를 변경하도록 해두어 비용을 약 45%절감하였습니다.” 라고 말했습니다.
더 많은 데이터를 빠르고 저렴하게 처리하기 때문에 IGAWorks의 고객사는 더 많은 혜택을 얻습니다. 최고전략책임자인 손광래 CSO는 “디지털 트랜스포메이션의 성공은 곧 데이터 트랜스포메이션에 달려 있습니다. 우리가 처리하는 데이터 기술이 빠르고 저렴할수록 고객사는 더 많은 데이터를 손쉽게 분석할 수 있습니다. 이를 통해 데이터 기반의 인사이트와 액션이 가능해지고, 데이터 기업으로의 전환이 가속화 됩니다. 우리는 AWS의 기술을 적극 활용하여 더욱 빠르고 효율적으로 데이터를 처리함으로써 고객사에게 적시성을 제공하기 위해 노력하고 있습니다.” 라고 말했습니다.
매일 수십억개의 고객 여정 데이터를 처리 합니다.
수집된 데이터는 데이터 레이크에서 최대 30분내에 통합됩니다.
Amazon EC2 Spot Instance와 Amazon S3 Storage Class를 활용하여 한 달에 수만 달러 절약 했습니다.
Amazon SageMaker Autopilot을 통해 적합한 예측 모델을 자동 결정 합니다.
[About 디파이너리]
디지털 트랜스포메이션 실현을 위한 Customer Data Platform, 디파이너리는 기업의 정제되지 않은 데이터를 수집, 가공하여 분석, 예측하고 개인 맞춤형 고객 여정을 위한 마케팅 그로스 액션을 즉시 수행할 수 있는 고객 데이터 플랫폼입니다.
디파이너리는 AWS Advanced Technology Partner로서 확장 가능하고 유연한 데이터 플랫폼을 제공하기 위해 AWS의 클라우드 환경과 솔루션을 활용하고 있습니다.