ChatGPT의 열풍이 불면서 다시금 AI 기술을 향한 관심도 높아지고 있습니다👀
지난 달, 드림어스컴퍼니에서는 내부 구성원들에게 ChatGPT에 대해 소개하는 사내 세미나를 열었고,
이를 주최한 조직이 바로 추천기술 Unit이었는데요! 추천기술 Unit은 AI 기술을 통해 FLO의 추천 시스템을 구축하고 있어 ChatGPT 열풍으로 더욱 주목받고 있답니다.
이번 기회를 통해 추천기술 Unit의 세 분을 초대해 보았는데요,
다른 오디오 플랫폼들보다 ‘추천’에 특화된 드림어스컴퍼니 추천기술 Unit은 지금 무얼 하고 있을지 리더인 Obiwan과 Blue, Iris 통해서 들어보시죠🤖
추천기술 Unit의 Obiwan, Blue, Iris (왼쪽부터)
Q. 안녕하세요, 간단한 자기소개와 어떻게 드림어스컴퍼니까지 오시게 됐는지 말씀 부탁드려요!
Obiwan : 안녕하세요, 어느새 경력 15년이 훌쩍 넘은 추천기술 Unit의 리더 Obiwan입니다. 처음에는 게임 플랫폼 개발을 시작으로 커리어를 이어오다가 우연한 기회로 머신러닝을 시작하게 됐는데요. 이후 알파고가 나오면서 AI에 관심을 갖게 되어 당시 재직 중이던 회사 내 AI 조직에 들어갔고, 그때부터 딥러닝을 시작하게 되어 지금까지 데이터 엔지니어 생활을 이어오고 있습니다.
Iris : 안녕하세요, 모델링 개발 담당하는 추천기술 Unit의 Iris입니다. 저는 학부 시절에는 문과였는데 커리어 개발 차원에서 AI 쪽으로 석사 과정을 밟았어요. 당시에 Netflix나 Youtube 알고리즘이 한창 유행하면서 ‘추천’을 주제로 논문을 쓰다 보니 커리어도 추천과 관련된 업으로 이어가고 싶다는 막연한 꿈이 있었는데요. 석사 졸업 후 다른 콘텐츠 회사에서 인턴을 하다가 좋은 기회로 첫 회사를 드림어스로 시작하게 됐습니다!
Blue : 안녕하세요. 추천 모델이랑 딥러닝, 데이터를 담당하는 추천기술 Unit의 Blue입니다. 저는 대학교 4학년 때 인공지능 수업을 듣고 인공지능이 궁금해서 대학원을 간 케이스예요. 생물학적인 문제를 인공지능으로 이용하여 다루는 ‘바이오인포매틱스’ 학문이었는데, 졸업하고도 이 전공을 살릴 수 있는 일을 하고 싶었어요. 그래서 처음에는 화장품 회사에서 인공지능과 추천 모델 관련 업무를 했는데, 당시 저희 팀이 서버를 만드는 기술이 부족하다는 공격을 계속 받더라고요. 그래서 API를 잘 만드는 회사가 어떨까 궁금해 큰 규모의 자동차 회사로 이직도 해보았는데 AI 업무를 못 하니까 재미가 없는 거예요. 돌고 돌아 추천 업무를 할 수 있는 드림어스로 오게 되었습니다 ㅎㅎ
Q. 그럼 현재 드림어스컴퍼니에서 담당하는 업무는 어떻게 될까요?
Iris : 저는 Music Generation이라는 음악 생성 모델에 초점을 맞추고 있는데요. ChatGPT가 질문을 하면 거기에 맞는 답변을 생성해주는 모델이잖아요. 그 연장선으로 원하는 음악을 만들어 달라고 하면 음악을 생성해주는 모델이 Music Generation이에요. 저희도 이걸 활용해 추천 고도화에 쓸 수 있도록 공부하며 개발하고 있는 상황입니다! 이외에도 앱 리뷰 시스템을 보고 있고, 추천 지표도 함께 담당하고 있어요.
Blue : 저는 추천 모델과 추천 모델 결과 데이터를 가공하는 일을 하고 있어요. FLO에는 여러 추천 모델이 있는데요. 그 중, 유저 to track / 아티스트 to 아티스트(유사 아티스트) / 유저랑 비슷한 플레이리스트를 추천해주는 모델이 있는데 이게 벌써 4년이 넘었거든요. 그래서 이 모델을 최신 기술로 변경하는 작업을 하고 있어요. 실제로 이미 적용한 모델도 있는데 덕분에 비용도 많이 줄어들고 있는 상황이에요. 그 이외에 새로 담당하는 업무는 이미지 인식 기술을 통해서 FLO 앱 프로필 사진의 폭력성과 선정성을 판단해 필터링하는 일을 하고 있습니다.
Obiwan : 구성원들이 알지 모르겠지만 (웃음) 아무래도 유닛 구성원들이 본인 업무에 집중할 수 있는 환경을 만들어주려고 노력하고 있어요. 추천기술을 다루는 저희 유닛은 저희만의 특색이 있는 거 같아요. 다른 개발 유닛은 공통 기술을 활용하다 보니 인력 순환이나 업무 재배치가 용이한 편인데요. 저희는 구성원들이 각각 고유의 기술을 갖고 있는 편이라 좀 더 전문성을 키울 수 있는 환경을 만들려고 해요. 데이터를 하는 분들은 데이터에 집중할 수 있게끔, AI 업무를 하는 분은 AI 업무에 집중할 수 있게끔 업무를 할당하고 있어요.
물론 이외에도 다양한 업무를 하고 있지만 제가 가장 힘쓰고 있는 부분은 어떻게 하면 구성원들이 더 원활하게 일할 수 있는 환경을 만들지, 개인의 전문성을 키울 수 있는 방법을 고민하고 해결하는 것이라고 볼 수 있겠네요.
추천기술 Unit이 일하는 방식
Q. 그럼 ‘23년 추천기술 Unit의 조직 목표는 무엇일까요?
Obiwan : 추천기술 Unit은 FLO의 추천 서비스와 데이터 파이프라인을 담당하는 만큼, FLO의 모든 사용자가 만족할 수 있는 개인화된 추천 서비스를 제공하는 것을 목표로 하고 있어요.
Q. 멋진 목표네요! 그럼 추천기술 Unit에서 사용하는 기술 스택은 어떻게 될까요?
Iris : 저희는 대용량 데이터를 기반으로 개발하고 있기 때문에 Apache Spark를 공통으로 사용하고, 담당하는 업무에 따라 백엔드 서버 개발/머신러닝 개발과 관련된 기술 스택을 보유하고 있어요. 다양한 기술을 다루기 때문에 접근성을 높이는 목적으로 파이썬을 통일해서 사용하기도 합니다.
Q. 코드 리뷰 문화에 대해서도 말씀 부탁드려요!
Obiwan : 저희 추천기술 Unit에서는 머신러닝, 백엔드 서버, 데이터 애플리케이션을 개발하고 있어요. 각 프로그램은 개별적인 특성이 있어서 일관된 원칙을 적용하기에는 어려움이 있는데요. 하지만 코드의 일관성과 유지 보수성을 향상하기 위해 Pylint나 Type Checking을 위한 Pyright과같은 정적 분석기와 Code Formatter를 적극 활용하는 편이에요. 도구로 해결이 안 되는 부분을 보완하기 위해서는 코드 컨벤션을 만들어 가고 있습니다.
Q. 가장 메인이 되는 질문일 거 같은데, FLO에서는 어떻게 나의 취향을 파악하고 어떻게 취향에 맞는 음악을 추천해 주나요?
Blue : FLO의 추천 시스템은 크게 두 단계로 나뉘어 있는데요.
첫 번째는 딥러닝 모델을 이용해서 캐릭터의 취향을 파악하고 들을 트랙을 예측하는 거예요. 다양한 방법을 사용해서 모델을 만들고 있죠. 모델은 유저가 가지고 있는 성별, 연령대 같은 정보와 청취한 트랙 그리고 트랙의 정보 등 데이터를 통해 유저의 취향을 암시적으로 학습해 캐릭터와 트랙의 관련성을 측정할 수 있게 만들어 줘요. FLO의 추천은 Self-Supervised 알고리즘인 Word2Vec에서부터 Transformer 모델까지 다양한 모델을 사용합니다.
두 번째는 모델을 통한 추천 결과를 가공하는 단계인데요. 모델을 통해 나온 추천 결과에서 각 서비스의 특징에 잘 어울리도록 휴리스틱한 로직을 적용해요. 추천하는 트랙의 순서를 트랙의 인기도 등의 요소를 고려해서 재정렬하는 경우도 있고, 이미 추천한 트랙을 제외하거나 캐릭터별 비선호 장르 등을 제외하는 로직 등이 있어요.
Q. 이런 단계들을 통해서 FLO가 제게 노래를 추천해 줬던 거군요! 그럼 혹시 추가로 준비하고 있는 새로운 기능이 따로 있을까요?
Iris : 앞서 말씀드렸던 Music Generation이 대표적이에요. 구체적으로 말씀드릴 수는 없겠지만 가능하다면 이른 시일 내에 오디오 서비스에서 유용하게 쓰일 수 있는 모델을 보여드리고 싶네요😉
Q. 새로운 모델 기대됩니다! 이런 새로운 모델을 개발하면 어려운 점도 많이 있을 것 같은데요. 어떤 부분이 가장 힘드신가요?
Obiwan : 다른 유닛도 그럴 수 있지만 저희 유닛은 가설을 세워 놓고 모델을 개발하면서 시간 투자를 많이 하고 있거든요. 그런데 저희가 생각했던 가설과 달리 결과가 안 좋으면 서비스 적용하기 힘든 경우도 많이 생기는 거죠. 또, 논문으로 봤을 때는 가능해서 우리 기술과 서비스에 적용해도 우리가 갖고 있는 데이터와 다르면 적용이 안 되는 경우도 많고요. 그래서 더 많이 공부하고 적용하려고 노력하게 되는 거 같아요.
Q. 아 논문이나 가설을 보고 시작하면 그런 어려움이 있겠네요. 새로운 기술을 도입해서 추천 모델을 만드는 것이 정말 쉽지 않겠는데요. 신기술 도입을 위해 추천기술 Unit에서는 어떻게 스터디하시는지 궁금해요!
Blue : 최근에 Music Generation 모델 개발 등의 딥러닝 모델을 보면서, 확인할 자료들이 많다 보니 구성원들이 파트별로 나눠서 보고 있는데요. 매주 1회 정도 본인이 새롭게 알거나 다룬 내용을 실습 내용으로 만들어 공유하는 자리를 가지기 시작했어요. 배경지식이 부족한 경우도 많기 때문에 서로 사용하는 용어도 통일하면서 어떻게 딥러닝 모델을 잘 활용해야 할지에 대한 의견을 서로 나누고 피드백을 주고받고 있어요.
Iris : 딥러닝뿐 아니라 최근 핫한 추천 기술이나 논문들을 보면서 서비스에 적용할 수 있는 포인트가 있는지 리뷰하고 있어요. 이외에도 팀 내에서 참고가 되거나 도움이 될 수 있는 여러 기술들을 슬랙에서 공유하기 때문에 다양한 지식과 노하우를 빠르게 습득하고 있답니다.
관련 논문과 기술 지식을 공유하는 추천기술 Unit
Q. 이렇게 인터뷰하게 된 김에 추천기술 Unit의 문화도 자랑해 주세요!
Obiwan : 매일 오후 1시에 다 같이 Daily Scrum을 하고 있어요. 어떤 업무를 했고, 오늘은 어떤 업무를 할지 함께 공유하고 있는데요. 각자가 맡은 업무량은 상황에 맞게 유동적으로 관리하지만, 궁극적으로는 개개인의 목표를 달성해야 하잖아요. Daily Scrum을 통해 본인의 업무 상황을 객관적으로 한 번 더 체크하게 되고, 다른 구성원들의 업무 상황도 들으면서 동기부여를 하는 시간이에요.
Iris : 기술 발전이 빠르게 진행되면서 최근에는 Airflow를 사용하기 시작했는데, 이처럼 도입되는 새로운 시스템에 대해 필요한 책도 사고 강의도 사서 같이 스터디하고 있어요! 덕분에 꾸준히 성장하는 느낌을 받을 수 있습니다.
Blue : 저는 특별하게 업무 이외에 다른 분들이 가장 궁금해할 회식 문화를 말씀드릴게요. 저희가 분기별 1번씩 캔미팅을 제도로 하고 있잖아요. 저희는 과한 회식이나 술 강요 없이 맛있는 점심을 먹고 편하게 업무 관련 이야기도 하면서 정시 귀가를 하고 있답니다 ㅎㅎ 참고로 이번 캔미팅은 맛있는 초밥을 먹었어요🍣
* 캔미팅이란? 조직 내부 단합 및 소통을 위해 분기별 1회 자유로운 분위기에서 구성원들이 함께하는 활동
Q. 드림어스컴퍼니에서 일하면 얻을 수 있는 커리어 장점도 어필해 주세요 🙂
Blue : 한마디로 정리해 보자면 드림어스컴퍼니는 ABC(AI, Big Data, Cloud)가 모두 갖춰져 있어요. 데이터 엔지니어 업무를 해보면 생각보다 많은 회사에서 작은 규모의 데이터로 운영하는데 이조차도 회사 내 데이터베이스를 끌고 오거나 여러 경로를 거쳐 받아와야 해서 불편함이 크거든요. 근데 저희는 이미 AWS 위에 올라가 있어서 데이터를 활용하기가 편하죠. AWS 서비스도 활발하게 쓰지 않는 경우가 많은데, 저희는 Amazon EMR을 이용해서 Apache Spark를 사용하고 있어요. 그뿐만 아니라 Dennis(CTO)를 포함해 리더들도 신기술 활용에 굉장히 적극적이라 쿠버네티스도 올해 초에 적용을 완료했고요.
Iris : 첫 회사가 드림어스라고 말씀드렸는데 정말 “추천” 배우기 참 좋은 곳이에요. 음악은 구독권만 있으면 소비할 수 있으니까 유저들이 부담 없이 소비할 수 있는 콘텐츠거든요. 그래서 추천에 사용할 수 있는 데이터가 정말 많아요. 음악 콘텐츠는 다른 콘텐츠에 비해 콘텐츠 수도 매우 많아서 추천할 수 있는 콘텐츠 데이터양이 방대하기도 하고요. 거기다 데이터 정비도 잘 되어 있는 편이라 추천이나 AI 커리어를 시작하기 굉장히 좋은 환경이라고 말씀드릴 수 있을 거 같아요. 다른 분야에서 추천을 적용한다고 하면 콘텐츠 수가 100개, 1,000개 이 정도 수준이면 저희는 백만 개가 넘어가니까 그만큼 대용량 데이터를 다룰 수 있는 게 큰 메리트인 거죠!
챗GPT에 대하여
Q. ChatGPT 이야기도 빠질 수 없을 거 같은데요, 최근에 사내 세미나를 진행해 주셨잖아요. 진행하게 된 계기가 따로 있을까요?
Obiwan : 저희가 자연어 처리하는 팀은 아니지만 ChatGPT 바람이 불면서 저희도 기술 조사를 하게 됐고 정보 공유차 사내 세미나를 열게 된 거죠. 저희도 공부해 보면서 놓치고 있던 부분들도 있었고 트렌드도 새로 느낄 수 있게 됐어요. 그리고 저희도 Music Generation이라는 새로운 기술을 제대로 활용해 보고 싶기 때문에 관련 배경 설명을 전사 차원으로 공유한 거라고 보면 될 거 같아요. Music Generation 덕분에 오랜만에 가슴이 뛰기 시작한 거 같네요 😂
Q. 드림어스 구성원들도 많이 참여해 주셨더라고요. 사내 세미나를 진행해 보니 어떠셨나요?
Obiwan : 말씀하신 것처럼 이번 발표를 통해 구성원들의 많은 관심을 느낄 수 있었어요. 하지만 다소 우려가 되는 부분은 2016년 알파고와 이세돌 구단의 대국으로 인공지능은 지금처럼 수많은 관심을 받았지만 킬러 애플리케이션이 나타나지 않아 그렇게 많던 관심이 한순간에 사라진 적이 있거든요. 지금도 ChatGPT의 출연으로 많은 관심을 받고 있지만 결국 킬러 애플리케이션이 출현하지 않는다면 관심은 한순간에 사라지지 않을까 걱정이 돼요. 머신러닝을 하는 사람들은 냉탕과 온탕을 왔다 갔다 한다는 생각을 많이들 할 것 같은데, 개인적으로 인공지능에 대한 관심이 꾸준했으면 하는 희망이 있습니다🙏🏻
ChatGPT 사내 세미나 진행 모습
Q. 그럼 추천기술 Unit의 머신러닝 전략은 어떻게 될까요?
Obiwan : 머신러닝은 거대 기업 간의 물량 싸움이 되어가고 있죠. 소신 발언을 해보면.. 제한된 리소스와 인력으로 공룡들과 싸우는 것은 무리가 있다고 생각해요. 거대 기업들이 선구자처럼 발판을 만들어 놓으면 저희는 그걸 보고 빠르게 쫓아가는 전략을 펼칠까 합니다. 사실 저희가 논문 쓰자고 모인 사람들도 아니고 결국에는 서비스를 고도화하는 게 가장 큰 목적이거든요. 오히려 이런 전략이 저희에게 더 적합하고 활용 측면에서 큰 효율성을 발휘할 수 있다고 생각해요. 그래서 앞으로 저희는 선택과 집중을 통해 추천 기능을 더 고도화해 나갈 예정입니다.
Q. 앞으로 인공지능의 미래를 예측해 보신다면..?
Obiwan : 제가 감히 인공지능의 미래를 예측한다니.. 굉장히 민망하네요🤣 민망함을 이겨내고 감히 예측해 보자면.. 멀지 않은 미래에 AI 반도체의 보급으로 지금의 휴대폰처럼 당연하게 어디서나 인공지능을 사용하는 시대가 오지 않을까요?
Iris : 최근 너무나도 핫한 기술인 ChatGPT로 인해 검색사이트부터 시작해서 여러 서비스가 이 ChatGPT를 도입하려는 모습이 보이는데요. 이처럼 AI가 엄청난 양의 데이터를 학습하면서 단순 노무부터 시작해 여러 가지 직업을 대체할 수 있을 거로 생각해요.
Blue : 돈만 있다면 누구나 인공지능을 자신의 도메인으로 가져와서 사용할 수 있게 되었어요. 언어로 표현할 수 있는 모든 것들을 보조할 수 있는 인공지능 서비스들이 나올 거 같아요. 다만 거대한 모델이 모든 것을 할 수는 없기 때문에, 모델이 직접 도구를 사용할 수 있도록 하는 방식이나 그 도구를 만드는 방식으로 발전하지 않을까 해요. 혹은 몇 년 뒤에는 현재 유명한 생성 모델의 방식이 인간이 실제 생각하는 방식과 다르다고 주장하며 새로운 방식을 적용한 모델이 나올 수도 있지 않을까 합니다 ㅎㅎ
앞으로 기대하는 모습
Q. 성장을 위해 개인적으로 노력하는 것이 있다면?
Iris : 최근 들어 거대한 AI 모델들이 많이 나오기 때문에 기술 트렌드를 놓치지 않는 게 필요할 거 같아요. 그렇기에 앞으로도 관련 기술 공부를 게으름 피우지 않고 부지런히 이어 나갈 예정입니다 ㅎㅎ
Blue : 저 또한 Iris가 말씀 주신 것과 더불어 말하자면, 여러 다양한 인공지능이 나오는 만큼 인공지능을 해석할 수 있는 설명 가능한 인공지능에 대해 알아보고 있어요!
Q. 어떤 엔지니어가 되고 싶은지 혹은 드림어스에서 이루고 싶은 목표가 있을까요?
Blue : 저 스스로도 게을러서 버튼 많이 클릭하는 거 안 좋아하거든요. 그리고 익숙한 노래만 듣게 되고 새로운 노래가 나와도 찾기 귀찮아지잖아요. 이를 위해 재생 버튼 클릭 하나만으로 다른 모든 것들을 선택하지 않을 수 있도록 만들고 싶어요. 그래서 FLO의 추천 서비스가 본인도 몰랐던 취향을 파악해서 발굴해주는 효과를 가질 수 있도록 하는 게 제 목표입니다🎧
Iris : FLO가 다른 음악 서비스에 비해 추천에 특화됨을 많이 강조하고 있는데, 저희가 만들고 있는 서비스를 올해 안에 적용해서 추천 특화에 더 기여하는 보람을 느끼고 싶어요. 멀리 봤을 때는 FLO의 과거 모델 대신에 제가 만든 새로운 모델로 채워 넣는 것이 목표입니다!
Q. Obiwan은 리더로서 팀 목표나 미래에 추천기술 Unit에 들어올 신규 입사자분들께 한마디 해주시는 거로 마무리 부탁 드리겠습니다😀
Obiwan : 저는 팀원들이 저희 유닛에 오셔서 서비스 발전에 기여도 많이 하고 좋은 커리어를 쌓으면 좋겠어요. 제가 그만큼 잘 도와드리고 싶기도 하고요. 그렇게 해서 좋은 회사로 이직한다고 하면 그것 또한 기쁜 마음으로 응원하며 보내드릴 준비가 되어 있답니다😁
신규 입사자로 오시면 잘 적응하실 수 있도록 기반을 만들어 주고 업무에 필요한 것들은 바로 지원해 주는 편이거든요. Spark를 못 하는 분이 오셨다면 관련 강의도 구매해서 업무 적응 잘하실 수 있도록 도와주고 있고요 ㅎㅎ
더불어 사내/외 막론하고 추천기술 Unit이 인기 있는 최신 기술을 다루다 보니까 오고 싶어 하시는 분들이 많다는 걸 익히 듣고 있어요. 다만, 그런 분들 중에 본인이 하고 싶어 하는 것만 하고자 하는 경향이 강한 분들도 간혹 있거든요. 우리의 목적은 회사가 원하는 서비스를 제공하는 거잖아요. 최대한 하고 싶은 걸 하실 수 있도록 도와는 드리겠지만 그것만 바라보면 맞지 않을 수도 있어요. 정리하자면 우리의 목적이 무엇인지 잘 인지하고 적응할 준비가 되어 있는 분이면 언제든 환영합니다!
뜨거운 감자인 ChatGPT뿐 아니라 앞으로 드림어스컴퍼니가 어떻게 추천 영역을 확대해 갈 수 있을지 알아갈 수 있는 시간이었는데요.
유쾌함이 가득했던 추천기술 Unit의 Obiwan, Blue, Iris에게 감사 인사를 전합니다🎀