데이터지능 팟캐스트 E12-1 : 데이터과학과 통계편 – 권재명님

최근 각광받고 있는 데이터과학과 머신러닝의 근간에는 전통과 역사를 자랑하는 통계학이 있습니다. 이번에는 통계학자로서 미국에서 연구원 및 교수 생활을 하셨고 현재 실리콘밸리에서 데이터과학자로 일하고 계시는 권재명 박사님을 모셨습니다.

  • 데이터과학, 통계학, 머신러닝의 관계는?
  • 통계학은 고유의 세계관과 사고방식이 있다는데?
  • 데이터과학 및 통계학의 최근 이슈와 트렌드는?
  • 처음 통계에 관심을 갖게 되신 계기는? 데이터과학자로 전향하신 이유는?
  • 데이터과학과 통계를 시작하는 사람들에게 해주고픈 이야기가 있다면?

방송에서 미처 다루지 못한 데이터과학과 통계 이야기는 권재명 박사님의 저서 ‘따라하며 배우는 데이터 과학’을 참조하세요. 그리고 이와 관련된 도서로 최근에 한빛미디어에서 출간된 ‘처음 배우는 데이터 과학’도 데이터 과학에 대한 기초를 다지고, 폭넓은 지식을 쌓기에 좋은 책입니다.

마지막으로 저희 데이터 지능 팟캐스트가 본 방송을 끝으로 시즌 1을 마무리하려고 합니다. 시즌 1을 빛내주신 출연자 분들, 그리고 운영진 분들 다시 한번 감사드립니다. 재충전 뒤에 더 알찬 방송으로 찾아뵙겠습니다.

E11-2 데이터 엔지니어링편 – 넷플릭스 배재현님, 쿠팡 글로벌 최현식님

데이터지능 팟캐스트 11번째 에피소드 “데이터 엔지니어링편”의 2부 입니다.

넷플릭스의 배재현님, 그리고 쿠팡 글로벌의 최현식님을 모시고 데이터 엔지니어링의 깊은 이야기를 나누어 봅니다.

  • 데이터 과학자 vs 데이터 엔지니어 – 어떻게 구분되나?
  • 하둡을 중심으로 알아보는 데이터 엔지니어링의 역사는?
  • 데이터 엔지니어링, 그리고 데이터 엔지니어의 미래는?
  • 클라우드 vs 자체 데이터센터 구축의 장단점과 고려사항은?
  • 데이터 엔지니어링을 시작하는 사람들에게 해주고픈 이야기는?

방송 관련 자료

E11-1 데이터 엔지니어링편 – 넷플릭스 배재현님, 쿠팡 글로벌 최현식님

이번 방송은 넷플릭스의 배재현님, 그리고 쿠팡 글로벌의 최현식님을 모시고 데이터 과학을 위한 기초 공사라고 할 수 있는 데이터 엔지니어링을 다뤄볼까 합니다.

  • 데이터 과학자 vs 데이터 엔지니어 – 어떻게 구분되나?
  • 하둡을 중심으로 알아보는 데이터 엔지니어링의 역사는?
  • 데이터 엔지니어링, 그리고 데이터 엔지니어의 미래는?
  • 클라우드 vs 자체 데이터센터 구축의 장단점과 고려사항은?
  • 데이터 엔지니어링을 시작하는 사람들에게 해주고픈 이야기는?

방송 관련 자료

스냅(Snap Inc.)에서의 1년

스냅(Snap Inc)으로 회사를 옮겨 스토리 검색 기능을 런치하고 글을 썼던 것이 엇그제같은데, 어제부로 입사 1년을 맞이했다. 개인적으로는 이사 3번에, 첫아이 출산에 정신없는 한해였고, 입사 1년을 돌이켜보면 항상 즐거운 일만 있었던 것은 아니지만 지금 돌이켜보면 후회없는 선택을 했다는 확신이 든다. 오늘은 입사 1년을 통해 배우고 느낀 점을 정리해볼까 한다.

스냅이라는 회사

생긴지 5년도 안되었지만 항상 화제의 중심에 있는 젋은 회사에서 일하는 것은 롤러코스터를 타는 듯한 경험이었다. 입사 직후였지만 IPO의 흥분도 맛보았고, 곧이어 경쟁사의 압박과 회사를 전통적인 SNS의 잣대로 평가하는 언론의 영향으로 회사의 평판이 바닥까지 떨어지는 것도 경험했다. 최근에는 다시 월가의 기대를 뛰어넘은 실적을 발표해서 주가가 한참 올랐다가, 다시 디자인 개편에 대한 비판이 쏟아지면서 여론의 뭇매를 맞고 있다.

IPO 직후 보낸 메일에서 스냅의 창업자이자 CEO 에반 스피겔은 ‘우리의 여행은 이제 시작이다’리고 했는데, 그 말은 농담이 아니었다. 에반으로 말할것같으면 졸업을 3학점 앞두고 스탠포드에서 중퇴를 선택한 인물이다. 이런 창업자의 정신은 스냅의 여러 제품에 잘 나타나 있는데, 텍스트 중심의 기존 SNS와 달리 ‘카메라가 곧 키보드’라며 지워지는 영상과 비디오를 중심으로 하는 스냅챗의 출발, 그리고 타임라인과 반대로 시간순으로 재생되는 스토리 기능 등 스냅의 현재를 만든 제품은 대부분 기존 SNS의 공식을 뒤집은 결과물이다.

이런 스냅의 혁신은 현재진행형이다. 최근에 발표한 스냅챗의 디자인은 초기 화면인 카메라 왼쪽에 친구들의 대화와 스토리를 볼 수 있는 프랜드피드, 그리고 카메라 오른쪽에 각종 매체 및 인플루엔서들의 공유한 스토리 등을 보여주는 디스커버피드가 있다. 친구들의 근황과 각종 링크 및 뉴스를 한곳에 보여주는 기존의 SNS에 또다시 반기를 든 것이다. 시도 때도 없이 갖가지 알람을 보내서 사용자를 유혹하고, 클릭을 유도하는 가짜 뉴스가 범람하는 SNS 공해의 시대에, 스냅은 개인적인 소통과 뉴스 및 매체 소비를 분리하는 것이 바람직하다는 방향을 세운 것이다.

스냅에서의 데이터 과학

필자가 회사를 옮길때 가장 중요한 고려사항중 하나는 ‘흥미로운 데이터를 가진 회사인가?’였다. 그만큼 데이터 과학자에게 좋은 데이터는 중요한 고려사항이다. 그런 의미에서 하루에 평균 30개 이상의 스냅(사진 및 비디오)을 보내는 2억명의 열성적인 유저들의 삶에 필수적인 스냅챗의 데이터는 분명 매력적인 것이었다. 사용자들의 삶에 가장 소중한 순간들이 스냅으로 가장 친한 친구들과 교환되기 때문이다. 스냅챗 사용자들이 공유하는 일상이 궁금하다면 스냅 맵의 웹버전을 사용해보자.

스냅챗의 사용자들은 자신의 스냅을 선택적으로 공개할 수 있는데, 많은 유명인이나 인플루엔서들은 그렇게 자신의 팬들에게 친밀한 일상을 전하고 있다. 여기에 작년부터 필자가 속한 SF오피스에서 개발하기 시작한 검색 및 추천 기능이 들어가면 스냅챗은 세상 곳곳에서 지금 일어나는 일을 사진과 비디오로 생생하게 알 수 있는 플랫폼이 된다. 유튜브의 실시간 버전이라고나 할까. 여기에 WSJ, Wired 등 유수 언론사에서 스냅챗 전용으로 만들어 매일 공개하는 뉴스까지 더하면 스냅챗은 모바일 시대의 TV가 된다.

구글과 페이스북이 온라인 광고 시장을 장악하고 있지만 아직도 가장 파이가 큰 대형 브랜드 광고는 TV의 영역이다. 하지만 전세계의 젊은이들은 TV 대신 모바일폰에서 대부분의 시간을 보낸다. 스냅챗은 주 사용자층인 10대-20대들의 감성과 라이프스타일에 최적화된 모바일 매체 경험을 제공할 수 있는 위치에 있다. 페이스북이 처음에 타임라인을 도입했을때 여론의 뭇매를 맞았지만 결국 성공했듯이, 최근의 대대적인 디자인 개편은 이런 스냅챗의 비전을 실현하기 위한 초석이 될 것이다.

스냅의 CEO 에반이 제품 디자이너 출신인만큼 스냅은 디자인 중심의 회사였다. 하지만 회사와 팀이 성장하면서 데이터를 활용해서 제품 개선을 이끌어내려는 노력도 활발하게 이루어지고 있다. 특히 엔지니어들이 주축이 되어 만들어진 SF오피스는 실리콘 벨리의 데이터중심 문화를 제품 디자인에 강한 LA 본사의 문화와 접목시키려는 시도를 꾸준히 해왔고, 실제로 지금은 스냅에서 데이터과 디자인이 혁신의 두 축으로 확고히 자리잡았다.

스냅과 같이 젊은 회사의 데이터과학자로 일하는 것은 바쁜 일이다. 업무 영역도 넓고 제품 자체도 끊임없이 진화하기 때문이다. 하지만 필자가 일하는 SF 오피스의 동료들은 스냅챗 사용자들 만큼이나 열정적인 사람들이다. 지난번 글에서도 밝혔지만 열정적인 사람들 곁에서 일하다보면 자연스럽게 열심히 일하게 된다. 하지만 실리콘밸리의 많은 회사들처럼 회사의 문화는 매우 자유로운 편이라 언제 어디서 일을 하던지 별로 신경쓰지 않는 편이다. 출퇴근 거리가 긴 필자의 경우 일주일에 하루 이틀은 집에서 일하고 있다.

스냅의 SF오피스는 만들어진지 2년이 채 안되었고 검색 및 추천 등 스냅의 핵심 데이터 프로덕트를 담당하는 많큼 구글, 페이스북 등 더 크고 안정적인 회사에 있다가 새로운 도전을 찾아 스냅챗에 조인한 엔지니어들이 많다. 검색 및 추천과 관련된 프론트엔드 개발 및 머신러닝도 SF오피스에서 담당하고 있다. 스냅의 SF오피스에서는 올해도 계속 규모를 키울 계획으로 꾸준히 개발자 및 데이터 과학자를 채용하고 있으니 관심있는 분들은 필자에게 연락 바란다! (jink at snap dot com)

맺음말

1년 전 MS에서 입사 5년을 앞둔 필자의 삶은 참으로 편안했다. 익숙한 환경에서 연구자로서 보람있는 일을 하면서 논문도 쓰고, 남는 시간에 시애틀 주변의 아름다운 자연을 즐기며 편안하게 사는 삶도 나쁘지 않았을 것이다. 하지만 필자는 도전을 선택했고, 지금은 그 결과에 만족한다. 같이 MS에서 일하던 필자의 아내도 출산을 마치고 회사를 옮겨 지금은 넷플릭스에 국제화 담당 PM으로 일하고 있다. 게다가 이제 9개월이 된 필자의 딸 애린이도 무럭무럭 자라고 있으니 감사할 일이 많은 한해였다.

회사일만 하기에도 바쁜 일상이지만, 필자는 데이터를 통해 몸담은 회사 뿐만 아니라 세상에 공헌하는 활동을 꾸준히 실천하려고 한다. 이런 이유로 MS에 근무하고 있을 때는 밤마다 글을 써서 헬로 데이터 과학을 출간했지만, 지금은 그런 사치는 허락되지 않는다. 대신 주말마다 동종 업계의 전문가 분들과 데이터 지능 팟캐스트를 녹음하는 것으로 소통의 욕구를 충족시키고 있다. 필자와 여러 데이터 전문가들이 들려주는 데이터 과학과 인공지능 이야기가 궁금한 분들은 데이터 지능 팟캐스트를 꼭 듣기 바란다.

추신: 본 글은 필자 개인의 의견으로 Snap Inc.의 의견을 대변하지는 않습니다.