시스템을 단계별로 설계할 수 있는 7단계 접근법

복잡한 머신러닝 시스템을 탄탄하게 설계하려면 단계별로 무너지지 않게 틀을 만드는 것이 중요합니다. 앞서 나온 관련 도서 《가상 면접 사례로 배우는 대규모 시스템 설계 기초 1, 2》에서는 5단계 접근으로 대규모 시스템을 설계했다면, 머신러닝 시스템은 7단계 접근법에 따라 단계별로 설계합니다.

요구사항 명확화 (1단계)

면접 상황에서 ‘유튜브와 같은 동영상 검색 시스템을 설계하시오’라는 질문을 받았다고 가정해 봅니다. 이런 질문을 받거나 실제로 설계해야 하는 상황을 맞이하면 막막하게 느껴질 수 있습니다. 광범위한 문제를 두고 우리가 우선적으로 해야 하는 일은 내용을 정확하게 파악하는 것입니다.

지원자: 입력 쿼리는 텍스트만 가능한가요, 아니면 사용자가 이미지나 동영상으로 검색할 수 있나요?
면접관: 텍스트 쿼리만 가능합니다.

지원자: 플랫폼의 콘텐츠는 동영상 형태로만 제공되나요? 이미지나 오디오 파일은 어떤가요?
면접관: 플랫폼은 동영상만 제공합니다.

지원자: 유튜브 검색 시스템은 매우 복잡합니다. 동영상의 관련성은 시각적 콘텐츠와 텍스트 데이터(제목, 설명 등)만으로 결정된다고 가정해도 되나요?
면접관: 예, 그렇습니다.

지원자: 사용할 수 있는 학습 데이터가 있나요?
면접관: 예, 천만 쌍의 <동영상, 텍스트 쿼리>가 있다고 가정하겠습니다.

지원자: 검색 시스템에서 다국어를 지원해야 하나요?
면접관: 간단하게 하기 위해 영어만 지원된다고 가정하겠습니다.

(중략)

머신러닝 작업으로 문제를 구조화 (2단계)

시스템의 요구사항을 파악했다면 문제 해결에 앞서 우리가 해야 할 것은 문제를 명확히 찾고 정의하는 것입니다. 특히나 머신러닝 문제를 해결하기 위해서는 문제의 구조를 잘 정의하는 것이 매우 중요합니다.

머신러닝 시스템을 설계하려면 주어진 문제의 ‘비즈니스 목표’를 정하고, 이어서 비즈니스 목표를 기계가 이해할 수 있는 잘 정의된 ‘머신러닝 목표’로 한 번 더 전환해야 합니다. ‘동영상 검색 시스템’의 경우에는 관련 있는 유용한 결과를 비즈니스 목표로 생각하고, 텍스트 쿼리와의 관련성에 따라 동영상 순위를 매기는 방식으로 머신러닝 목표로 전환할 수 있습니다.


데이터 준비 (3단계)

데이터 준비 단계에서는 데이터 엔지니어링과 피처 엔지니어링을 통해 본격적으로 시스템을 상세하게 설계합니다. 이후 단계에도 책에는 각 설계 단계마다 필요한 지식과 노하우가 빼곡히 담겨 있으며, 큰 그림을 그리며 구조를 짜는 법을 독자들에게 안내합니다. 저자가 소개하는 7가지 접근법을 차근차근 따라가며 설계 근육을 키우면, 어떤 머신러닝 시스템이라도 설계할 수 있을 것입니다.

렘브란트가 그린 초상화를 가까이서 보면 그의 섬세한 붓 터치에 감탄하게 됩니다. 하지만 한 걸음 물러서서 보면 강렬한 명암으로 가득 찬 화면 구성이 그를 당대 최고의 초상화 화가로 만들었음을 알 수 있습니다. 머신러닝 시스템도 비슷한 것 같습니다. 처음 머신러닝을 배울 때는 대부분 모델을 만드는 코드에 초점을 맞추게 됩니다. 하지만 제품을 만들려면 머신러닝 모델은 물론 이를 포함한 전체 시스템을 설계할 수 있어야 합니다. 이 책은 가상의 면접 사례를 들어 머신러닝 시스템의 설계 방법을 설명하지만, 취업을 준비하는 사람에게만 해당하는 책은 아닙니다. 머신러닝 모델을 최종 사용자에게 멋지게 서비스하고 싶은 엔지니어인가요? 그렇다면 이 책은 바로 여러분의 책입니다.
– 박해선 (Microsoft AI MVP, 《혼자 공부하는 머신러닝+딥러닝》 저자)

결국 우리가 만드는 모든 것은 시스템의 일부가 되기 때문에, 처음부터 시스템적 관점으로 전체를 바라보는 습관을 들여야만 실제 가치 창출로 이어질 수 있습니다. 다만, 수많은 구성 요소로 이루어진 시스템을 실제 경험 없이 속속들이 정교하게 파헤치고 더 나아가 설계하기는 불가능에 가깝습니다. 이 책은 우리가 친숙하게 접하는 다양한 실제 시스템을 예로 들며 시스템적인 사고를 실험적으로, 그리고 체계적으로 해 나가는 힘을 키워 줍니다. 특히 머신러닝의 도입으로 더욱 복잡해진 현대적인 시스템을 이해하는 데 큰 도움이 될 것입니다.
– 박찬성 (구글 공인 개발자 전문가(ML GDE), 텐서플로 코리아 커뮤니티 운영진)

목차

1장 소개 및 개요
2장 시각 검색 시스템
3장 구글 스트리트 뷰 블러링 시스템
4장 유튜브 동영상 검색
5장 유해 콘텐츠 감지
6장 동영상 추천 시스템
7장 이벤트 추천 시스템
8장 소셜 플랫폼 광고 클릭 예측
9장 여행 예약 플랫폼의 유사 상품 추천
10장 맞춤형 뉴스 피드
11장 친구 추천

이 시리즈의 다른 책에 대해 더 알고 싶다면 다음 블로그 글을 참고해 주세요.

《가상 면접 사례로 배우는 대규모 시스템 설계 기초》
《가상 면접 사례로 배우는 대규모 시스템 설계 기초 2》

《가상 면접 사례로 배우는 머신러닝 시스템 설계 기초》는 서점에서 구입하실 수 있습니다.

교보문고 | YES24 | 알라딘

《가상 면접 사례로 배우는 머신러닝 시스템 설계 기초》 정오표