유통 가격·재고 실시간 모니터링

문제

이 고객사는 자사 제품을 복수의 유통 채널에 공급하고 있었습니다. 문제는 채널마다 가격과 재고 정보를 확인하는 방법이 달랐다는 점입니다. 담당자는 매일 각 채널의 관리자 페이지에 직접 접속해 현황을 확인하고 스프레드시트에 수작업으로 옮겨 비교했습니다.

이 방식으로는 실시간 모니터링이 불가능했습니다. 가격이 설정 기준을 벗어났거나, 재고가 임계치 아래로 내려갔을 때 담당자가 직접 확인하지 않으면 알 방법이 없었습니다. 특정 채널에서 가격 이탈이 발생하거나 재고 부족이 이미 일어난 뒤에야 인지하는 상황이 반복되었습니다.

채널 수가 늘어날수록 이 문제는 더 커졌습니다. 담당자 한 명이 매일 확인해야 하는 관리자 페이지가 늘어나면서 채널별 확인 주기 자체가 느슨해졌고, 그 사이에 발생한 가격 이탈이나 결품은 다음 확인 시점까지 방치될 수밖에 없었습니다. 채널이 두세 곳일 때는 수작업 비교로도 버틸 만했지만, 채널이 늘어나는 속도를 사람이 확인하는 속도가 따라가지 못하는 구조적인 한계에 부딪힌 상황이었습니다.

접근

각 유통 채널의 웹 인터페이스를 크롤링하여 가격·재고 데이터를 정기적으로 수집하는 파이프라인을 구축했습니다. 채널마다 구조가 다르기 때문에, 각 채널에 맞는 파서를 개별적으로 작성하되 수집 스케줄과 저장 로직은 공통 레이어로 추상화했습니다.

수집된 데이터는 시계열 구조로 저장되며, 담당자가 채널별·상품별로 현황을 한눈에 볼 수 있는 대시보드에 연결됩니다. 이상 변동 감지는 가격 기준 범위와 재고 임계치를 설정값으로 관리하고, 해당 조건을 벗어나는 항목이 발생하면 담당자에게 슬랙 또는 이메일 알림이 즉시 발송됩니다.

크롤러는 각 채널의 서버 부하를 고려해 요청 간격을 조절하도록 설계했습니다. 채널 구조 변경이 발생하더라도 파서만 수정하면 되도록 채널별 수집 로직을 모듈화해 유지보수 부담을 낮췄습니다.

이 구조 덕분에 새로운 유통 채널이 추가되더라도 공통 레이어는 그대로 두고 해당 채널의 파서만 새로 작성하면 됩니다. 크롤링 대상이 늘어나는 것과 시스템 전체를 다시 설계하는 것은 별개의 문제이며, 파서와 공통 로직을 분리해 둔 이유도 여기에 있습니다.

결과

담당자가 매일 여러 채널을 순회하며 수작업으로 현황을 취합하던 루틴이 사라졌습니다. 대시보드 하나에서 전 채널의 가격·재고 상태를 실시간으로 확인할 수 있게 되었습니다.

이상 변동이 발생하는 즉시 알림이 전달되기 때문에, 사후 대응이 아닌 즉각 대응이 가능해졌습니다. 수집 주기 안에서 채널 간 가격·재고 현황의 격차를 구조적으로 관리할 수 있는 기반이 마련되었습니다.

이전에는 문제가 이미 발생한 뒤에야 원인을 되짚어보는 방식이었다면, 지금은 시계열로 쌓인 수집 데이터를 바탕으로 특정 채널의 가격 변동 패턴이나 재고 소진 흐름을 되돌아볼 수 있는 근거도 함께 마련되었습니다.

자주 묻는 질문

채널마다 크롤러를 따로 만들어야 하는 이유는 무엇인가요?

유통 채널마다 관리자 페이지의 구조와 데이터 노출 방식이 다르기 때문에, 하나의 크롤러로 모든 채널을 동일하게 처리할 수 없습니다. 대신 채널별 파서만 개별적으로 작성하고, 수집 스케줄과 저장 로직 같은 공통 부분은 하나의 레이어로 묶어 재사용합니다. 이렇게 하면 채널이 늘어나도 공통 구조를 다시 만들 필요 없이 파서만 추가하면 됩니다.

가격·재고 알림 기준은 어떻게 정하나요?

담당자가 상품별로 허용 가격 범위와 재고 임계치를 설정값으로 등록해두면, 수집된 데이터가 그 범위를 벗어날 때만 슬랙 또는 이메일 알림이 발생합니다. 기준값은 상품이나 채널 특성에 따라 다르게 관리할 수 있어, 모든 상품에 동일한 규칙을 강제하지 않습니다.

크롤링이 채널 운영 서버에 부담을 주지는 않나요?

각 채널의 서버 부하를 고려해 요청 간격을 조절하도록 설계했습니다. 짧은 시간에 대량 요청을 보내는 방식이 아니라, 정해진 수집 주기 안에서 채널별로 안전한 속도로 데이터를 가져오는 구조입니다.

새로운 유통 채널이 추가되면 시스템을 처음부터 다시 만들어야 하나요?

아니요. 수집 스케줄과 저장, 대시보드 연동 같은 공통 레이어는 그대로 유지한 채 새 채널에 맞는 파서만 추가하면 됩니다. 채널별 수집 로직을 모듈화해 둔 이유가 바로 이 확장성 때문입니다.