지도 데이터를 다루는 일을 맡으면 가장 먼저 공식 API를 떠올립니다. 정식으로 제공되는 창구이니 안정적이고 다루기도 편합니다. 그런데 한 지역의 업체를 하나도 빠짐없이 모아야 하는 일에서는 이 편리함이 벽으로 바뀝니다. 해외 업체 리스트를 대량으로 확보해야 하던 사업자도 처음에는 API로 시작했다가 이 벽에 막혀 수집 도구를 새로 만들게 됐습니다. 두 방식의 차이를 실무 기준으로 정리합니다.
API가 잘 맞는 자리
먼저 공식 API가 확실히 나은 자리부터 짚는 것이 공정합니다. 특정 업체 하나의 상세 정보를 정확히 가져와야 할 때, 사용자가 입력한 주소를 좌표로 바꿔야 할 때, 내 서비스 화면에 지도를 얹고 주변 몇 곳을 추천해 줄 때는 API가 정답입니다. 정식 창구인 만큼 응답 형식이 안정적이고 약관 안에서 마음 편히 쓸 수 있습니다. 소량의 정확한 조회, 실시간 상호작용, 서비스에 지도를 내장하는 용도라면 굳이 다른 길을 찾을 이유가 없습니다.
문제는 목적이 열람이 아니라 망라일 때 드러납니다. 어느 도시의 특정 업종 업체를 한 벌의 목록으로 전부 확보하는 일, 즉 시장 조사나 리스트업이 그렇습니다. 이때 필요한 것은 정확한 한 건이 아니라 빠짐없는 전체인데, API는 바로 이 지점에서 잘립니다.
개수 제한이라는 벽
한 키워드로 한 지역을 조회하면 돌려주는 결과가 스무 개 안팎에서 멈춥니다. 넓은 도시에 그 업종이 수천 곳이어도 한 번의 조회로는 그 일부만 손에 들어옵니다. 그래서 예전 방식은 이걸 키워드 폭증으로 뚫었습니다. 주소를 잘게 쪼개 동 단위, 블록 단위로 좌표를 만들고 거기에 온갖 업종 키워드를 곱해 수백 수천 개의 조합을 돌리는 식입니다. 조합을 늘릴수록 누락은 줄지만 완전히 사라지지는 않고 대신 같은 업체가 여러 조합에 중복으로 잡혀 결과를 합치고 정리하는 일이 새로 생깁니다.
이 방식의 근본 문제는 어디를 얼마나 잘게 쪼갤지를 사람이 미리 정해야 한다는 데 있습니다. 도심은 더 촘촘히, 외곽은 성기게 나눠야 효율적인데 밀도를 모르니 감으로 격자를 긋게 됩니다. 촘촘히 그으면 빈 조회가 넘치고 성기게 그으면 누락이 남습니다. 키워드와 좌표의 곱으로 망라를 흉내 내는 접근은 태생적으로 이 딜레마를 안고 있습니다.
공개 검색 결과를 훑는 접근
그래서 택한 방향은 사람이 지도를 쓰는 방식 그대로 공개된 검색 결과를 훑는 것입니다. 지도 화면에서 업종을 검색하고 목록을 스크롤해 내려가며 뜨는 업체를 읽어 담습니다. 여기에 앞서 말한 개수 제한을 역이용하는 장치를 얹습니다. 넓게 보면 잘리니, 각 조회 화면이 그 한계 아래로 내려올 때까지 지역을 좁히는 것입니다. 붐비는 칸은 자동으로 더 잘게 쪼개고 한산한 칸은 성기게 두는 이 방식은 적응형 그리드 수집에서 자세히 다룹니다.
두 방식은 우열이 아니라 용도가 다릅니다. 정확한 소량 조회와 서비스 내장은 API가, 한 구역의 빠짐없는 망라는 공개 검색 결과 수집이 맞습니다. 다만 후자를 택할 때는 책임이 따릅니다. 로그인이나 우회로 제한을 뚫는 것이 아니라 사람의 열람 속도에 가깝게 움직이고 조회 간격을 두며 접속이 과하다는 신호에는 물러서는 예절이 전제되어야 합니다. 이 부분은 크롤링 예절과 안정성에서 이어집니다. 전체 시스템은 지도 업체 정보 수집 자동화 사례에 있습니다.
자주 묻는 질문
공식 API로는 전체 목록을 못 만드나요?
한 조회당 돌려주는 개수에 제한이 있어 넓은 지역의 업체를 한 번에 빠짐없이 받기는 어렵습니다. 지역과 키워드를 잘게 쪼개 여러 번 조회하면 어느 정도 메울 수 있지만 누락과 중복이 남고 어디를 얼마나 쪼갤지 사람이 감으로 정해야 하는 한계가 있습니다.
그러면 API는 언제 쓰는 게 좋나요?
특정 업체의 상세 정보를 정확히 가져올 때, 주소를 좌표로 바꿀 때, 내 서비스에 지도를 얹고 주변을 보여줄 때처럼 정확한 소량 조회와 실시간 상호작용에는 API가 낫습니다. 목적이 한 구역의 망라가 아니라 열람이라면 정식 창구가 가장 편하고 안전합니다.
공개 검색 결과 수집은 합법인가요?
로그인 뒤 데이터가 아닌 공개된 검색 결과를 대상으로 하되, 서비스 약관과 상대 서버 부담을 반드시 함께 고려해야 합니다. 사람의 열람 속도에 가깝게 조회 간격을 두고 차단 신호에 물러서는 예절을 지키는 것이 전제이며 수집 범위와 용도도 그 안에서 판단해야 합니다.