"중 2개요", "대2 서천", "2팩 맵게 부탁해요". 공동구매 카페의 주문 댓글은 이렇게 생겼습니다. 사람은 한눈에 읽지만 프로그램에게는 옵션·수량·픽업 지점·요청 사항이 뒤섞인 비정형 문장입니다. 카페 댓글 주문 정리 도구를 만들며 이 해석 문제를 규칙과 LLM을 겹친 2단 파서로 풀었습니다. 그 설계와 두 방식의 경계를 어디에 그었는지를 정리합니다.
댓글 주문 파싱의 지형: 대부분은 정형, 꼬리가 비정형
실제 댓글을 모아 보면 분포가 보입니다. 대부분의 주문은 몇 가지 패턴("옵션+수량", "수량+팩", "옵션 붙여쓰기") 안에 들어오고 소수의 꼬리가 자유 문장입니다. 이 분포가 설계를 결정했습니다. 다수의 정형 댓글에 LLM을 태우는 것은 낭비고 소수의 비정형 댓글을 규칙으로 다 받아내려는 것은 무모합니다.
그래서 2단입니다. 1단은 정규식 기반 규칙 파서로 옵션 표기, 수량 패턴, 픽업 지점 키워드, 요청 사항을 추출합니다. 추출 결과에는 확신도가 붙고 확신도가 기준(0.8)을 넘으면 그대로 채택합니다. 기준에 못 미치는 댓글만 2단으로 넘어가 LLM이 구조화합니다.
LLM 단의 설계: 출력을 좁히고, 낮은 온도로
LLM 파싱에서 중요한 것은 프롬프트의 화려함이 아니라 출력의 구속입니다. 우리는 응답을 JSON 형식(옵션, 수량, 픽업 지점, 요청 사항)으로 강제하고 생성 온도를 낮게 잡아 같은 입력에 같은 답이 나오는 방향으로 눌렀습니다. 해석이 필요한 것이지 창의가 필요한 것이 아니기 때문입니다.
모델은 경량 대화 모델이면 충분했습니다. 필드 네 개를 채우는 좁은 작업에서 대형 모델과의 격차는 크지 않고 댓글 수백 개를 처리하는 도구에서는 응답 속도와 비용이 품질만큼 중요합니다. 같은 판단을 정책 공고 분류에서도 했는데, 그 이야기는 LLM 데이터 분류 자동화에 있습니다.
실패는 빨간 표시로: 추정 금지의 원칙
2단을 거쳐도 해석이 안 되는 댓글이 남습니다. 문의성 댓글, 주문 취소, 애매한 표현. 이 잔여를 어떻게 다루느냐가 파서의 신뢰를 결정합니다.
우리 원칙은 추정 금지였습니다. 해석 실패 댓글은 기본값으로 채우지 않고 "확인 필요" 플래그를 달아 목록에서 빨간 배경으로 표시했습니다. 운영자는 빨간 행만 원문과 대조해 직접 입력하면 됩니다. 수백 개 중 몇 개의 확인은 부담이 아니지만 조용히 잘못 해석된 주문 하나는 배송 사고가 됩니다. 실패를 드러내는 이 설계는 정산 시스템의 미매칭 큐 설계와 같은 철학입니다.
| 단계 | 처리 | 대상 |
|---|---|---|
| 1단 규칙 | 정규식 추출 + 확신도 | 정형 패턴 다수 |
| 2단 LLM | JSON 강제 · 저온도 구조화 | 확신도 미달 비정형 |
| 잔여 | "확인 필요" 표시, 추정 금지 | 해석 불능 소수 |
하이브리드의 실리: 비용, 결정론, 그리고 개선 경로
이 구성의 장점은 세 가지로 요약됩니다. 첫째, 비용입니다. LLM 호출이 확신도 미달 건으로 한정되어 API 비용이 댓글 수가 아니라 비정형 비율에 비례합니다. 둘째, 결정론입니다. 다수 건이 규칙으로 처리되므로 같은 댓글은 언제나 같은 결과가 나오고 문제가 생겨도 재현됩니다. 셋째, 개선 경로입니다. LLM 단과 확인 필요 큐에 걸리는 댓글을 관찰하면 새 패턴이 보이고 그것을 규칙으로 승격하면 파서가 운영할수록 좋아집니다.
반대로 순수 LLM 파싱이 맞는 경우도 있습니다. 발신자가 불특정 다수이고 표현의 분포가 수렴하지 않는 채널이라면 규칙 유지보수가 LLM 비용을 넘어섭니다. 파서 구성은 도그마가 아니라 입력 분포의 함수입니다. B2B 거래처 방처럼 표현이 수렴하는 채널에서 순수 규칙 파서를 선택한 사례는 메신저 주문 파싱 설계에서 볼 수 있습니다.
이 파서가 들어간 도구의 전체 이야기와 결국 이 해석 단을 출시본에서 단순화한 결정까지는 카페 댓글 주문 정리 자동화 사례에서 다룹니다.
자주 묻는 질문
댓글 주문 파싱에 LLM만 쓰면 안 되나요?
가능하지만 대부분 비효율입니다. 주문 댓글의 다수는 정형 패턴이라 규칙으로 처리하는 것이 빠르고 결정적이며 무료입니다. LLM은 규칙이 못 잡는 비정형 꼬리에만 쓰는 하이브리드가 비용과 신뢰 모두에서 유리합니다. 입력의 표현 분포가 수렴하지 않는 채널일 때만 LLM 중심 구성을 검토하세요.
파싱이 틀리면 배송 사고로 이어지지 않나요?
그래서 추정 금지가 원칙입니다. 규칙과 LLM 모두에서 확신을 얻지 못한 댓글은 자동 채택하지 않고 "확인 필요"로 표시해 사람이 원문을 보게 합니다. 소수의 수동 확인은 운영 비용이지만 조용한 오해석은 사고 비용입니다.
확신도 기준은 어떻게 잡나요?
오해석의 비용과 수동 확인의 비용을 저울질해 정합니다. 주문처럼 틀리면 실물 피해가 있는 도메인은 기준을 높게 잡아 애매한 건을 사람에게 넘기는 쪽이 안전합니다. 운영하며 확인 필요 큐의 규모를 보고 기준을 조정하면 됩니다.
새로운 주문 표현이 나타나면 어떻게 하나요?
LLM 단과 확인 필요 큐가 자연스러운 수집 창구가 됩니다. 거기 걸린 댓글에서 반복되는 표현을 규칙으로 승격하면 1단 처리율이 올라가고 비용은 내려갑니다. 파서를 고정된 완성품이 아니라 운영하며 자라는 규칙 체계로 보는 것이 맞습니다.