자료를 자동으로 모을 수 있다는 이유로 모든 값을 저장하면 나중에 어떤 필드가 의사결정에 쓰이는지 설명하기 어렵습니다. 수집 설계는 도구 선택보다 먼저 결과를 읽을 사람과 질문을 정의하는 일에서 시작합니다.
각 항목에 이름, 의미, 자료형, 출처, 갱신 주기, 비어 있을 때 처리 방식을 적습니다. 예를 들어 게시 날짜는 원문에 표시된 날짜인지 수집 시각인지 구분합니다. 조회수라면 어느 화면의 숫자인지와 갱신 시점을 명시합니다. 값이 없을 때 0을 넣으면 실제로 0인 경우와 누락된 경우를 구별할 수 없으므로 상태를 따로 둡니다.
수집 전에는 접근 권한과 이용 조건을 확인하고, 개인 정보를 포함하는 항목은 목적과 보관 기간을 따져 최소화합니다. 같은 페이지에 게시물이 여러 개 있다면 고유 식별 방법을 정해 중복 수집을 막습니다. 원본 구조가 바뀌어 필드가 빈칸으로 들어오는 상황을 발견할 알림도 마련해야 합니다.
작은 표본을 수동으로 대조해 값이 정확히 들어오는지 시험합니다. 수집 성공 건수만으로 품질을 판단하지 않고 숫자의 의미와 실제 화면을 비교합니다. 항목 정의서가 있으면 작업자가 바뀌어도 같은 값을 같은 뜻으로 다룰 수 있습니다.
수집 항목의 이름이 같아도 서비스마다 단위가 다를 수 있습니다. 금액에는 통화와 세금 포함 여부, 시간에는 시간대와 표기 형식을 정합니다. 한 번 수집한 값이 나중에 바뀌었을 때 덮어쓸지 변경 이력을 남길지도 사용 목적에 따라 결정합니다. 작은 시험 기간 동안 누락률을 살펴본 뒤 본격 운영 범위를 늘리는 것이 좋습니다.
수집 결과를 공유할 때에는 원본 링크와 수집 시각을 함께 남겨 재확인할 수 있게 합니다.