수출 상품 설명과 HS 코드를 정제하여, 같은 상품(상품명 · 숫자와 단위를 제거한 상품명 · 8자 이상 개요 중 하나가 같은 행)이 학습과 평가에 중복되지 않도록 분할한 분류 학습 데이터입니다.
지금 선택 21류 기타 조제 식료품 · 474행 · 주요 변동 사례
주요 변동 사례 결과 보기
탐지 규칙
학습 데이터 행이 많은 HS 류 상위 6개. 판정 문장은 측정값으로 만든 규칙 문장이며 원인을 단정하지 않습니다.구성 내용
21류 기타 조제 식료품: 학습 데이터 474행(전체의 4.7%). 학습 393 · 검증 44 · 평가 37.
21류 기타 조제 식료품 안의 6자리 HS 코드(상위 8) 표로 보기
구분 행 210690 기타 287 210390 기타 85 210410 수프ㆍ브로드(broth)와 수프ㆍ브로드(broth)용 조제품 28 210610 단백질 농축물과 텍스처화한(textured) 단백질계 물질 17 210130 볶은 치커리(chicory)ㆍ그 밖의 볶은 커피 대용물과 이들의 추출물(extract)ㆍ에센스(essence)ㆍ농축물 15 210120 차나 마테(maté)의 추출물(extract)ㆍ에센스(essence)ㆍ농축물, 이들을 기본 재료로 한 조제품, 차나 마테(maté)를 기본 재료로 한 조제품 14 210111 추출물(extract)ㆍ에센스(essence)ㆍ농축물 10 2103100000 간장 6 레이블 결정 기준
연결 기준HS 코드 → 류레이블 단위: 이 류 안에 6자리 HS 코드가 13종 있습니다. 최다 코드 210690(기타)가 61%입니다. 팩은 6자리 대신 류(2자리)를 정답으로 사용하여 희소 코드 문제를 완화하였습니다.
학습 · 평가 분할
연결 기준분할평가 구간 상품명 가운데 같은 류의 학습 구간과 똑같은 이름은 0건입니다(상품명 · 개요 그룹으로 분할하여 중복을 방지).
차트 보기 — 이 류의 분할별 행 수
이 류의 분할별 행 수 표로 보기
구분 행 학습 393 검증 44 평가 37 팩 안의 근거 행
연결 기준source_row_uid평가 구간 행 5개입니다.
근거 행 · 코드 보기
상품명 HS 코드 분할 source_row_uid Abalone Chowder 210410 test 10154_1e62382d Salted Hairtail Dumpling Mandu 210500 test 10232_6a1fb171 HongIk Herbal Store Korean Panax Ginseng 210690 test 181_b8ba3548 YORIT Savory Seasoning 210390 test 2497_553b3ed2 YORIT Spicy Seasoning 210390 test 2499_e013f50d import pandas as pd d = pd.read_csv("data/product_hs_dl.csv", dtype={"label": str}) d[d.label == "21"].groupby("split").size()재현: 팩 압축 해제 폴더의
data/product_hs_dl.csv원본 파일로 처리할 때
원천 파일로 같은 결론을 얻으려면 필요한 작업
- HS 코드의 앞자리 0 손실 · 미확정 코드를 탐지하여 별도 보관
- 같은 상품이 학습과 평가에 함께 포함되지 않도록 상품명 · 개요 그룹으로 분할
- 희소한 류(20건 미만) 구분
이 팩에서는
- product_hs_dl 표 1개에 입력(text) · 정답(label) · 분할 포함
- 보류한 805행은 사유와 함께 withheld-records.csv에 수록
- 기준선 정확도(최빈 류 30.6% · 단어 분류기 74.1%) 함께 수록
이 팩으로 확인할 수 없는 것: 레이블은 기업이 등록한 HS 코드이므로 오분류가 포함될 수 있습니다. 류별 정확도는 팩에 포함되어 있지 않습니다.
조건별 탐색 결과 보기
자동 요약은 규칙 기반 문장입니다(생성형 AI 미사용).
요약 차트
팩으로 집계한 결과 · 펼치기
AI Ready Data(AIRD) 처리 내용
- 01 정제HS 2022 기준으로 변환 · 자릿수 검사
- 02 보류판별 불가 · 자릿수 부족 · 원천 오류 · 중복 · 희소 류 805건
- 03 분할상품명 · 개요 그룹 기준 학습 · 검증 · 평가
원본으로 받을 때와 비교 · 상품명 · 개요 그룹으로 분할한 구간 자세히
| 원본을 내려받으면 직접 처리해야 하는 작업 | 이 팩에서는 |
|---|---|
| HS 코드 앞자리 0 누락으로 류 오판독 | 자릿수 이상 행은 사유와 함께 보류 |
| HS 2017 · 2022 코드 혼재 | HS 2022 기준으로 변환(예 340220 → 340250) |
| 같은 상품의 학습 · 평가 중복으로 성능 과대평가 | 상품명 그룹 분할 · 겹침 0건 점검 |
| 표본이 적은 류로 인한 평가 결과 불안정 | 20건 미만 류 제외 · 모든 류가 학습에 포함 |
| 모델 성능을 판단할 기준선이 없음 | 최빈값 · 단어 분류기 기준선 제공 |
상품명 · 개요 그룹으로 분할한 구간
- 학습 8,124행 · 81.1%
- 검증 943행 · 9.4%
- 평가 951행 · 9.5%
이름이 같은 변형 상품이 학습과 평가에 동시에 포함되지 않도록 하였습니다. 중복될 경우 모델이 학습한 답을 그대로 맞혀 평가 점수가 과대 산정됩니다.
효과 근거 · 점검
원본 HS 코드를 그대로 레이블로 쓰면 7.4%(805건)에 앞자리 0 손실 · 미확정 코드 · 중복 · 희소 류 문제가 남습니다. 팩은 이 행을 사유와 함께 별도로 보관하고(학습용 10,018행 + 보류 805행), 같은 상품이 학습 · 평가에 중복되지 않도록 분할했습니다.
효과 판단 근거: 원본 레이블의 7.4%(805건) 결함 행 분리 · 학습과 평가에 겹친 상품 0건
점검 8항목 · 통과 8 항목별 결과 보기
| 점검 항목 | 결과 | 값 |
|---|---|---|
| 표준 필수 메타데이터와 목적별 필수 항목 | 통과 | 모두 기재 |
| 원천이 모두 품질 확인 단계 | 통과 | Quality-Ready |
| 학습 · 검증 · 평가 분할 | 통과 | 학습 81.1% · 검증 9.4% · 평가 9.5% |
| 정답(레이블) 빈 값 | 통과 | 0건 |
| 입력 항목(특성) | 통과 | 1개 |
| 분류 코드 대응표 | 통과 | 포함 |
| 데이터 누수 점검 | 통과 | 5/5종 통과 |
| 비교 기준(기준선) 성능 | 통과 | 2종 기록 |
받아서 쓰기 실험 재현
팩 zip 하나를 내려받아 엑셀이나 분석 도구로 열 수 있습니다 — 팩 내려받기 2.8 MB. 코드나 AI 에이전트로 활용하는 방법은 아래에서 설명합니다.
코드 · AI 에이전트로 쓰기 개발자용
코드로
- 팩 내려받기 product-hs-DL-1.0.0.zip 2.8 MB
- 압축을 풀고 폴더로 이동
cd product-hs-DL
- 필요한 패키지 설치 팩의 guide/requirements.txt
pip install pandas==2.3.3 pyarrow==25.0.1 scikit-learn==1.7.2
- 실행
import pandas as pd d = pd.read_parquet("data/product_hs_dl.parquet") train, test = d[d.split == "train"], d[d.split == "test"] # 입력 text → 정답 label(HS 류 2자리) - 실행 결과
d: 10,018행 × 11열 train: 8,124행 × 11열 test: 951행 × 11열
실행 환경: Python 3.13.16 · pandas 2.3.3 · pyarrow 25.0.1
추가 예시: guide/notebook.ipynb
팩에 포함된 파일
CSV · Parquet 각 1종 · 류 대응표 · 2.8 MB
파일 목록 1개 + 설명 · 검증 파일 4개 보기
| 데이터 파일 | 대상 | 크기 | 형식 |
|---|---|---|---|
| data/product_hs_dl | 입력 text(상품명 + 개요) · 정답 label(HS 류) | 10,018행 · 11열 | CSVPARQUET |
설명 · 검증 파일
- 표준 메타데이터 · 파일별 무결성 값(manifest.json)
- 목적 적합성 판정(G3) · 점검 결과
- 시작 노트북(guide/)
- README(만든 방법 · 한계)
팩 zip 무결성 값(SHA-256) 66c2d5e279c51f9898559b040a4b526cd1824ba6a68ed079451a3a730879c38a
이 팩을 만든 원천 1종
원천 목록 1종 데이터 · 기관 · 포함된 행 보기
| 원천 데이터 | 기관 | 팩에 포함된 행 |
|---|---|---|
product_hs_dl 입력 text(상품명 + 개요) · 정답 label(HS 류) | ||
| 대한무역투자진흥공사_바이코리아 등록상품 정보 이 선택 | 대한무역투자진흥공사 | 10,018행 |
이 팩으로 가능한 분석
수출 품목 분류 도우미
상품 설명을 입력하면 HS 류를 추천하여 수출 신고 준비를 지원하는 모델을 학습할 수 있습니다.
다른 품목 데이터와 연결
HS 류로 무역 통계나 HSK 품목분류 데이터와 연결하여 상품 단위 분석으로 확장할 수 있습니다.
유의점 레이블은 등록 기업이 입력한 HS 코드이므로 오분류가 있을 수 있습니다. 33류(화장품) 비중이 30%로 불균형이 있고, 설명은 영문만 있습니다.