수출 상품 설명과 HS 코드를 정제하여, 같은 상품(상품명 · 숫자와 단위를 제거한 상품명 · 8자 이상 개요 중 하나가 같은 행)이 학습과 평가에 중복되지 않도록 분할한 분류 학습 데이터입니다.
지금 선택 33류 화장품 · 향료 · 2,952행 · 주요 변동 사례
주요 변동 사례 결과 보기
탐지 규칙
학습 데이터 행이 많은 HS 류 상위 6개. 판정 문장은 측정값으로 만든 규칙 문장이며 원인을 단정하지 않습니다.구성 내용
33류 화장품 · 향료: 학습 데이터 2,952행(전체의 29.5%). 학습 2,370 · 검증 291 · 평가 291.
33류 화장품 · 향료 안의 6자리 HS 코드(상위 8) 표로 보기
구분 행 330499 기타 2,126 3305100000 샴푸 136 330590 기타 127 330790 기타 99 330410 입술화장용 제품류 99 330420 눈화장용 제품류 68 330300 향수와 화장수 64 3307490000 기타 54 레이블 결정 기준
연결 기준HS 코드 → 류레이블 단위: 이 류 안에 6자리 HS 코드가 21종 있습니다. 최다 코드 330499(기타)가 72%입니다. 팩은 6자리 대신 류(2자리)를 정답으로 사용하여 희소 코드 문제를 완화하였습니다.
학습 · 평가 분할
연결 기준분할평가 구간 상품명 가운데 같은 류의 학습 구간과 똑같은 이름은 0건입니다(상품명 · 개요 그룹으로 분할하여 중복을 방지).
차트 보기 — 이 류의 분할별 행 수
이 류의 분할별 행 수 표로 보기
구분 행 학습 2,370 검증 291 평가 291 팩 안의 근거 행
연결 기준source_row_uid평가 구간 행 5개입니다.
근거 행 · 코드 보기
상품명 HS 코드 분할 source_row_uid ASKIN Synergy Azulene Ampoule 100ml 330499 test 10066_cfede21a Allione Face Polish Peeling Gel Vanilla 330499 test 1006_f49d92b4 Allione Face Polish Peeling Gel Oriental 330499 test 1007_9430ebe4 Gyno Betacare Foam Type and Gel Type Wom 330730 test 10095_426682f8 Elujai Deep Collagen Real Eye Cream 330499 test 10120_37c84d1f import pandas as pd d = pd.read_csv("data/product_hs_dl.csv", dtype={"label": str}) d[d.label == "33"].groupby("split").size()재현: 팩 압축 해제 폴더의
data/product_hs_dl.csv원본 파일로 처리할 때
원천 파일로 같은 결론을 얻으려면 필요한 작업
- HS 코드의 앞자리 0 손실 · 미확정 코드를 탐지하여 별도 보관
- 같은 상품이 학습과 평가에 함께 포함되지 않도록 상품명 · 개요 그룹으로 분할
- 희소한 류(20건 미만) 구분
이 팩에서는
- product_hs_dl 표 1개에 입력(text) · 정답(label) · 분할 포함
- 보류한 805행은 사유와 함께 withheld-records.csv에 수록
- 기준선 정확도(최빈 류 30.6% · 단어 분류기 74.1%) 함께 수록
이 팩으로 확인할 수 없는 것: 레이블은 기업이 등록한 HS 코드이므로 오분류가 포함될 수 있습니다. 류별 정확도는 팩에 포함되어 있지 않습니다.
조건별 탐색 결과 보기
자동 요약은 규칙 기반 문장입니다(생성형 AI 미사용).
요약 차트
팩으로 집계한 결과 · 펼치기
AI Ready Data(AIRD) 처리 내용
- 01 정제HS 2022 기준으로 변환 · 자릿수 검사
- 02 보류판별 불가 · 자릿수 부족 · 원천 오류 · 중복 · 희소 류 805건
- 03 분할상품명 · 개요 그룹 기준 학습 · 검증 · 평가
원본으로 받을 때와 비교 · 상품명 · 개요 그룹으로 분할한 구간 자세히
| 원본을 내려받으면 직접 처리해야 하는 작업 | 이 팩에서는 |
|---|---|
| HS 코드 앞자리 0 누락으로 류 오판독 | 자릿수 이상 행은 사유와 함께 보류 |
| HS 2017 · 2022 코드 혼재 | HS 2022 기준으로 변환(예 340220 → 340250) |
| 같은 상품의 학습 · 평가 중복으로 성능 과대평가 | 상품명 그룹 분할 · 겹침 0건 점검 |
| 표본이 적은 류로 인한 평가 결과 불안정 | 20건 미만 류 제외 · 모든 류가 학습에 포함 |
| 모델 성능을 판단할 기준선이 없음 | 최빈값 · 단어 분류기 기준선 제공 |
상품명 · 개요 그룹으로 분할한 구간
- 학습 8,124행 · 81.1%
- 검증 943행 · 9.4%
- 평가 951행 · 9.5%
이름이 같은 변형 상품이 학습과 평가에 동시에 포함되지 않도록 하였습니다. 중복될 경우 모델이 학습한 답을 그대로 맞혀 평가 점수가 과대 산정됩니다.
효과 근거 · 점검
원본 HS 코드를 그대로 레이블로 쓰면 7.4%(805건)에 앞자리 0 손실 · 미확정 코드 · 중복 · 희소 류 문제가 남습니다. 팩은 이 행을 사유와 함께 별도로 보관하고(학습용 10,018행 + 보류 805행), 같은 상품이 학습 · 평가에 중복되지 않도록 분할했습니다.
효과 판단 근거: 원본 레이블의 7.4%(805건) 결함 행 분리 · 학습과 평가에 겹친 상품 0건
점검 8항목 · 통과 8 항목별 결과 보기
| 점검 항목 | 결과 | 값 |
|---|---|---|
| 표준 필수 메타데이터와 목적별 필수 항목 | 통과 | 모두 기재 |
| 원천이 모두 품질 확인 단계 | 통과 | Quality-Ready |
| 학습 · 검증 · 평가 분할 | 통과 | 학습 81.1% · 검증 9.4% · 평가 9.5% |
| 정답(레이블) 빈 값 | 통과 | 0건 |
| 입력 항목(특성) | 통과 | 1개 |
| 분류 코드 대응표 | 통과 | 포함 |
| 데이터 누수 점검 | 통과 | 5/5종 통과 |
| 비교 기준(기준선) 성능 | 통과 | 2종 기록 |
받아서 쓰기 실험 재현
팩 zip 하나를 내려받아 엑셀이나 분석 도구로 열 수 있습니다 — 팩 내려받기 2.8 MB. 코드나 AI 에이전트로 활용하는 방법은 아래에서 설명합니다.
코드 · AI 에이전트로 쓰기 개발자용
코드로
- 팩 내려받기 product-hs-DL-1.0.0.zip 2.8 MB
- 압축을 풀고 폴더로 이동
cd product-hs-DL
- 필요한 패키지 설치 팩의 guide/requirements.txt
pip install pandas==2.3.3 pyarrow==25.0.1 scikit-learn==1.7.2
- 실행
import pandas as pd d = pd.read_parquet("data/product_hs_dl.parquet") train, test = d[d.split == "train"], d[d.split == "test"] # 입력 text → 정답 label(HS 류 2자리) - 실행 결과
d: 10,018행 × 11열 train: 8,124행 × 11열 test: 951행 × 11열
실행 환경: Python 3.13.16 · pandas 2.3.3 · pyarrow 25.0.1
추가 예시: guide/notebook.ipynb
팩에 포함된 파일
CSV · Parquet 각 1종 · 류 대응표 · 2.8 MB
파일 목록 1개 + 설명 · 검증 파일 4개 보기
| 데이터 파일 | 대상 | 크기 | 형식 |
|---|---|---|---|
| data/product_hs_dl | 입력 text(상품명 + 개요) · 정답 label(HS 류) | 10,018행 · 11열 | CSVPARQUET |
설명 · 검증 파일
- 표준 메타데이터 · 파일별 무결성 값(manifest.json)
- 목적 적합성 판정(G3) · 점검 결과
- 시작 노트북(guide/)
- README(만든 방법 · 한계)
팩 zip 무결성 값(SHA-256) 66c2d5e279c51f9898559b040a4b526cd1824ba6a68ed079451a3a730879c38a
이 팩을 만든 원천 1종
원천 목록 1종 데이터 · 기관 · 포함된 행 보기
| 원천 데이터 | 기관 | 팩에 포함된 행 |
|---|---|---|
product_hs_dl 입력 text(상품명 + 개요) · 정답 label(HS 류) | ||
| 대한무역투자진흥공사_바이코리아 등록상품 정보 이 선택 | 대한무역투자진흥공사 | 10,018행 |
이 팩으로 가능한 분석
수출 품목 분류 도우미
상품 설명을 입력하면 HS 류를 추천하여 수출 신고 준비를 지원하는 모델을 학습할 수 있습니다.
다른 품목 데이터와 연결
HS 류로 무역 통계나 HSK 품목분류 데이터와 연결하여 상품 단위 분석으로 확장할 수 있습니다.
유의점 레이블은 등록 기업이 입력한 HS 코드이므로 오분류가 있을 수 있습니다. 33류(화장품) 비중이 30%로 불균형이 있고, 설명은 영문만 있습니다.