수출 상품 설명과 HS 코드를 정제하여, 같은 상품(상품명 · 숫자와 단위를 제거한 상품명 · 8자 이상 개요 중 하나가 같은 행)이 학습과 평가에 중복되지 않도록 분할한 분류 학습 데이터입니다.
지금 선택 90류 광학 · 의료기기 · 544행 · 주요 변동 사례
주요 변동 사례 결과 보기
탐지 규칙
학습 데이터 행이 많은 HS 류 상위 6개. 판정 문장은 측정값으로 만든 규칙 문장이며 원인을 단정하지 않습니다.구성 내용
90류 광학 · 의료기기: 학습 데이터 544행(전체의 5.4%). 학습 431 · 검증 60 · 평가 53.
90류 광학 · 의료기기 안의 6자리 HS 코드(상위 8) 표로 보기
구분 행 901890 그 밖의 기기 138 900490 기타 46 901910 기계요법용 기기, 마사지용 기기, 심리학적 적성검사용 기기 37 901839 기타 29 901849 기타 28 903180 그 밖의 기기 21 903149 기타 18 902214 기타(내과용ㆍ외과용ㆍ수의과용으로 한정한다) 16 레이블 결정 기준
연결 기준HS 코드 → 류레이블 단위: 이 류 안에 6자리 HS 코드가 68종 있습니다. 최다 코드 901890(그 밖의 기기)가 25%입니다. 팩은 6자리 대신 류(2자리)를 정답으로 사용하여 희소 코드 문제를 완화하였습니다.
학습 · 평가 분할
연결 기준분할평가 구간 상품명 가운데 같은 류의 학습 구간과 똑같은 이름은 0건입니다(상품명 · 개요 그룹으로 분할하여 중복을 방지).
차트 보기 — 이 류의 분할별 행 수
이 류의 분할별 행 수 표로 보기
구분 행 학습 431 검증 60 평가 53 팩 안의 근거 행
연결 기준source_row_uid평가 구간 행 5개입니다.
근거 행 · 코드 보기
상품명 HS 코드 분할 source_row_uid Tioss® Dental Bone Regeneration Material 9021290000 test 1039_f134ce44 Antifog Spray 9003900000 test 10462_23ac237d Air Permeability Tester 902480 test 10465_43c5df0c OPTICAL LENS 900150 test 11019_1e26a0d6 OPTICAL LENS 900150 test 11020_71652735 import pandas as pd d = pd.read_csv("data/product_hs_dl.csv", dtype={"label": str}) d[d.label == "90"].groupby("split").size()재현: 팩 압축 해제 폴더의
data/product_hs_dl.csv원본 파일로 처리할 때
원천 파일로 같은 결론을 얻으려면 필요한 작업
- HS 코드의 앞자리 0 손실 · 미확정 코드를 탐지하여 별도 보관
- 같은 상품이 학습과 평가에 함께 포함되지 않도록 상품명 · 개요 그룹으로 분할
- 희소한 류(20건 미만) 구분
이 팩에서는
- product_hs_dl 표 1개에 입력(text) · 정답(label) · 분할 포함
- 보류한 805행은 사유와 함께 withheld-records.csv에 수록
- 기준선 정확도(최빈 류 30.6% · 단어 분류기 74.1%) 함께 수록
이 팩으로 확인할 수 없는 것: 레이블은 기업이 등록한 HS 코드이므로 오분류가 포함될 수 있습니다. 류별 정확도는 팩에 포함되어 있지 않습니다.
조건별 탐색 결과 보기
자동 요약은 규칙 기반 문장입니다(생성형 AI 미사용).
요약 차트
팩으로 집계한 결과 · 펼치기
AI Ready Data(AIRD) 처리 내용
- 01 정제HS 2022 기준으로 변환 · 자릿수 검사
- 02 보류판별 불가 · 자릿수 부족 · 원천 오류 · 중복 · 희소 류 805건
- 03 분할상품명 · 개요 그룹 기준 학습 · 검증 · 평가
원본으로 받을 때와 비교 · 상품명 · 개요 그룹으로 분할한 구간 자세히
| 원본을 내려받으면 직접 처리해야 하는 작업 | 이 팩에서는 |
|---|---|
| HS 코드 앞자리 0 누락으로 류 오판독 | 자릿수 이상 행은 사유와 함께 보류 |
| HS 2017 · 2022 코드 혼재 | HS 2022 기준으로 변환(예 340220 → 340250) |
| 같은 상품의 학습 · 평가 중복으로 성능 과대평가 | 상품명 그룹 분할 · 겹침 0건 점검 |
| 표본이 적은 류로 인한 평가 결과 불안정 | 20건 미만 류 제외 · 모든 류가 학습에 포함 |
| 모델 성능을 판단할 기준선이 없음 | 최빈값 · 단어 분류기 기준선 제공 |
상품명 · 개요 그룹으로 분할한 구간
- 학습 8,124행 · 81.1%
- 검증 943행 · 9.4%
- 평가 951행 · 9.5%
이름이 같은 변형 상품이 학습과 평가에 동시에 포함되지 않도록 하였습니다. 중복될 경우 모델이 학습한 답을 그대로 맞혀 평가 점수가 과대 산정됩니다.
효과 근거 · 점검
원본 HS 코드를 그대로 레이블로 쓰면 7.4%(805건)에 앞자리 0 손실 · 미확정 코드 · 중복 · 희소 류 문제가 남습니다. 팩은 이 행을 사유와 함께 별도로 보관하고(학습용 10,018행 + 보류 805행), 같은 상품이 학습 · 평가에 중복되지 않도록 분할했습니다.
효과 판단 근거: 원본 레이블의 7.4%(805건) 결함 행 분리 · 학습과 평가에 겹친 상품 0건
점검 8항목 · 통과 8 항목별 결과 보기
| 점검 항목 | 결과 | 값 |
|---|---|---|
| 표준 필수 메타데이터와 목적별 필수 항목 | 통과 | 모두 기재 |
| 원천이 모두 품질 확인 단계 | 통과 | Quality-Ready |
| 학습 · 검증 · 평가 분할 | 통과 | 학습 81.1% · 검증 9.4% · 평가 9.5% |
| 정답(레이블) 빈 값 | 통과 | 0건 |
| 입력 항목(특성) | 통과 | 1개 |
| 분류 코드 대응표 | 통과 | 포함 |
| 데이터 누수 점검 | 통과 | 5/5종 통과 |
| 비교 기준(기준선) 성능 | 통과 | 2종 기록 |
받아서 쓰기 실험 재현
팩 zip 하나를 내려받아 엑셀이나 분석 도구로 열 수 있습니다 — 팩 내려받기 2.8 MB. 코드나 AI 에이전트로 활용하는 방법은 아래에서 설명합니다.
코드 · AI 에이전트로 쓰기 개발자용
코드로
- 팩 내려받기 product-hs-DL-1.0.0.zip 2.8 MB
- 압축을 풀고 폴더로 이동
cd product-hs-DL
- 필요한 패키지 설치 팩의 guide/requirements.txt
pip install pandas==2.3.3 pyarrow==25.0.1 scikit-learn==1.7.2
- 실행
import pandas as pd d = pd.read_parquet("data/product_hs_dl.parquet") train, test = d[d.split == "train"], d[d.split == "test"] # 입력 text → 정답 label(HS 류 2자리) - 실행 결과
d: 10,018행 × 11열 train: 8,124행 × 11열 test: 951행 × 11열
실행 환경: Python 3.13.16 · pandas 2.3.3 · pyarrow 25.0.1
추가 예시: guide/notebook.ipynb
팩에 포함된 파일
CSV · Parquet 각 1종 · 류 대응표 · 2.8 MB
파일 목록 1개 + 설명 · 검증 파일 4개 보기
| 데이터 파일 | 대상 | 크기 | 형식 |
|---|---|---|---|
| data/product_hs_dl | 입력 text(상품명 + 개요) · 정답 label(HS 류) | 10,018행 · 11열 | CSVPARQUET |
설명 · 검증 파일
- 표준 메타데이터 · 파일별 무결성 값(manifest.json)
- 목적 적합성 판정(G3) · 점검 결과
- 시작 노트북(guide/)
- README(만든 방법 · 한계)
팩 zip 무결성 값(SHA-256) 66c2d5e279c51f9898559b040a4b526cd1824ba6a68ed079451a3a730879c38a
이 팩을 만든 원천 1종
원천 목록 1종 데이터 · 기관 · 포함된 행 보기
| 원천 데이터 | 기관 | 팩에 포함된 행 |
|---|---|---|
product_hs_dl 입력 text(상품명 + 개요) · 정답 label(HS 류) | ||
| 대한무역투자진흥공사_바이코리아 등록상품 정보 이 선택 | 대한무역투자진흥공사 | 10,018행 |
이 팩으로 가능한 분석
수출 품목 분류 도우미
상품 설명을 입력하면 HS 류를 추천하여 수출 신고 준비를 지원하는 모델을 학습할 수 있습니다.
다른 품목 데이터와 연결
HS 류로 무역 통계나 HSK 품목분류 데이터와 연결하여 상품 단위 분석으로 확장할 수 있습니다.
유의점 레이블은 등록 기업이 입력한 HS 코드이므로 오분류가 있을 수 있습니다. 33류(화장품) 비중이 30%로 불균형이 있고, 설명은 영문만 있습니다.