KOIIAAI Ready Data 처음으로

홈›활용 사례›상품 설명 기반 HS 품목 분류 학습 데이터

학습 데이터검증 완료

상품 설명 기반 HS 품목 분류 학습 데이터

질문 영문 상품 설명만으로 HS 류(2자리)를 맞히는 분류 모델을 학습하려면 어떤 데이터가 필요한가?

원천 1종 · 1개 기관 · 연결 기준 HS 코드(류)

수출 상품 설명과 HS 코드를 정제하여, 같은 상품(상품명 · 숫자와 단위를 제거한 상품명 · 8자 이상 개요 중 하나가 같은 행)이 학습과 평가에 중복되지 않도록 분할한 분류 학습 데이터입니다.

10,018학습용 상품 설명HS 류 47개
805건판별이 어려워 별도 보관사유 6가지 기록
0건학습 · 평가에 중복된 상품명 · 개요(8자 이상)상품명 · 개요 그룹 분할
74.1%넘어야 할 기준선(조정하지 않은 하한)단어 기반 분류기 · 최빈 류만 예측하면 30.6%

지금 선택 21류 기타 조제 식료품 · 474행 · 주요 변동 사례

주요 변동 사례 결과 보기

팩 데이터에서 찾은 변동 사례 6건입니다.
탐지 규칙학습 데이터 행이 많은 HS 류 상위 6개. 판정 문장은 측정값으로 만든 규칙 문장이며 원인을 단정하지 않습니다.
개체 추적
선택 상태HS 류 = 21 현재 선택의 주소
  1. 구성 내용

    21류 기타 조제 식료품: 학습 데이터 474행(전체의 4.7%). 학습 393 · 검증 44 · 평가 37.

    21류 기타 조제 식료품 안의 6자리 HS 코드(상위 8)
    표로 보기
    구분행
    210690 기타287
    210390 기타85
    210410 수프ㆍ브로드(broth)와 수프ㆍ브로드(broth)용 조제품28
    210610 단백질 농축물과 텍스처화한(textured) 단백질계 물질17
    210130 볶은 치커리(chicory)ㆍ그 밖의 볶은 커피 대용물과 이들의 추출물(extract)ㆍ에센스(essence)ㆍ농축물15
    210120 차나 마테(maté)의 추출물(extract)ㆍ에센스(essence)ㆍ농축물, 이들을 기본 재료로 한 조제품, 차나 마테(maté)를 기본 재료로 한 조제품14
    210111 추출물(extract)ㆍ에센스(essence)ㆍ농축물10
    2103100000 간장6
  2. 레이블 결정 기준

    연결 기준HS 코드 → 류

    레이블 단위: 이 류 안에 6자리 HS 코드가 13종 있습니다. 최다 코드 210690(기타)가 61%입니다. 팩은 6자리 대신 류(2자리)를 정답으로 사용하여 희소 코드 문제를 완화하였습니다.

  3. 학습 · 평가 분할

    연결 기준분할

    평가 구간 상품명 가운데 같은 류의 학습 구간과 똑같은 이름은 0건입니다(상품명 · 개요 그룹으로 분할하여 중복을 방지).

    차트 보기 — 이 류의 분할별 행 수
    이 류의 분할별 행 수
    표로 보기
    구분행
    학습393
    검증44
    평가37
  4. 팩 안의 근거 행

    연결 기준source_row_uid

    평가 구간 행 5개입니다.

    근거 행 · 코드 보기
    상품명HS 코드분할source_row_uid
    Abalone Chowder210410test10154_1e62382d
    Salted Hairtail Dumpling Mandu210500test10232_6a1fb171
    HongIk Herbal Store Korean Panax Ginseng210690test181_b8ba3548
    YORIT Savory Seasoning210390test2497_553b3ed2
    YORIT Spicy Seasoning210390test2499_e013f50d
    import pandas as pd
    d = pd.read_csv("data/product_hs_dl.csv", dtype={"label": str})
    d[d.label == "21"].groupby("split").size()

    재현: 팩 압축 해제 폴더의 data/product_hs_dl.csv

  5. 원본 파일로 처리할 때

    원천 파일로 같은 결론을 얻으려면 필요한 작업

    • HS 코드의 앞자리 0 손실 · 미확정 코드를 탐지하여 별도 보관
    • 같은 상품이 학습과 평가에 함께 포함되지 않도록 상품명 · 개요 그룹으로 분할
    • 희소한 류(20건 미만) 구분

    이 팩에서는

    • product_hs_dl 표 1개에 입력(text) · 정답(label) · 분할 포함
    • 보류한 805행은 사유와 함께 withheld-records.csv에 수록
    • 기준선 정확도(최빈 류 30.6% · 단어 분류기 74.1%) 함께 수록

    이 팩으로 확인할 수 없는 것: 레이블은 기업이 등록한 HS 코드이므로 오분류가 포함될 수 있습니다. 류별 정확도는 팩에 포함되어 있지 않습니다.

조건별 탐색 결과 보기

자동 요약은 규칙 기반 문장입니다(생성형 AI 미사용).

불러오는 중…

요약 차트

팩으로 집계한 결과 · 펼치기
불러오는 중…

AI Ready Data(AIRD) 처리 내용

  1. 01 정제HS 2022 기준으로 변환 · 자릿수 검사
  2. 02 보류판별 불가 · 자릿수 부족 · 원천 오류 · 중복 · 희소 류 805건
  3. 03 분할상품명 · 개요 그룹 기준 학습 · 검증 · 평가
원본으로 받을 때와 비교 · 상품명 · 개요 그룹으로 분할한 구간 자세히
원본을 내려받으면 직접 처리해야 하는 작업이 팩에서는
HS 코드 앞자리 0 누락으로 류 오판독자릿수 이상 행은 사유와 함께 보류
HS 2017 · 2022 코드 혼재HS 2022 기준으로 변환(예 340220 → 340250)
같은 상품의 학습 · 평가 중복으로 성능 과대평가상품명 그룹 분할 · 겹침 0건 점검
표본이 적은 류로 인한 평가 결과 불안정20건 미만 류 제외 · 모든 류가 학습에 포함
모델 성능을 판단할 기준선이 없음최빈값 · 단어 분류기 기준선 제공

상품명 · 개요 그룹으로 분할한 구간

  • 학습 8,124행 · 81.1%
  • 검증 943행 · 9.4%
  • 평가 951행 · 9.5%

이름이 같은 변형 상품이 학습과 평가에 동시에 포함되지 않도록 하였습니다. 중복될 경우 모델이 학습한 답을 그대로 맞혀 평가 점수가 과대 산정됩니다.

효과 근거 · 점검

원본 HS 코드를 그대로 레이블로 쓰면 7.4%(805건)에 앞자리 0 손실 · 미확정 코드 · 중복 · 희소 류 문제가 남습니다. 팩은 이 행을 사유와 함께 별도로 보관하고(학습용 10,018행 + 보류 805행), 같은 상품이 학습 · 평가에 중복되지 않도록 분할했습니다.

효과 판단 근거: 원본 레이블의 7.4%(805건) 결함 행 분리 · 학습과 평가에 겹친 상품 0건

점검 8항목 · 통과 8 항목별 결과 보기
점검 항목결과값
표준 필수 메타데이터와 목적별 필수 항목통과모두 기재
원천이 모두 품질 확인 단계통과Quality-Ready
학습 · 검증 · 평가 분할통과학습 81.1% · 검증 9.4% · 평가 9.5%
정답(레이블) 빈 값통과0건
입력 항목(특성)통과1개
분류 코드 대응표통과포함
데이터 누수 점검통과5/5종 통과
비교 기준(기준선) 성능통과2종 기록

받아서 쓰기 실험 재현

팩 zip 하나를 내려받아 엑셀이나 분석 도구로 열 수 있습니다 — 팩 내려받기 2.8 MB. 코드나 AI 에이전트로 활용하는 방법은 아래에서 설명합니다.

코드 · AI 에이전트로 쓰기 개발자용

코드로

  1. 팩 내려받기 product-hs-DL-1.0.0.zip 2.8 MB
  2. 압축을 풀고 폴더로 이동
    cd product-hs-DL
  3. 필요한 패키지 설치 팩의 guide/requirements.txt
    pip install pandas==2.3.3 pyarrow==25.0.1 scikit-learn==1.7.2
  4. 실행
    import pandas as pd
    d = pd.read_parquet("data/product_hs_dl.parquet")
    train, test = d[d.split == "train"], d[d.split == "test"]
    # 입력 text → 정답 label(HS 류 2자리)
  5. 실행 결과
    d: 10,018행 × 11열
    train: 8,124행 × 11열
    test: 951행 × 11열

    실행 환경: Python 3.13.16 · pandas 2.3.3 · pyarrow 25.0.1

추가 예시: guide/notebook.ipynb

AI 에이전트로

  1. AIRD 서버 연결 Claude Code 기준 · 다른 도구는 연결 방법
    claude mcp add --transport http aird https://aird.idx.or.kr/mcp
  2. 질문 예시

    「영문 상품 설명만으로 HS 류(2자리)를 맞히는 분류 모델을 학습하려면 어떤 데이터가 필요한가?」

  3. 에이전트가 사용하는 도구 get_pack

    팩 정보 · 내려받기 주소 · 무결성 값 · 변동 사례와 그 근거 질의를 반환합니다. 행 단위 분석은 내려받은 팩으로 수행합니다.

  4. 답변 보기

    이 도구 호출 →

팩에 포함된 파일

CSV · Parquet 각 1종 · 류 대응표 · 2.8 MB

파일 목록 1개 + 설명 · 검증 파일 4개 보기
데이터 파일대상크기형식
data/product_hs_dl입력 text(상품명 + 개요) · 정답 label(HS 류)10,018행 · 11열CSVPARQUET

설명 · 검증 파일

  • 표준 메타데이터 · 파일별 무결성 값(manifest.json)
  • 목적 적합성 판정(G3) · 점검 결과
  • 시작 노트북(guide/)
  • README(만든 방법 · 한계)

팩 zip 무결성 값(SHA-256) 66c2d5e279c51f9898559b040a4b526cd1824ba6a68ed079451a3a730879c38a

이 팩을 만든 원천 1종

원천 목록 1종 데이터 · 기관 · 포함된 행 보기
원천 데이터기관팩에 포함된 행
product_hs_dl 입력 text(상품명 + 개요) · 정답 label(HS 류)
대한무역투자진흥공사_바이코리아 등록상품 정보 이 선택대한무역투자진흥공사10,018행

이 팩으로 가능한 분석

수출 품목 분류 도우미

상품 설명을 입력하면 HS 류를 추천하여 수출 신고 준비를 지원하는 모델을 학습할 수 있습니다.

다른 품목 데이터와 연결

HS 류로 무역 통계나 HSK 품목분류 데이터와 연결하여 상품 단위 분석으로 확장할 수 있습니다.

주요 변동 사례에서 근거와 함께 보기 →

유의점 레이블은 등록 기업이 입력한 HS 코드이므로 오분류가 있을 수 있습니다. 33류(화장품) 비중이 30%로 불균형이 있고, 설명은 영문만 있습니다.