TensorFlow Extended(TFX)는 생산 환경에서 기계 학습(ML) 모델의 개발 및 배포를 용이하게 하도록 설계된 강력한 오픈 소스 플랫폼입니다. 종단 간 ML 파이프라인을 구성할 수 있는 포괄적인 도구 및 라이브러리 세트를 제공합니다. 이러한 파이프라인은 각각 특정 목적을 수행하고 ML 워크플로의 전반적인 성공에 기여하는 몇 가지 고유한 단계로 구성됩니다. 이 답변에서는 TFX에서 ML 파이프라인의 여러 단계를 살펴보겠습니다.
1. 데이터 수집:
ML 파이프라인의 첫 번째 단계에는 다양한 소스에서 데이터를 수집하고 ML 작업에 적합한 형식으로 변환하는 작업이 포함됩니다. TFX는 CSV 파일이나 데이터베이스와 같은 다양한 소스에서 데이터를 읽고 이를 TensorFlow의 예제 형식으로 변환하는 ExampleGen과 같은 구성 요소를 제공합니다. 이 단계에서는 후속 단계에 필요한 데이터를 추출, 검증 및 전처리할 수 있습니다.
2. 데이터 검증:
데이터가 수집되면 다음 단계에는 데이터 유효성 검사가 포함되어 품질과 일관성을 보장합니다. TFX는 데이터의 요약 통계를 계산하는 StatisticsGen 구성 요소와 통계를 기반으로 스키마를 유추하는 SchemaGen 구성 요소를 제공합니다. 이러한 구성 요소는 데이터의 이상, 누락된 값 및 불일치를 식별하여 데이터 엔지니어와 ML 실무자가 적절한 조치를 취할 수 있도록 지원합니다.
3. 데이터 변환:
데이터 유효성 검사 후 ML 파이프라인은 데이터 변환 단계로 이동합니다. TFX는 정규화, 원-핫 인코딩, 특성 교차와 같은 특성 엔지니어링 기술을 데이터에 적용하는 변환 구성요소를 제공합니다. 이 단계는 모델의 성능 및 일반화 기능을 개선하는 데 도움이 되므로 모델 학습을 위한 데이터를 준비하는 데 중요한 역할을 합니다.
4. 모델 교육:
모델 교육 단계에는 변환된 데이터를 사용한 ML 모델 교육이 포함됩니다. TFX는 TensorFlow의 강력한 교육 기능을 활용하여 분산 시스템 또는 GPU에서 모델을 교육하는 Trainer 구성 요소를 제공합니다. 이 구성 요소를 사용하면 학습 매개변수, 모델 아키텍처 및 최적화 알고리즘을 사용자 지정할 수 있어 ML 실무자가 모델을 효과적으로 실험하고 반복할 수 있습니다.
5. 모델 평가:
모델이 학습되면 다음 단계는 모델 평가입니다. TFX는 정확도, 정밀도, 재현율 및 F1 점수와 같은 평가 메트릭을 사용하여 학습된 모델의 성능을 평가하는 Evaluator 구성 요소를 제공합니다. 이 단계는 모델의 잠재적인 문제를 식별하는 데 도움이 되며 보이지 않는 데이터에 대한 동작에 대한 통찰력을 제공합니다.
6. 모델 검증:
모델 평가 후 ML 파이프라인은 모델 유효성 검사로 이동합니다. TFX는 이전에 유추된 스키마에 대해 학습된 모델의 유효성을 검사하는 ModelValidator 구성 요소를 제공합니다. 이 단계에서는 모델이 데이터의 예상 형식을 준수하는지 확인하고 데이터 드리프트 또는 스키마 진화와 같은 문제를 감지하는 데 도움이 됩니다.
7. 모델 배포:
ML 파이프라인의 마지막 단계에는 학습된 모델을 프로덕션 환경에 배포하는 작업이 포함됩니다. TFX는 학습된 모델 및 관련 아티팩트를 TensorFlow Serving 또는 TensorFlow Lite와 같은 제공 시스템으로 내보내는 Pusher 구성 요소를 제공합니다. 이 단계에서는 ML 모델을 애플리케이션에 통합하여 새로운 데이터를 예측할 수 있습니다.
TFX의 ML 파이프라인은 데이터 수집, 데이터 유효성 검사, 데이터 변환, 모델 학습, 모델 평가, 모델 유효성 검사 및 모델 배포를 비롯한 여러 단계로 구성됩니다. 각 단계는 데이터 품질을 보장하고, 기능 엔지니어링을 지원하고, 정확한 모델을 교육하고, 성능을 평가하고, 프로덕션 환경에 배포함으로써 ML 워크플로의 전반적인 성공에 기여합니다.
기타 최근 질문 및 답변 EITC/AI/TFF TensorFlow 기초:
- 임베딩 레이어를 사용하여 단어를 벡터로 표현하는 플롯에 적절한 축을 자동으로 할당하려면 어떻게 해야 합니까?
- CNN에서 최대 풀링의 목적은 무엇입니까?
- CNN(Convolutional Neural Network)의 특징 추출 과정이 이미지 인식에 어떻게 적용되나요?
- TensorFlow.js에서 실행되는 머신러닝 모델에 비동기 학습 기능을 사용해야 하나요?
- TensorFlow Keras Tokenizer API 최대 단어 수 매개변수는 무엇입니까?
- TensorFlow Keras Tokenizer API를 사용하여 가장 자주 사용되는 단어를 찾을 수 있나요?
- TOCO 란 무엇입니까?
- 기계 학습 모델의 여러 시대와 모델 실행을 통한 예측 정확도 사이에는 어떤 관계가 있나요?
- TensorFlow의 Neural Structured Learning의 Pack Neighbors API는 자연 그래프 데이터를 기반으로 증강 훈련 데이터 세트를 생성합니까?
- TensorFlow의 신경 구조 학습에서 Pack Neighbors API는 무엇입니까?
EITC/AI/TFF TensorFlow Fundamentals에서 더 많은 질문과 답변 보기
더 많은 질문과 답변:
- 들: 인공 지능
- 프로그램 : EITC/AI/TFF TensorFlow 기초 (인증 프로그램으로 이동)
- 교훈: 텐서플로우 확장(TFX) (관련 강의 바로가기)
- 주제 : TFX는 정확히 무엇입니까 (관련 항목으로 이동)
- 심사 검토