رابط خط فرمان TFX (CLI) طیف کاملی از اقدامات خط لوله را با استفاده از ارکستراتورهای خط لوله، مانند خطوط لوله Kubeflow، Pipelines Vertex انجام می دهد. ارکستراتور محلی نیز می تواند برای توسعه سریعتر یا اشکال زدایی استفاده شود. پرتو آپاچی و جریان هوای آپاچی به عنوان ویژگی های آزمایشی پشتیبانی می شوند. به عنوان مثال، می توانید از CLI برای موارد زیر استفاده کنید:
- خطوط لوله ایجاد، به روز رسانی و حذف کنید.
- یک خط لوله را اجرا کنید و اجرا را روی ارکسترهای مختلف نظارت کنید.
- خطوط لوله و خطوط لوله اجرا می شود.
درباره TFX CLI
TFX CLI به عنوان بخشی از بسته TFX نصب شده است. تمام دستورات CLI از ساختار زیر پیروی می کنند:
tfx command-group command flags
گزینه های command-group زیر در حال حاضر پشتیبانی می شوند:
- خط لوله tfx - خطوط لوله TFX را ایجاد و مدیریت کنید.
- tfx run - اجرای خطوط لوله TFX را در پلتفرم های مختلف ارکستراسیون ایجاد و مدیریت کنید.
- قالب tfx - دستورات آزمایشی برای فهرست کردن و کپی کردن الگوهای خط لوله TFX.
هر گروه فرمان مجموعه ای از commands را ارائه می دهد. دستورالعمل های موجود در بخش دستورات خط لوله ، دستورات اجرا و دستورات الگو را دنبال کنید تا در مورد استفاده از این دستورات بیشتر بدانید.
پرچم ها به شما امکان می دهند آرگومان ها را به دستورات CLI منتقل کنید. کلمات موجود در پرچم ها با خط فاصله ( -
) یا زیرخط ( _
) از هم جدا می شوند. به عنوان مثال، پرچم نام خط لوله می تواند به صورت --pipeline-name
یا --pipeline_name
مشخص شود. این سند پرچم هایی را با زیرخط برای اختصار مشخص می کند. درباره flags استفاده شده در TFX CLI بیشتر بیاموزید.
خط لوله tfx
ساختار دستورات در گروه فرمان tfx pipeline
به شرح زیر است:
tfx pipeline command required-flags [optional-flags]
از بخش های زیر برای کسب اطلاعات بیشتر در مورد دستورات در گروه فرمان tfx pipeline
استفاده کنید.
ایجاد کنید
یک خط لوله جدید در ارکستراتور داده شده ایجاد می کند.
استفاده:
tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace \ --build_image --build_base_image=build-base-image]
- --pipeline_path= pipeline-path
- مسیر فایل پیکربندی خط لوله.
- --endpoint= endpoint
(اختیاری.) نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:
https://host-name/pipeline
اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.
اگر
--endpoint
مشخص نشده باشد، از نام DNS سرویس درون خوشه ای به عنوان مقدار پیش فرض استفاده می شود. این نام فقط در صورتی کار می کند که دستور CLI در یک پاد روی خوشه Kubeflow Pipelines اجرا شود، مانند نمونه نوت بوک Kubeflow Jupyter .- -- موتور = engine
(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:
- kubeflow : موتور را روی Kubeflow تنظیم می کند
- local : موتور را روی ارکستراتور محلی تنظیم می کند
- vertex : موتور را روی Vertex Pipelines تنظیم می کند
- جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
- پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند
اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.
** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا تشخیص خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.
- --iap_client_id= iap-client-id
- (اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP هنگام استفاده از خطوط لوله Kubeflow.
- --namespace= namespace
- (اختیاری.) فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیشفرض روی
kubeflow
است. - --build_image
(اختیاری.) هنگامی که engine kubeflow یا vertex است، TFX در صورت مشخص شدن یک تصویر ظرف برای خط لوله شما ایجاد می کند. «Dockerfile» در دایرکتوری فعلی استفاده خواهد شد و TFX به طور خودکار یکی را در صورت عدم وجود ایجاد می کند.
تصویر ساخته شده به رجیستری راه دور که در «KubeflowDagRunnerConfig» یا «KubeflowV2DagRunnerConfig» مشخص شده است، فرستاده می شود.
- --build_base_image= build-base-image
(اختیاری.) هنگامی که engine kubeflow است، TFX یک تصویر ظرف برای خط لوله شما ایجاد می کند. تصویر پایه ساخت، تصویر محفظه پایه را برای استفاده در هنگام ساختن تصویر ظرف خط لوله مشخص می کند.
مثال ها:
Kubeflow:
tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
محلی:
tfx pipeline create --engine=local --pipeline_path=pipeline-path
راس:
tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \ --build_image
برای تشخیص خودکار موتور از محیط کاربر، به سادگی از استفاده از پرچم موتور مانند مثال زیر اجتناب کنید. برای جزئیات بیشتر، بخش پرچم ها را بررسی کنید.
tfx pipeline create --pipeline_path=pipeline-path
به روز رسانی کنید
یک خط لوله موجود در ارکستراتور داده شده را به روز می کند.
استفاده:
tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace --build_image]
- --pipeline_path= pipeline-path
- مسیر فایل پیکربندی خط لوله.
- --endpoint= endpoint
(اختیاری.) نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:
https://host-name/pipeline
اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.
اگر
--endpoint
مشخص نشده باشد، از نام DNS سرویس درون خوشه ای به عنوان مقدار پیش فرض استفاده می شود. این نام فقط در صورتی کار می کند که دستور CLI در یک پاد روی خوشه Kubeflow Pipelines اجرا شود، مانند نمونه نوت بوک Kubeflow Jupyter .- -- موتور = engine
(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:
- kubeflow : موتور را روی Kubeflow تنظیم می کند
- local : موتور را روی ارکستراتور محلی تنظیم می کند
- vertex : موتور را روی Vertex Pipelines تنظیم می کند
- جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
- پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند
اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.
** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا تشخیص خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.
- --iap_client_id= iap-client-id
- (اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.
- --namespace= namespace
- (اختیاری.) فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیشفرض روی
kubeflow
است. - --build_image
(اختیاری.) هنگامی که engine kubeflow یا vertex است، TFX در صورت مشخص شدن یک تصویر ظرف برای خط لوله شما ایجاد می کند. «Dockerfile» در فهرست فعلی استفاده خواهد شد.
تصویر ساخته شده به رجیستری راه دور که در «KubeflowDagRunnerConfig» یا «KubeflowV2DagRunnerConfig» مشخص شده است، فرستاده می شود.
مثال ها:
Kubeflow:
tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
محلی:
tfx pipeline update --engine=local --pipeline_path=pipeline-path
رأس:
tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \ --build_image
کامپایل کردن
فایل پیکربندی خط لوله را برای ایجاد یک فایل گردش کار در Kubeflow کامپایل می کند و در حین کامپایل بررسی های زیر را انجام می دهد:
- بررسی می کند که آیا مسیر خط لوله معتبر است یا خیر.
- بررسی می کند که آیا جزئیات خط لوله با موفقیت از فایل پیکربندی خط لوله استخراج شده است.
- بررسی می کند که آیا DagRunner در پیکربندی خط لوله با موتور مطابقت دارد یا خیر.
- بررسی می کند که آیا فایل گردش کار با موفقیت در مسیر بسته ارائه شده (فقط برای Kubeflow) ایجاد شده است.
توصیه می شود قبل از ایجاد یا به روز رسانی خط لوله استفاده شود.
استفاده:
tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]
- --pipeline_path= pipeline-path
- مسیر فایل پیکربندی خط لوله.
- -- موتور = engine
(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:
- kubeflow : موتور را روی Kubeflow تنظیم می کند
- local : موتور را روی ارکستراتور محلی تنظیم می کند
- vertex : موتور را روی Vertex Pipelines تنظیم می کند
- جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
- پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند
اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.
** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا تشخیص خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.
مثال ها:
Kubeflow:
tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path
محلی:
tfx pipeline compile --engine=local --pipeline_path=pipeline-path
راس:
tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path
حذف کنید
یک خط لوله را از ارکستراتور داده شده حذف می کند.
استفاده:
tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_path= pipeline-path
- مسیر فایل پیکربندی خط لوله.
- --endpoint= endpoint
(اختیاری.) نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:
https://host-name/pipeline
اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.
اگر
--endpoint
مشخص نشده باشد، از نام DNS سرویس درون خوشه ای به عنوان مقدار پیش فرض استفاده می شود. این نام فقط در صورتی کار می کند که دستور CLI در یک پاد روی خوشه Kubeflow Pipelines اجرا شود، مانند نمونه نوت بوک Kubeflow Jupyter .- -- موتور = engine
(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:
- kubeflow : موتور را روی Kubeflow تنظیم می کند
- local : موتور را روی ارکستراتور محلی تنظیم می کند
- vertex : موتور را روی Vertex Pipelines تنظیم می کند
- جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
- پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند
اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.
** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا شناسایی خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.
- --iap_client_id= iap-client-id
- (اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.
- --namespace= namespace
- (اختیاری.) فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیشفرض روی
kubeflow
است.
مثال ها:
Kubeflow:
tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
محلی:
tfx pipeline delete --engine=local --pipeline_name=pipeline-name
رأس:
tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name
فهرست
تمام خطوط لوله در ارکستراتور داده شده را فهرست می کند.
استفاده:
tfx pipeline list [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --endpoint= endpoint
(اختیاری.) نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:
https://host-name/pipeline
اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.
اگر
--endpoint
مشخص نشده باشد، از نام DNS سرویس درون خوشه ای به عنوان مقدار پیش فرض استفاده می شود. این نام فقط در صورتی کار می کند که دستور CLI در یک پاد روی خوشه Kubeflow Pipelines اجرا شود، مانند نمونه نوت بوک Kubeflow Jupyter .- -- موتور = engine
(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:
- kubeflow : موتور را روی Kubeflow تنظیم می کند
- local : موتور را روی ارکستراتور محلی تنظیم می کند
- vertex : موتور را روی Vertex Pipelines تنظیم می کند
- جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
- پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند
اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.
** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا تشخیص خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.
- --iap_client_id= iap-client-id
- (اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.
- --namespace= namespace
- (اختیاری.) فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیشفرض روی
kubeflow
است.
مثال ها:
Kubeflow:
tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
محلی:
tfx pipeline list --engine=local
رأس:
tfx pipeline list --engine=vertex
tfx اجرا شود
ساختار دستورات در گروه دستور tfx run
به شرح زیر است:
tfx run command required-flags [optional-flags]
برای کسب اطلاعات بیشتر در مورد دستورات موجود در گروه دستور tfx run
از بخش های زیر استفاده کنید.
ایجاد کنید
یک نمونه اجرا جدید برای خط لوله در ارکستراتور ایجاد می کند. برای Kubeflow، جدیدترین نسخه خط لوله خط لوله در خوشه استفاده می شود.
استفاده:
tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- نام خط لوله
- --endpoint= endpoint
(اختیاری.) نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:
https://host-name/pipeline
اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.
اگر
--endpoint
مشخص نشده باشد، از نام DNS سرویس درون خوشه ای به عنوان مقدار پیش فرض استفاده می شود. این نام فقط در صورتی کار می کند که دستور CLI در یک پاد روی خوشه Kubeflow Pipelines اجرا شود، مانند نمونه نوت بوک Kubeflow Jupyter .- -- موتور = engine
(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:
- kubeflow : موتور را روی Kubeflow تنظیم می کند
- local : موتور را روی ارکستراتور محلی تنظیم می کند
- vertex : موتور را روی Vertex Pipelines تنظیم می کند
- جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
- پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند
اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.
** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا شناسایی خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.
- --runtime_parameter= parameter-name = parameter-value
- (اختیاری.) مقدار پارامتر زمان اجرا را تنظیم می کند. می توان چندین بار برای تنظیم مقادیر چندین متغیر تنظیم کرد. فقط برای موتورهای "جریان هوا"، "kubeflow" و "vertex" قابل استفاده است.
- --iap_client_id= iap-client-id
- (اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.
- --namespace= namespace
- (اختیاری.) فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیشفرض روی
kubeflow
است. - --project= GCP-project-id
- (برای Vertex لازم است.) شناسه پروژه GCP برای خط لوله راس.
- --region= GCP-region
- (برای Vertex لازم است.) نام منطقه GCP مانند us-central1. برای مناطق موجود، به [مستندات Vertex](https://cloud.google.com/vertex-ai/docs/general/locations) مراجعه کنید.
مثال ها:
Kubeflow:
tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
محلی:
tfx run create --engine=local --pipeline_name=pipeline-name
راس:
tfx run create --engine=vertex --pipeline_name=pipeline-name \ --runtime_parameter=var_name=var_value \ --project=gcp-project-id --region=gcp-region
خاتمه دهد
اجرای یک خط لوله معین را متوقف می کند.
** نکته مهم: در حال حاضر فقط در Kubeflow پشتیبانی می شود.
استفاده:
tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --run_id= run-id
- شناسه منحصر به فرد برای اجرای خط لوله.
- --endpoint= endpoint
(اختیاری.) نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:
https://host-name/pipeline
اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.
اگر
--endpoint
مشخص نشده باشد، از نام DNS سرویس درون خوشه ای به عنوان مقدار پیش فرض استفاده می شود. این نام فقط در صورتی کار می کند که دستور CLI در یک پاد روی خوشه Kubeflow Pipelines اجرا شود، مانند نمونه نوت بوک Kubeflow Jupyter .- -- موتور = engine
(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:
- kubeflow : موتور را روی Kubeflow تنظیم می کند
اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.
** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا تشخیص خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.
- --iap_client_id= iap-client-id
- (اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.
- --namespace= namespace
- (اختیاری.) فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیشفرض روی
kubeflow
است.
مثال ها:
Kubeflow:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
فهرست
تمام مراحل یک خط لوله را فهرست می کند.
** نکته مهم: در حال حاضر در Local و Apache Beam پشتیبانی نمی شود.
استفاده:
tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- نام خط لوله
- --endpoint= endpoint
(اختیاری.) نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:
https://host-name/pipeline
اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.
اگر
--endpoint
مشخص نشده باشد، از نام DNS سرویس درون خوشه ای به عنوان مقدار پیش فرض استفاده می شود. این نام فقط در صورتی کار می کند که دستور CLI در یک پاد روی خوشه Kubeflow Pipelines اجرا شود، مانند نمونه نوت بوک Kubeflow Jupyter .- -- موتور = engine
(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:
- kubeflow : موتور را روی Kubeflow تنظیم می کند
- جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.
** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا تشخیص خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.
- --iap_client_id= iap-client-id
- (اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.
- --namespace= namespace
- (اختیاری.) فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیشفرض روی
kubeflow
است.
مثال ها:
Kubeflow:
tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
وضعیت
وضعیت فعلی یک اجرا را برمیگرداند.
** نکته مهم: در حال حاضر در Local و Apache Beam پشتیبانی نمی شود.
استفاده:
tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- نام خط لوله
- --run_id= run-id
- شناسه منحصر به فرد برای اجرای خط لوله.
- --endpoint= endpoint
(اختیاری.) نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:
https://host-name/pipeline
اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.
اگر
--endpoint
مشخص نشده باشد، از نام DNS سرویس درون خوشه ای به عنوان مقدار پیش فرض استفاده می شود. این نام فقط در صورتی کار می کند که دستور CLI در یک پاد روی خوشه Kubeflow Pipelines اجرا شود، مانند نمونه نوت بوک Kubeflow Jupyter .- -- موتور = engine
(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:
- kubeflow : موتور را روی Kubeflow تنظیم می کند
- جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.
** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا تشخیص خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.
- --iap_client_id= iap-client-id
- (اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.
- --namespace= namespace
- (اختیاری.) فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیشفرض روی
kubeflow
است.
مثال ها:
Kubeflow:
tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
حذف کنید
اجرای یک خط لوله معین را حذف می کند.
** نکته مهم: در حال حاضر فقط در Kubeflow پشتیبانی می شود
استفاده:
tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint]
- --run_id= run-id
- شناسه منحصر به فرد برای اجرای خط لوله.
- --endpoint= endpoint
(اختیاری.) نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:
https://host-name/pipeline
اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.
اگر
--endpoint
مشخص نشده باشد، از نام DNS سرویس درون خوشه ای به عنوان مقدار پیش فرض استفاده می شود. این نام فقط در صورتی کار می کند که دستور CLI در یک پاد روی خوشه Kubeflow Pipelines اجرا شود، مانند نمونه نوت بوک Kubeflow Jupyter .- -- موتور = engine
(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:
- kubeflow : موتور را روی Kubeflow تنظیم می کند
اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.
** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا تشخیص خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.
- --iap_client_id= iap-client-id
- (اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.
- --namespace= namespace
- (اختیاری.) فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیشفرض روی
kubeflow
است.
مثال ها:
Kubeflow:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
قالب tfx [تجربی]
ساختار دستورات در گروه دستوری tfx template
به شرح زیر است:
tfx template command required-flags [optional-flags]
از بخش های زیر برای کسب اطلاعات بیشتر در مورد دستورات موجود در گروه فرمان tfx template
استفاده کنید. الگو یک ویژگی آزمایشی است و در هر زمان ممکن است تغییر کند.
فهرست
الگوهای خط لوله TFX موجود را فهرست کنید.
استفاده:
tfx template list
کپی کنید
یک الگو را در فهرست مقصد کپی کنید.
استفاده:
tfx template copy --model=model --pipeline_name=pipeline-name \ --destination_path=destination-path
- --model= model
- نام مدل ساخته شده توسط الگوی خط لوله.
- --pipeline_name= pipeline-name
- نام خط لوله
- --destination_path= destination-path
- مسیری که باید الگو را در آن کپی کنید.
آشنایی با پرچم های TFX CLI
پرچم های مشترک
- -- موتور = engine
ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:
- kubeflow : موتور را روی Kubeflow تنظیم می کند
- local : موتور را روی ارکستراتور محلی تنظیم می کند
- vertex : موتور را روی Vertex Pipelines تنظیم می کند
- جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
- پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند
اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.
** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا تشخیص خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.
- --pipeline_name= pipeline-name
- نام خط لوله
- --pipeline_path= pipeline-path
- مسیر فایل پیکربندی خط لوله.
- --run_id= run-id
- شناسه منحصر به فرد برای اجرای خط لوله.
پرچم های خاص Kubeflow
- --endpoint= endpoint
نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:
https://host-name/pipeline
اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.
اگر
--endpoint
مشخص نشده باشد، از نام DNS سرویس درون خوشه ای به عنوان مقدار پیش فرض استفاده می شود. این نام فقط در صورتی کار می کند که دستور CLI در یک پاد روی خوشه Kubeflow Pipelines اجرا شود، مانند نمونه نوت بوک Kubeflow Jupyter .- --iap_client_id= iap-client-id
- شناسه مشتری برای نقطه پایانی محافظت شده IAP.
- --namespace= namespace
- فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیشفرض روی
kubeflow
است.
فایل های تولید شده توسط TFX CLI
هنگامی که خطوط لوله ایجاد و اجرا می شوند، چندین فایل برای مدیریت خط لوله تولید می شوند.
- ${HOME}/tfx/local، پرتو، جریان هوا، راس
- فراداده خط لوله خوانده شده از پیکربندی در زیر
${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME}
ذخیره میشود. این مکان را می توان با تنظیم متغیرهای محیطی مانندAIRFLOW_HOME
یاKUBEFLOW_HOME
سفارشی کرد. این رفتار ممکن است در نسخه های بعدی تغییر کند. این دایرکتوری برای ذخیره اطلاعات خطوط لوله از جمله شناسه های خط لوله در خوشه Kubeflow Pipelines که برای ایجاد اجراها یا به روز رسانی خطوط لوله مورد نیاز است استفاده می شود. - قبل از TFX 0.25، این فایلها در زیر
${HOME}/${ORCHESTRATION_ENGINE}
قرار داشتند. در TFX 0.25، فایلهای موجود در مکان قدیمی به طور خودکار به مکان جدید منتقل میشوند تا انتقال راحت انجام شود. - از TFX 0.27، kubeflow این فایل های ابرداده را در سیستم فایل محلی ایجاد نمی کند. با این حال، فایل های دیگری که kubeflow ایجاد می کند را در زیر ببینید.
- فراداده خط لوله خوانده شده از پیکربندی در زیر
- (فقط Kubeflow) Dockerfile و یک تصویر ظرف
- خطوط لوله Kubeflow به دو نوع ورودی برای یک خط لوله نیاز دارد. این فایل ها توسط TFX در دایرکتوری فعلی تولید می شوند.
- یکی یک تصویر ظرف است که برای اجرای اجزا در خط لوله استفاده می شود. این تصویر ظرف زمانی ساخته می شود که خط لوله ای برای خطوط لوله Kubeflow ایجاد یا با پرچم
--build-image
به روز شود. اگر TFX CLI وجود نداشته باشد،Dockerfile
ایجاد میکند و یک تصویر ظرف را به رجیستری مشخصشده در KubeflowDagRunnerConfig میسازد و میفرستد.