تحلیل مدل TensorFlow

تجزیه و تحلیل مدل TensorFlow (TFMA) کتابخانه ای برای ارزیابی مدل های TensorFlow است. این به کاربران اجازه می دهد تا مدل های خود را بر روی مقادیر زیادی از داده ها به صورت توزیع شده، با استفاده از معیارهای مشابه تعریف شده در مربی خود ارزیابی کنند. این معیارها را می توان بر روی برش های مختلف داده محاسبه کرد و در نوت بوک های Jupyter تجسم کرد.

مرورگر TFMA Slicing Metrics

نصب و راه اندازی

روش توصیه شده برای نصب TFMA استفاده از بسته PyPI است:

pip install tensorflow-model-analysis

ساخت TFMA از منبع

برای ساخت از منبع مراحل زیر را دنبال کنید:

پروتوک را طبق لینک ذکر شده نصب کنید: protoc

با اجرای دستورات یک محیط مجازی ایجاد کنید

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

با این کار چرخ TFMA در دایرکتوری dist ایجاد می شود. برای نصب چرخ از دایرکتوری dist دستورات را اجرا کنید

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

بسته های شبانه

TFMA همچنین بسته های شبانه را در https://pypi-nightly.tensorflow.org در Google Cloud میزبانی می کند. برای نصب آخرین بسته شبانه لطفا از دستور زیر استفاده کنید:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

این بسته‌های شبانه را برای وابستگی‌های اصلی TFMA مانند Metadata TensorFlow (TFMD)، کتابخانه‌های عمومی مشترک TFX (TFX-BSL) نصب می‌کند.

در حال حاضر، TFMA نیاز دارد که TensorFlow نصب شده باشد اما وابستگی صریحی به بسته TensorFlow PyPI ندارد. برای دستورالعمل ها به راهنمای نصب TensorFlow مراجعه کنید.

برای فعال کردن تجسم TFMA در Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

آزمایشگاه ژوپیتر

در زمان نوشتن، به دلیل https://github.com/pypa/pip/issues/9187، pip install ممکن است هرگز تمام نشود. در این صورت، باید پیپ را به جای 20 به نسخه 19 برگردانید: pip install "pip<20" .

استفاده از پسوند JupyterLab مستلزم نصب وابستگی ها در خط فرمان است. می توانید این کار را در کنسول در JupyterLab UI یا در خط فرمان انجام دهید. این شامل نصب جداگانه وابستگی‌های بسته پیپ و وابستگی‌های افزونه Labextension JupyterLab می‌شود و شماره‌های نسخه باید سازگار باشند.

نمونه های زیر از 0.27.0 استفاده می کنند. برای استفاده از جدیدترین نسخه های موجود در زیر را بررسی کنید.

Jupyter Lab 1.2.x 

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

آزمایشگاه ژوپیتر 2 

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

عیب یابی

بسته های پیپ را بررسی کنید:

pip list

بررسی افزونه ها:

jupyter labextension list

وابستگی های قابل توجه

TensorFlow مورد نیاز است.

پرتو آپاچی مورد نیاز است. این روشی است که از محاسبات توزیع شده کارآمد پشتیبانی می شود. به طور پیش‌فرض، پرتو Apache در حالت محلی اجرا می‌شود، اما همچنین می‌تواند در حالت توزیع شده با استفاده از Google Cloud Dataflow و سایر اجراکننده‌های پرتو Apache اجرا شود.

Apache Arrow نیز مورد نیاز است. TFMA از Arrow برای نمایش داده ها به صورت داخلی استفاده می کند تا از توابع numpy برداری شده استفاده کند.

شروع به کار

برای دستورالعمل‌های استفاده از TFMA، به راهنمای شروع مراجعه کنید.

نسخه های سازگار

جدول زیر نسخه های بسته TFMA است که با یکدیگر سازگار هستند. این توسط چارچوب تست ما تعیین می شود، اما سایر ترکیبات آزمایش نشده نیز ممکن است کار کنند.

تنسورفلو-مدل-تحلیل پرتو آپاچی[gcp] پیارو جریان تنسور tensorflow-metadata tfx-bsl
استاد GitHub 2.47.0 10.0.0 شبانه (2.x) 1.15.0 1.15.1
0.46.0 2.47.0 10.0.0 2.15 1.15.0 1.15.1
0.45.0 2.47.0 10.0.0 2.13 1.14.0 1.14.0
0.44.0 2.40.0 6.0.0 2.12 1.13.1 1.13.0
0.43.0 2.40.0 6.0.0 2.11 1.12.0 1.12.0
0.42.0 2.40.0 6.0.0 1.15 / 2.10 1.11.0 1.11.0
0.41.1 2.40.0 6.0.0 1.15 / 2.9 1.10.0 1.10.1
0.41.0 2.40.0 6.0.0 1.15 / 2.9 1.10.0 1.10.1
0.40.0 2.38.0 5.0.0 1.15 / 2.9 1.9.0 1.9.0
0.39.0 2.38.0 5.0.0 1.15 / 2.8 1.8.0 1.8.0
0.38.0 2.36.0 5.0.0 1.15 / 2.8 1.7.0 1.7.0
0.37.0 2.35.0 5.0.0 1.15 / 2.7 1.6.0 1.6.0
0.36.0 2.34.0 5.0.0 1.15 / 2.7 1.5.0 1.5.0
0.35.0 2.33.0 5.0.0 1.15 / 2.6 1.4.0 1.4.0
0.34.1 2.32.0 2.0.0 1.15 / 2.6 1.2.0 1.3.0
0.34.0 2.31.0 2.0.0 1.15 / 2.6 1.2.0 1.3.1
0.33.0 2.31.0 2.0.0 1.15 / 2.5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.1
0.32.0 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.0
0.31.0 2.29.0 2.0.0 1.15 / 2.5 1.0.0 1.0.0
0.30.0 2.28.0 2.0.0 1.15 / 2.4 0.30.0 0.30.0
0.29.0 2.28.0 2.0.0 1.15 / 2.4 0.29.0 0.29.0
0.28.0 2.28.0 2.0.0 1.15 / 2.4 0.28.0 0.28.0
0.27.0 2.27.0 2.0.0 1.15 / 2.4 0.27.0 0.27.0
0.26.1 2.28.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.26.0 2.25.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.25.0 2.25.0 0.17.0 1.15 / 2.3 0.25.0 0.25.0
0.24.3 2.24.0 0.17.0 1.15 / 2.3 0.24.0 0.24.1
0.24.2 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.1 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.0 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.23.0 2.23.0 0.17.0 1.15 / 2.3 0.23.0 0.23.0
0.22.2 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.1 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.0 2.20.0 0.16.0 1.15 / 2.2 0.22.0 0.22.0
0.21.6 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.5 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.4 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.3 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.2 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.1 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.0 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.15.4 2.16.0 0.15.0 1.15 / 2.0 n/a 0.15.1
0.15.3 2.16.0 0.15.0 1.15 / 2.0 n/a 0.15.1
0.15.2 2.16.0 0.15.0 1.15 / 2.0 n/a 0.15.1
0.15.1 2.16.0 0.15.0 1.15 / 2.0 n/a 0.15.0
0.15.0 2.16.0 0.15.0 1.15 n/a n/a
0.14.0 2.14.0 n/a 1.14 n/a n/a
0.13.1 2.11.0 n/a 1.13 n/a n/a
0.13.0 2.11.0 n/a 1.13 n/a n/a
0.12.1 2.10.0 n/a 1.12 n/a n/a
0.12.0 2.10.0 n/a 1.12 n/a n/a
0.11.0 2.8.0 n/a 1.11 n/a n/a
0.9.2 2.6.0 n/a 1.9 n/a n/a
0.9.1 2.6.0 n/a 1.10 n/a n/a
0.9.0 2.5.0 n/a 1.9 n/a n/a
0.6.0 2.4.0 n/a 1.6 n/a n/a

سوالات

لطفاً هر گونه سؤال در مورد کار با TFMA را با استفاده از برچسب tensorflow-model-analysis به Stack Overflow ارسال کنید.