Kaynaktan oluştur

Kaynak koddan bir TensorFlow pip paketi oluşturun ve Ubuntu Linux ve macOS'a yükleyin. Talimatlar diğer sistemlerde de işe yarayabilir, ancak yalnızca Ubuntu ve macOS için test edilmiş ve desteklenmiştir.

Linux ve macOS için kurulum

Geliştirme ortamınızı yapılandırmak için aşağıdaki derleme araçlarını yükleyin.

Python ve TensorFlow paket bağımlılıklarını yükleyin

sudo apt install python3-dev python3-pip

brew install python

TensorFlow pip paketi bağımlılıklarını yükleyin (sanal bir ortam kullanıyorsanız, --user argümanını atlayın):

pip install -U --user pip

Bazel'i yükleyin

TensorFlow'u derlemek için Bazel'i yüklemeniz gerekir. Bazelisk, Bazel'i yüklemenin kolay bir yoludur ve TensorFlow için doğru Bazel sürümünü otomatik olarak indirir. Kullanım kolaylığı için, Bazelisk'i PATH dosyanıza bazel yürütülebilir dosyası olarak ekleyin.

Bazelisk mevcut değilse, Bazel'i manuel olarak yükleyebilirsiniz . TensorFlow'un .bazelversion dosyasından doğru Bazel sürümünü yüklediğinizden emin olun.

Clang'ı yükleyin (önerilir, yalnızca Linux)

Clang, LLVM tabanlı C++ dilinde derlenen bir C/C++/Objective-C derleyicisidir. TensorFlow 2.13 sürümünden itibaren TensorFlow'u derlemek için varsayılan derleyicidir. Desteklenen mevcut sürüm LLVM/Clang 17'dir.

LLVM Debian/Ubuntu gecelik paketleri, Linux'ta manuel kurulum için otomatik kurulum betiği ve paketler sağlar. Paket kaynaklarınıza llvm apt deposunu manuel olarak eklerseniz aşağıdaki komutu çalıştırdığınızdan emin olun:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

Bu durumda clang'e giden gerçek yol /usr/lib/llvm-17/bin/clang .

Alternatif olarak, önceden oluşturulmuş Clang + LLVM 17'yi indirip açabilirsiniz.

Aşağıda, Debian/Ubuntu işletim sistemlerinde indirilen Clang + LLVM 17 ikili dosyalarını kurmak için uygulayabileceğiniz adımların bir örneği verilmiştir:

1. İstenilen hedef dizine geçin: cd <desired directory>

2. Bir arşiv dosyasını yükleyin ve çıkarın...(mimari yapınıza uygun):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   

3. Çıkarılan içerikleri (dizinler ve dosyalar) /usr dizinine kopyalayın (sudo izinlerine ihtiyacınız olabilir ve doğru dizin dağıtıma göre değişiklik gösterebilir). Bu, Clang ve LLVM'yi etkili bir şekilde yükler ve yola ekler. Önceki bir kurulumunuz yoksa hiçbir şeyi değiştirmeniz gerekmez; önceki bir kurulumunuz varsa dosyaları değiştirmeniz gerekir:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr

4. Elde edilen Clang + LLVM 17 ikili versiyonunu kontrol edin:

   clang --version

5. Artık /usr/bin/clang yeni clang'ınıza giden gerçek yoldur. ./configure betiğini çalıştırabilir veya CC ve BAZEL_COMPILER ortam değişkenlerini manuel olarak bu yola ayarlayabilirsiniz.

GPU desteğini yükleyin (isteğe bağlı, yalnızca Linux)

macOS için GPU desteği bulunmuyor .

TensorFlow'u bir GPU'da çalıştırmak için gereken sürücüleri ve ek yazılımları yüklemek için GPU destek kılavuzunu okuyun.

TensorFlow kaynak kodunu indirin

TensorFlow deposunu klonlamak için Git'i kullanın:

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

Depo varsayılan olarak master geliştirme dalına ayarlanır. Ayrıca derlemek için bir sürüm dalını da kontrol edebilirsiniz:

git checkout branch_name  # r2.2, r2.3, etc.

Yapıyı yapılandırın

TensorFlow derlemeleri, deponun kök dizinindeki .bazelrc dosyası tarafından yapılandırılır. ./configure veya ./configure.py betikleri, genel ayarları düzenlemek için kullanılabilir.

Lütfen deponun kök dizininden ./configure betiğini çalıştırın. Bu betik, TensorFlow bağımlılıklarının konumunu soracak ve ek derleme yapılandırma seçenekleri (örneğin, derleyici işaretleri) isteyecektir. Ayrıntılar için Örnek oturum bölümüne bakın.

./configure

Bu betiğin bir Python sürümü de mevcuttur: ./configure.py . Sanal bir ortam kullanıyorsanız, python configure.py ortam içindeki yollara öncelik verirken, ./configure ortam dışındaki yollara öncelik verir. Her iki durumda da varsayılanı değiştirebilirsiniz.

Örnek oturum

Aşağıda ./configure betiğinin örnek bir çalışması gösterilmektedir (oturumunuz farklı olabilir):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

Yapılandırma seçenekleri

GPU desteği

v.2.18.0'dan itibaren

GPU desteği için yapılandırma sırasında cuda=Y değerini ayarlayın ve gerekirse CUDA ve cuDNN sürümlerini belirtin. Bazel, CUDA ve CUDNN paketlerini otomatik olarak indirecek veya gerekirse yerel dosya sistemindeki CUDA/CUDNN/NCCL yeniden dağıtımlarına işaret edecektir.

v.2.18.0'dan önce

GPU desteği için, yapılandırma sırasında cuda=Y değerini ayarlayın ve CUDA ve cuDNN sürümlerini belirtin. Sisteminizde birden fazla CUDA veya cuDNN sürümü yüklüyse, varsayılan sürüme güvenmek yerine sürümü açıkça ayarlayın. ./configure , sisteminizin CUDA kitaplıklarına sembolik bağlantılar oluşturur; bu nedenle, CUDA kitaplık yollarınızı güncellerseniz, derlemeden önce bu yapılandırma adımının tekrar çalıştırılması gerekir.

Optimizasyonlar

Derleme optimizasyon bayrakları için varsayılan ( -march=native ), oluşturulan kodu makinenizin CPU türüne göre optimize eder. Ancak, TensorFlow'u farklı bir CPU türü için oluşturuyorsanız, daha spesifik bir optimizasyon bayrağı kullanmayı düşünün. Örnekler için GCC kılavuzuna bakın.

Önceden yapılandırılmış yapılandırmalar

bazel build komutuna eklenebilecek bazı önceden yapılandırılmış yapı yapılandırmaları mevcuttur, örneğin:

• --config=dbg —Hata ayıklama bilgileriyle derleyin. Ayrıntılar için CONTRIBUTING.md dosyasına bakın.
• --config=mkl —Intel® MKL-DNN desteği.
• --config=monolithic —Genellikle statik, monolitik bir yapı için yapılandırma.

Pip paketini oluşturun ve yükleyin

Bazel yapı seçenekleri

Derleme seçenekleri için Bazel komut satırı referansına bakın.

TensorFlow'u kaynak koddan derlemek çok fazla RAM gerektirebilir. Sisteminiz bellek açısından kısıtlıysa, Bazel'in RAM kullanımını şu şekilde sınırlayın: --local_ram_resources=2048 .

Resmi TensorFlow paketleri, manylinux2014 paket standardına uyumlu bir Clang araç zinciri ile oluşturulmuştur.

Paketi oluşturun

Pip paketini oluşturmak için --repo_env=WHEEL_NAME bayrağını belirtmeniz gerekir. Verilen isme bağlı olarak paket oluşturulacaktır, örneğin:

Tensorflow CPU paketini oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu

Tensorflow GPU paketini oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

Tensorflow TPU paketini oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

Gecelik paketi oluşturmak için tensorflow yerine tf_nightly ayarlayın, örneğin CPU gecelik paketini oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tf_nightly_cpu

Sonuç olarak, üretilen tekerlek şu konumda yer alacaktır:

bazel-bin/tensorflow/tools/pip_package/wheel_house/

Paketi yükleyin

Oluşturulan .whl dosyasının adı, TensorFlow sürümüne ve platformunuza bağlıdır. Paketi yüklemek için pip install kullanın, örneğin:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Docker Linux yapıları

TensorFlow'un Docker geliştirme görüntüleri, Linux paketlerini kaynak koddan derlemek için kolay bir ortam oluşturmanın bir yoludur. Bu görüntüler, TensorFlow'u derlemek için gereken kaynak kodunu ve bağımlılıkları içerir. Kurulum talimatları ve kullanılabilir görüntü etiketlerinin listesi için TensorFlow Docker kılavuzuna gidin.

Yalnızca CPU

Aşağıdaki örnek, en son TensorFlow kaynak kodundan yalnızca CPU'ya yönelik bir paket oluşturmak için :devel görüntüsünü kullanır. Kullanılabilir TensorFlow -devel etiketleri için Docker kılavuzuna bakın.

En son geliştirme görüntüsünü indirin ve pip paketini derlemek için kullanacağınız bir Docker konteyneri başlatın:

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

Yukarıdaki docker run komutu, kaynak ağacının kökü olan /tensorflow_src dizininde bir kabuk başlatır. Ana makinenin geçerli dizinini konteynerin /mnt dizinine bağlar ve ana makine kullanıcısının bilgilerini bir ortam değişkeni aracılığıyla konteynere iletir (izinleri ayarlamak için kullanılır; Docker bunu zorlaştırabilir).

Alternatif olarak, bir kapsayıcı içerisinde TensorFlow'un ana kopyasını oluşturmak için, ana kaynak ağacını kapsayıcının /tensorflow dizinine bağlayın:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

Kaynak ağacı ayarlandıktan sonra, TensorFlow paketini konteynerin sanal ortamında oluşturun:

1. İsteğe bağlı: Yapıyı yapılandırın; bu, kullanıcıdan yapı yapılandırma sorularını yanıtlamasını ister.
2. Pip paketini oluşturun.
3. Dosyanın konteyner dışındaki sahiplik izinlerini ayarlayın.

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt

`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Paketi konteyner içerisine kurun ve doğrulayın:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

Ana bilgisayarınızda, TensorFlow pip paketi geçerli dizindedir (ana bilgisayar kullanıcı izinleriyle): ./tensorflow- version - tags .whl

GPU desteği

Docker, TensorFlow için GPU desteği oluşturmanın en kolay yoludur çünkü ana makine yalnızca NVIDIA® sürücüsünü gerektirir ( NVIDIA® CUDA® Toolkit'in yüklenmesi gerekmez). nvidia-docker'ı (yalnızca Linux) kurmak için GPU destek kılavuzuna ve TensorFlow Docker kılavuzuna bakın.

Aşağıdaki örnek, TensorFlow :devel-gpu görüntüsünü indirir ve GPU destekli kapsayıcıyı çalıştırmak için nvidia-docker kullanır. Bu geliştirme görüntüsü, GPU desteğiyle bir pip paketi oluşturmak üzere yapılandırılmıştır:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

Daha sonra konteynerin sanal ortamında GPU desteğiyle TensorFlow paketini oluşturun:

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda \
--config=cuda_wheel --config=opt


chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Paketi konteyner içerisine kurun ve doğrulayın ve GPU olup olmadığını kontrol edin:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

Test edilmiş yapı yapılandırmaları

Linux

İşlemci

GPU

macOS

İşlemci

GPU