Construir desde la fuente

Cree un paquete pip de TensorFlow desde el código fuente e instálelo en Ubuntu Linux y macOS. Aunque las instrucciones podrían funcionar en otros sistemas, solo se han probado y son compatibles con Ubuntu y macOS.

Configuración para Linux y macOS

Instale las siguientes herramientas de compilación para configurar su entorno de desarrollo.

Instalar Python y las dependencias del paquete TensorFlow

sudo apt install python3-dev python3-pip

brew install python

Instale las dependencias del paquete pip de TensorFlow (si usa un entorno virtual, omita el argumento --user ):

pip install -U --user pip

Instalar Bazel

Para compilar TensorFlow, necesitará instalar Bazel. Bazelisk es una forma sencilla de instalar Bazel y descarga automáticamente la versión correcta de Bazel para TensorFlow. Para mayor facilidad de uso, agregue Bazelisk como el ejecutable bazel en su PATH .

Si Bazelisk no está disponible, puede instalar Bazel manualmente. Asegúrese de instalar la versión correcta de Bazel desde el archivo .bazelversion de TensorFlow.

Instalar Clang (recomendado, solo Linux)

Clang es un compilador de C/C++/Objective-C compilado en C++ basado en LLVM. Es el compilador predeterminado para compilar TensorFlow a partir de TensorFlow 2.13. La versión compatible actual es LLVM/Clang 17.

Los paquetes nocturnos de LLVM para Debian/Ubuntu proporcionan un script de instalación automática y paquetes para la instalación manual en Linux. Asegúrese de ejecutar el siguiente comando si añade manualmente el repositorio llvm apt al origen de sus paquetes:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

Ahora bien, /usr/lib/llvm-17/bin/clang es la ruta real a clang en este caso.

Alternativamente, puedes descargar y descomprimir el Clang + LLVM 17 preconstruido.

A continuación se muestra un ejemplo de los pasos que puede seguir para configurar los binarios Clang + LLVM 17 descargados en los sistemas operativos Debian/Ubuntu:

1. Cambie al directorio de destino deseado: cd <desired directory>

2. Cargue y extraiga un archivo comprimido...(adecuado para su arquitectura):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   

3. Copia el contenido extraído (directorios y archivos) a /usr (puede que necesites permisos de sudo, y el directorio correcto puede variar según la distribución). Esto instala Clang y LLVM y los añade a la ruta. No deberías tener que reemplazar nada, a menos que tengas una instalación previa, en cuyo caso deberías reemplazar los archivos:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr

4. Compruebe la versión de binarios Clang + LLVM 17 obtenida:

   clang --version

5. Ahora que /usr/bin/clang es la ruta real a tu nuevo clang, puedes ejecutar el script ./configure o configurar manualmente las variables de entorno CC y BAZEL_COMPILER en esta ruta.

Instalar compatibilidad con GPU (opcional, solo Linux)

No hay soporte de GPU para macOS.

Lea la guía de soporte de GPU para instalar los controladores y el software adicional necesarios para ejecutar TensorFlow en una GPU.

Descargue el código fuente de TensorFlow

Utilice Git para clonar el repositorio de TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

El repositorio predeterminado es la rama de desarrollo master . También puedes consultar una rama de lanzamiento para compilar:

git checkout branch_name  # r2.2, r2.3, etc.

Configurar la compilación

Las compilaciones de TensorFlow se configuran mediante el archivo .bazelrc en el directorio raíz del repositorio. Los scripts ./configure o ./configure.py permiten ajustar la configuración común.

Ejecute el script ./configure desde el directorio raíz del repositorio. Este script le solicitará la ubicación de las dependencias de TensorFlow y opciones de configuración de compilación adicionales (por ejemplo, indicadores del compilador). Consulte la sección "Sesión de ejemplo" para obtener más información.

./configure

También existe una versión de este script en Python, ./configure.py . Si se usa un entorno virtual, python configure.py prioriza las rutas dentro del entorno, mientras que ./configure prioriza las rutas fuera del entorno. En ambos casos, se puede cambiar el valor predeterminado.

Sesión de muestra

A continuación se muestra un ejemplo de ejecución del script ./configure (su sesión puede ser diferente):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

Opciones de configuración

Compatibilidad con GPU

desde la versión v.2.18.0

Para compatibilidad con GPU , configure cuda=Y durante la configuración y especifique las versiones de CUDA y cuDNN si es necesario. Bazel descargará automáticamente los paquetes de CUDA y CUDNN o indicará las redistribuciones de CUDA/CUDNN/NCCL en el sistema de archivos local si es necesario.

antes de la v.2.18.0

Para compatibilidad con GPU , configure cuda=Y durante la configuración y especifique las versiones de CUDA y cuDNN. Si su sistema tiene varias versiones de CUDA o cuDNN instaladas, configure la versión explícitamente en lugar de usar la predeterminada. ./configure crea enlaces simbólicos a las bibliotecas CUDA de su sistema; por lo tanto, si actualiza las rutas de las bibliotecas CUDA, este paso de configuración debe ejecutarse de nuevo antes de compilar.

Optimizaciones

Para las opciones de optimización de compilación, el valor predeterminado ( -march=native ) optimiza el código generado para el tipo de CPU de su máquina. Sin embargo, si compila TensorFlow para un tipo de CPU diferente, considere una opción de optimización más específica. Consulte el manual de GCC para ver ejemplos.

Configuraciones preconfiguradas

Hay algunas configuraciones de compilación preconfiguradas disponibles que se pueden agregar al comando bazel build , por ejemplo:

• --config=dbg —Compilar con información de depuración. Consulte CONTRIBUTING.md para más detalles.
• --config=mkl —Compatibilidad con Intel® MKL-DNN .
• --config=monolithic —Configuración para una compilación monolítica y mayoritariamente estática.

Construya e instale el paquete pip

Opciones de compilación de Bazel

Consulte la referencia de la línea de comandos de Bazel para conocer las opciones de compilación .

Desarrollar TensorFlow desde el código fuente puede consumir mucha RAM. Si su sistema tiene limitaciones de memoria, limite el uso de RAM de Bazel con: --local_ram_resources=2048 .

Los paquetes oficiales de TensorFlow se construyen con una cadena de herramientas Clang que cumple con el estándar de paquetes manylinux2014.

Construir el paquete

Para crear un paquete pip, debe especificar el indicador --repo_env=WHEEL_NAME . Dependiendo del nombre proporcionado, se creará el paquete, por ejemplo:

Para crear el paquete de CPU de TensorFlow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu

Para crear el paquete GPU de tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

Para crear el paquete TPU de tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

Para crear un paquete nocturno, configure tf_nightly en lugar de tensorflow , por ejemplo, para crear un paquete nocturno de CPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tf_nightly_cpu

Como resultado, la rueda generada se ubicará en

bazel-bin/tensorflow/tools/pip_package/wheel_house/

Instalar el paquete

El nombre del archivo .whl generado depende de la versión de TensorFlow y de la plataforma. Use pip install para instalar el paquete, por ejemplo:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Compilaciones de Docker para Linux

Las imágenes de desarrollo de Docker de TensorFlow son una forma sencilla de configurar un entorno para compilar paquetes de Linux desde el código fuente. Estas imágenes ya contienen el código fuente y las dependencias necesarias para compilar TensorFlow. Consulta la guía de Docker de TensorFlow para obtener instrucciones de instalación y la lista de etiquetas de imagen disponibles .

Solo CPU

El siguiente ejemplo usa la imagen :devel para crear un paquete solo para CPU a partir del código fuente más reciente de TensorFlow. Consulta la guía de Docker para ver las etiquetas -devel de TensorFlow disponibles.

Descargue la última imagen de desarrollo e inicie un contenedor Docker que usará para compilar el paquete pip :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

El comando docker run anterior inicia un shell en el directorio /tensorflow_src (la raíz del árbol de código fuente). Monta el directorio actual del host en el directorio /mnt del contenedor y pasa la información del usuario del host al contenedor mediante una variable de entorno (usada para establecer permisos; Docker puede complicar este proceso).

Como alternativa, para crear una copia de host de TensorFlow dentro de un contenedor, monte el árbol de origen del host en el directorio /tensorflow del contenedor:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

Con el árbol de origen configurado, cree el paquete TensorFlow dentro del entorno virtual del contenedor:

1. Opcional: Configurar la compilación: esto solicita al usuario que responda preguntas de configuración de la compilación.
2. Construya el paquete pip .
3. Ajustar los permisos de propiedad del archivo para fuera del contenedor.

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt

`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Instalar y verificar el paquete dentro del contenedor:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

En su máquina host, el paquete pip de TensorFlow está en el directorio actual (con permisos de usuario del host): ./tensorflow- version - tags .whl

Compatibilidad con GPU

Docker es la forma más sencilla de integrar la compatibilidad de GPU con TensorFlow, ya que el equipo host solo requiere el controlador NVIDIA® (no es necesario instalar el kit de herramientas NVIDIA® CUDA® ). Consulta la guía de compatibilidad de GPU y la guía de Docker para TensorFlow para configurar nvidia-docker (solo para Linux).

El siguiente ejemplo descarga la imagen de TensorFlow :devel-gpu y usa nvidia-docker para ejecutar el contenedor con GPU. Esta imagen de desarrollo está configurada para compilar un paquete pip compatible con GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

Luego, dentro del entorno virtual del contenedor, cree el paquete TensorFlow con soporte de GPU:

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda \
--config=cuda_wheel --config=opt


chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Instale y verifique el paquete dentro del contenedor y busque una GPU:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

Configuraciones de compilación probadas

Linux

UPC

GPU

macOS

UPC

GPU