สร้างจากซอร์ส

สร้างแพ็กเกจ pip ของ TensorFlow จากซอร์สโค้ดและติดตั้งบน Ubuntu Linux และ macOS แม้ว่าคำแนะนำนี้อาจใช้ได้กับระบบอื่น แต่ได้รับการทดสอบและรองรับเฉพาะบน Ubuntu และ macOS เท่านั้น

การตั้งค่าสำหรับ Linux และ macOS

ติดตั้งเครื่องมือสร้างต่อไปนี้เพื่อกำหนดค่าสภาพแวดล้อมการพัฒนาของคุณ

ติดตั้ง Python และการอ้างอิงแพ็คเกจ TensorFlow

sudo apt install python3-dev python3-pip

brew install python

ติดตั้งแพ็คเกจ pip ของ TensorFlow (หากใช้สภาพแวดล้อมเสมือน ให้ละเว้นอาร์กิวเมนต์ --user )

pip install -U --user pip

ติดตั้ง Bazel

ในการสร้าง TensorFlow คุณจะต้องติดตั้ง Bazel ซึ่ง Bazelisk เป็นวิธีง่ายๆ ในการติดตั้ง Bazel และจะดาวน์โหลด Bazel เวอร์ชันที่ถูกต้องสำหรับ TensorFlow โดยอัตโนมัติ เพื่อความสะดวกในการใช้งาน ให้เพิ่ม Bazelisk เป็นไฟล์ปฏิบัติการ bazel ใน PATH ของคุณ

หากไม่มี Bazelisk คุณสามารถ ติดตั้ง Bazel ด้วยตนเองได้ ตรวจสอบให้แน่ใจว่าคุณติดตั้ง Bazel เวอร์ชันที่ถูกต้องจากไฟล์ . bazelversion ของ TensorFlow

ติดตั้ง Clang (แนะนำเฉพาะ Linux เท่านั้น)

Clang คือคอมไพเลอร์ C/C++/Objective-C ที่คอมไพเลอร์ด้วยภาษา C++ ที่ใช้ LLVM เป็นคอมไพเลอร์เริ่มต้นสำหรับสร้าง TensorFlow โดยเริ่มตั้งแต่ TensorFlow 2.13 เป็นต้นไป เวอร์ชันที่รองรับปัจจุบันคือ LLVM/Clang 17

แพ็กเกจ LLVM Debian/Ubuntu nightly มีสคริปต์ติดตั้งอัตโนมัติและแพ็กเกจสำหรับการติดตั้งด้วยตนเองบน Linux โปรดตรวจสอบให้แน่ใจว่าคุณรันคำสั่งต่อไปนี้หากคุณเพิ่มที่เก็บ llvm apt ลงในซอร์สของแพ็กเกจด้วยตนเอง:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

ตอนนี้ /usr/lib/llvm-17/bin/clang คือเส้นทางจริงไปยัง clang ในกรณีนี้

นอกจากนี้คุณสามารถดาวน์โหลดและแตกไฟล์ Clang + LLVM 17 ที่สร้างไว้ล่วงหน้าได้

ด้านล่างนี้เป็นตัวอย่างขั้นตอนที่คุณสามารถดำเนินการเพื่อตั้งค่าไฟล์ไบนารี Clang + LLVM 17 ที่ดาวน์โหลดบนระบบปฏิบัติการ Debian/Ubuntu:

1. เปลี่ยนเป็นไดเร็กทอรีปลายทางที่ต้องการ: cd <desired directory>

2. โหลดและแตกไฟล์เก็บถาวร...(เหมาะกับสถาปัตยกรรมของคุณ):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   

3. คัดลอกเนื้อหาที่แยกออกมา (ไดเร็กทอรีและไฟล์) ไปที่ /usr (คุณอาจต้องใช้สิทธิ์ sudo และไดเร็กทอรีที่ถูกต้องอาจแตกต่างกันไปตามรุ่น) การทำเช่นนี้จะติดตั้ง Clang และ LLVM และเพิ่มลงในพาธ คุณไม่จำเป็นต้องแทนที่สิ่งใด เว้นแต่คุณจะมีการติดตั้งไว้ก่อนหน้านี้ ซึ่งในกรณีนี้คุณควรแทนที่ไฟล์:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr

4. ตรวจสอบเวอร์ชันไบนารี Clang + LLVM 17 ที่ได้รับ:

   clang --version

5. ตอนนี้ /usr/bin/clang คือพาธจริงไปยัง clang ใหม่ของคุณแล้ว คุณสามารถรันสคริปต์ ./configure หรือตั้งค่าตัวแปรสภาพแวดล้อม CC และ BAZEL_COMPILER ด้วยตนเองไปยังพาธนี้ได้

ติดตั้งการรองรับ GPU (ทางเลือก, Linux เท่านั้น)

ไม่มี การรองรับ GPU สำหรับ macOS

อ่านคำแนะนำ การสนับสนุน GPU เพื่อติดตั้งไดรเวอร์และซอฟต์แวร์เพิ่มเติมที่จำเป็นสำหรับการรัน TensorFlow บน GPU

ดาวน์โหลดซอร์สโค้ด TensorFlow

ใช้ Git เพื่อโคลน ที่เก็บข้อมูล TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

รีโพจะตั้งค่าเริ่มต้นเป็นสาขาการพัฒนา master คุณยังสามารถตรวจสอบ สาขาการเผยแพร่ เพื่อสร้างได้:

git checkout branch_name  # r2.2, r2.3, etc.

กำหนดค่าการสร้าง

การสร้าง TensorFlow ได้รับการกำหนดค่าโดยไฟล์ .bazelrc ในไดเร็กทอรีรูทของที่เก็บ สคริปต์ . ./configure configure หรือ ./configure.py สามารถใช้เพื่อปรับการตั้งค่าทั่วไปได้

โปรดเรียกใช้สคริปต์ ./configure จากไดเร็กทอรีรูทของที่เก็บ สคริปต์นี้จะแจ้งให้คุณทราบตำแหน่งของการอ้างอิง TensorFlow และขอตัวเลือกการกำหนดค่าการสร้างเพิ่มเติม (เช่น แฟล็กคอมไพเลอร์) ดูรายละเอียดเพิ่มเติมในหัวข้อ เซสชันตัวอย่าง

./configure

นอกจากนี้ยังมีสคริปต์ . ./configure.py เวอร์ชัน Python อีกด้วย หากใช้สภาพแวดล้อมเสมือน python configure.py จะจัดลำดับความสำคัญของเส้นทางภายในสภาพแวดล้อม ในขณะที่ ./configure configure จะจัดลำดับความสำคัญของเส้นทางภายนอกสภาพแวดล้อม ในทั้งสองกรณี คุณสามารถเปลี่ยนค่าเริ่มต้นได้

ตัวอย่างเซสชั่น

ต่อไปนี้แสดงตัวอย่างการรันสคริปต์ ./configure (เซสชันของคุณอาจแตกต่างกัน):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

ตัวเลือกการกำหนดค่า

รองรับ GPU

จาก v.2.18.0

สำหรับ การรองรับ GPU ให้ตั้งค่า cuda=Y ระหว่างการกำหนดค่า และระบุเวอร์ชันของ CUDA และ cuDNN หากจำเป็น Bazel จะดาวน์โหลดแพ็กเกจ CUDA และ CUDNN โดยอัตโนมัติ หรือชี้ไปที่การแจกจ่าย CUDA/CUDNN/NCCL บนระบบไฟล์ภายใน หากจำเป็น

ก่อนเวอร์ชัน 2.18.0

สำหรับ การรองรับ GPU ให้ตั้งค่า cuda=Y ระหว่างการกำหนดค่า และระบุเวอร์ชันของ CUDA และ cuDNN หากระบบของคุณติดตั้ง CUDA หรือ cuDNN หลายเวอร์ชัน ให้ตั้งค่าเวอร์ชันนั้นอย่างชัดเจนแทนที่จะใช้ค่าเริ่มต้น . ./configure configure จะสร้างลิงก์สัญลักษณ์ไปยังไลบรารี CUDA ของระบบ ดังนั้น หากคุณอัปเดตพาธไลบรารี CUDA ของคุณ ขั้นตอนการกำหนดค่านี้จะต้องถูกดำเนินการอีกครั้งก่อนการสร้าง

การเพิ่มประสิทธิภาพ

สำหรับแฟล็กการปรับแต่งประสิทธิภาพการคอมไพล์ ค่าเริ่มต้น ( -march=native ) จะปรับแต่งโค้ดที่สร้างขึ้นให้เหมาะกับประเภท CPU ของเครื่องของคุณ อย่างไรก็ตาม หากกำลังสร้าง TensorFlow สำหรับประเภท CPU อื่น โปรดพิจารณาแฟล็กการปรับแต่งประสิทธิภาพที่เฉพาะเจาะจงมากขึ้น โปรดตรวจสอบ คู่มือ GCC เพื่อดูตัวอย่าง

การกำหนดค่าล่วงหน้า

มีการกำหนดค่าการสร้างล่วงหน้าบางส่วนที่สามารถเพิ่มลงในคำสั่ง bazel build ได้ ตัวอย่างเช่น:

• --config=dbg — สร้างด้วยข้อมูลการดีบัก ดูรายละเอียดเพิ่มเติม ในไฟล์ CONTRIBUTING.md
• --config=mkl —รองรับ Intel® MKL-DNN
• --config=monolithic — การกำหนดค่าสำหรับการสร้างแบบโมโนลิธิกส่วนใหญ่แบบคงที่

สร้างและติดตั้งแพ็กเกจ pip

ตัวเลือกการสร้าง Bazel

ดูที่ การอ้างอิงบรรทัดคำสั่ง Bazel เพื่อดู ตัวเลือกการสร้าง

การสร้าง TensorFlow จากซอร์สโค้ดอาจใช้ RAM จำนวนมาก หากระบบของคุณมีหน่วยความจำจำกัด ให้จำกัดการใช้ RAM ของ Bazel ด้วยคำสั่ง --local_ram_resources=2048

แพ็คเกจ TensorFlow อย่างเป็นทางการ ถูกสร้างขึ้นด้วยเครื่องมือ Clang ที่สอดคล้องกับมาตรฐานแพ็คเกจ manylinux2014

สร้างแพ็คเกจ

ในการสร้างแพ็กเกจ pip คุณต้องระบุแฟล็ก --repo_env=WHEEL_NAME แพ็กเกจจะถูกสร้างขึ้นตามชื่อที่ให้มา เช่น:

ในการสร้างแพ็คเกจ CPU ของ Tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu

ในการสร้างแพ็คเกจ GPU ของ Tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

ในการสร้างแพ็คเกจ Tensorflow TPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

ในการสร้างแพ็กเกจรายคืน ให้ตั้งค่า tf_nightly แทน tensorflow เช่น เพื่อสร้างแพ็กเกจ CPU รายคืน:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tf_nightly_cpu

ผลลัพธ์ที่ได้คือล้อที่สร้างขึ้นจะอยู่ใน

bazel-bin/tensorflow/tools/pip_package/wheel_house/

ติดตั้งแพ็กเกจ

ชื่อไฟล์ .whl ที่สร้างขึ้นจะขึ้นอยู่กับเวอร์ชัน TensorFlow และแพลตฟอร์มของคุณ ใช้ pip install เพื่อติดตั้งแพ็กเกจ เช่น:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Docker Linux สร้าง

อิมเมจการพัฒนา Docker ของ TensorFlow เป็นวิธีง่ายๆ ในการตั้งค่าสภาพแวดล้อมสำหรับการสร้างแพ็กเกจ Linux จากซอร์สโค้ด อิมเมจเหล่านี้มีซอร์สโค้ดและส่วนอ้างอิงที่จำเป็นสำหรับการสร้าง TensorFlow อยู่แล้ว ไปที่ คู่มือ TensorFlow Docker เพื่อดูคำแนะนำในการติดตั้งและ รายการแท็กอิมเมจที่พร้อมใช้งาน

เฉพาะ CPU

ตัวอย่างต่อไปนี้ใช้อิมเมจ :devel เพื่อสร้างแพ็กเกจ CPU อย่างเดียวจากซอร์สโค้ด TensorFlow เวอร์ชันล่าสุด ดูแท็ก -devel ของ TensorFlow ที่มีอยู่ใน คู่มือ Docker

ดาวน์โหลดภาพการพัฒนาล่าสุดและเริ่มต้นคอนเทนเนอร์ Docker ที่คุณจะใช้ในการสร้างแพ็คเกจ pip :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

คำสั่ง docker run ข้างต้นจะเริ่มต้นเชลล์ในไดเร็กทอรี /tensorflow_src ซึ่งเป็นรากของซอร์สทรี คำสั่งนี้จะเมาท์ไดเร็กทอรีปัจจุบันของโฮสต์ในไดเร็กทอรี /mnt ของคอนเทนเนอร์ และส่งข้อมูลของผู้ใช้โฮสต์ไปยังคอนเทนเนอร์ผ่านตัวแปรสภาพแวดล้อม (ซึ่งใช้สำหรับกำหนดสิทธิ์อนุญาต ซึ่ง Docker อาจทำให้ขั้นตอนนี้ยุ่งยาก)

อีกวิธีหนึ่งในการสร้างสำเนาโฮสต์ของ TensorFlow ภายในคอนเทนเนอร์ ให้ติดตั้งต้นทางโฮสต์ที่ไดเร็กทอรี /tensorflow ของคอนเทนเนอร์:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

เมื่อตั้งค่าต้นทางแล้ว ให้สร้างแพ็คเกจ TensorFlow ภายในสภาพแวดล้อมเสมือนของคอนเทนเนอร์:

1. ทางเลือก: กำหนดค่าการสร้าง — ตัวเลือกนี้จะแจ้งให้ผู้ใช้ตอบคำถามเกี่ยวกับการกำหนดค่าการสร้าง
2. สร้างแพ็กเกจ pip
3. ปรับเปลี่ยนสิทธิ์การเป็นเจ้าของไฟล์สำหรับภายนอกคอนเทนเนอร์

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt

`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

ติดตั้งและตรวจสอบแพ็คเกจภายในคอนเทนเนอร์:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

บนเครื่องโฮสต์ของคุณ แพ็ก เกจ pip ของ TensorFlow อยู่ในไดเร็กทอรีปัจจุบัน (พร้อมสิทธิ์ผู้ใช้โฮสต์): ./tensorflow- version - tags .whl

รองรับ GPU

Docker เป็นวิธีที่ง่ายที่สุดในการสร้างการรองรับ GPU สำหรับ TensorFlow เนื่องจากเครื่อง โฮสต์ ต้องการเพียง ไดรเวอร์ NVIDIA® (ไม่จำเป็นต้องติดตั้ง NVIDIA® CUDA® Toolkit ) โปรดดู คู่มือการรองรับ GPU และ คู่มือ TensorFlow Docker เพื่อตั้งค่า nvidia-docker (เฉพาะ Linux เท่านั้น)

ตัวอย่างต่อไปนี้จะดาวน์โหลดอิมเมจ TensorFlow :devel-gpu และใช้ nvidia-docker เพื่อรันคอนเทนเนอร์ที่เปิดใช้งาน GPU อิมเมจการพัฒนานี้ได้รับการกำหนดค่าให้สร้างแพ็กเกจ pip ที่รองรับ GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

จากนั้นภายในสภาพแวดล้อมเสมือนของคอนเทนเนอร์ ให้สร้างแพ็คเกจ TensorFlow พร้อมการรองรับ GPU:

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda \
--config=cuda_wheel --config=opt


chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

ติดตั้งและตรวจสอบแพ็คเกจภายในคอนเทนเนอร์และตรวจสอบ GPU:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

ทดสอบการกำหนดค่าการสร้าง

ลินุกซ์

ซีพียู

จีพียู

แมคโอเอส

ซีพียู

จีพียู