উৎস থেকে তৈরি করুন

সোর্স থেকে একটি TensorFlow পাইপ প্যাকেজ তৈরি করুন এবং এটি উবুন্টু লিনাক্স এবং ম্যাকোসে ইনস্টল করুন। যদিও নির্দেশাবলী অন্যান্য সিস্টেমের জন্য কাজ করতে পারে, এটি শুধুমাত্র উবুন্টু এবং ম্যাকোসের জন্য পরীক্ষিত এবং সমর্থিত।

Linux এবং macOS এর জন্য সেটআপ

আপনার ডেভেলপমেন্ট এনভায়রনমেন্ট কনফিগার করতে নিম্নলিখিত বিল্ড টুলগুলি ইনস্টল করুন।

পাইথন এবং টেনসরফ্লো প্যাকেজ নির্ভরতা ইনস্টল করুন

sudo apt install python3-dev python3-pip

brew install python

TensorFlow pip প্যাকেজ নির্ভরতা ইনস্টল করুন (যদি ভার্চুয়াল পরিবেশ ব্যবহার করেন, তাহলে --user আর্গুমেন্টটি বাদ দিন):

pip install -U --user pip

ব্যাজেল ইনস্টল করুন

TensorFlow তৈরি করতে, আপনাকে Bazel ইনস্টল করতে হবে। Bazelisk হল Bazel ইনস্টল করার একটি সহজ উপায় এবং TensorFlow-এর জন্য স্বয়ংক্রিয়ভাবে সঠিক Bazel সংস্করণ ডাউনলোড করে। ব্যবহারের সুবিধার জন্য, আপনার PATH এ Bazelisk কে bazel এক্সিকিউটেবল হিসেবে যুক্ত করুন।

যদি Bazelisk উপলব্ধ না থাকে, তাহলে আপনি ম্যানুয়ালি Bazel ইনস্টল করতে পারেন। TensorFlow এর .bazelversion ফাইল থেকে সঠিক Bazel সংস্করণটি ইনস্টল করতে ভুলবেন না।

ক্ল্যাং ইনস্টল করুন (প্রস্তাবিত, শুধুমাত্র লিনাক্স)

Clang হল একটি C/C++/Objective-C কম্পাইলার যা LLVM-এর উপর ভিত্তি করে C++ তে কম্পাইল করা হয়েছে। এটি TensorFlow 2.13 দিয়ে শুরু করে TensorFlow তৈরির জন্য ডিফল্ট কম্পাইলার। বর্তমান সমর্থিত সংস্করণ হল LLVM/Clang 17।

LLVM Debian/Ubuntu নাইটলি প্যাকেজগুলি একটি স্বয়ংক্রিয় ইনস্টলেশন স্ক্রিপ্ট এবং লিনাক্সে ম্যানুয়াল ইনস্টলেশনের জন্য প্যাকেজ সরবরাহ করে। আপনার প্যাকেজ সোর্সে ম্যানুয়ালি llvm apt রিপোজিটরি যোগ করার সময় নিম্নলিখিত কমান্ডটি চালান তা নিশ্চিত করুন:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

এখন এই ক্ষেত্রে /usr/lib/llvm-17/bin/clang হল ক্ল্যাং করার আসল পথ।

বিকল্পভাবে, আপনি পূর্বে তৈরি Clang + LLVM 17 ডাউনলোড এবং আনপ্যাক করতে পারেন।

ডেবিয়ান/উবুন্টু অপারেটিং সিস্টেমে ডাউনলোড করা Clang + LLVM 17 বাইনারি সেট আপ করার জন্য আপনি যে পদক্ষেপগুলি নিতে পারেন তার একটি উদাহরণ নিচে দেওয়া হল:

1. পছন্দসই গন্তব্য ডিরেক্টরিতে পরিবর্তন করুন: cd <desired directory>

2. একটি আর্কাইভ ফাইল লোড করুন এবং এক্সট্রাক্ট করুন...(আপনার আর্কিটেকচারের জন্য উপযুক্ত):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   

3. এক্সট্রাক্ট করা কন্টেন্ট (ডিরেক্টরি এবং ফাইল) /usr এ কপি করুন (আপনার sudo অনুমতির প্রয়োজন হতে পারে, এবং সঠিক ডিরেক্টরিটি বিতরণ অনুসারে পরিবর্তিত হতে পারে)। এটি কার্যকরভাবে Clang এবং LLVM ইনস্টল করে এবং এটিকে পাথে যোগ করে। আপনার কোনও কিছু প্রতিস্থাপন করার প্রয়োজন হবে না, যদি না আপনার পূর্ববর্তী ইনস্টলেশন থাকে, তবে এই ক্ষেত্রে আপনার ফাইলগুলি প্রতিস্থাপন করা উচিত:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr

4. প্রাপ্ত Clang + LLVM 17 বাইনারি সংস্করণটি পরীক্ষা করুন:

   clang --version

5. এখন /usr/bin/clang হল আপনার নতুন clang-এর আসল পথ। আপনি ./configure স্ক্রিপ্টটি চালাতে পারেন অথবা ম্যানুয়ালি পরিবেশ ভেরিয়েবল CC এবং BAZEL_COMPILER এই পথে সেট করতে পারেন।

GPU সাপোর্ট ইনস্টল করুন (ঐচ্ছিক, শুধুমাত্র লিনাক্স)

macOS-এর জন্য কোনও GPU সাপোর্ট নেই ।

GPU তে TensorFlow চালানোর জন্য প্রয়োজনীয় ড্রাইভার এবং অতিরিক্ত সফ্টওয়্যার ইনস্টল করার জন্য GPU সাপোর্ট গাইডটি পড়ুন।

টেনসরফ্লো সোর্স কোড ডাউনলোড করুন

TensorFlow রিপোজিটরি ক্লোন করতে Git ব্যবহার করুন:

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

রেপো ডিফল্টভাবে master ডেভেলপমেন্ট ব্রাঞ্চে থাকে। আপনি তৈরি করার জন্য একটি রিলিজ ব্রাঞ্চও দেখতে পারেন:

git checkout branch_name  # r2.2, r2.3, etc.

বিল্ড কনফিগার করুন

TensorFlow বিল্ডগুলি রিপোজিটরির রুট ডিরেক্টরিতে থাকা .bazelrc ফাইল দ্বারা কনফিগার করা হয়। সাধারণ সেটিংস সামঞ্জস্য করতে ./configure অথবা ./configure.py স্ক্রিপ্ট ব্যবহার করা যেতে পারে।

অনুগ্রহ করে রিপোজিটরির রুট ডিরেক্টরি থেকে ./configure স্ক্রিপ্টটি চালান। এই স্ক্রিপ্টটি আপনাকে TensorFlow নির্ভরতার অবস্থান সম্পর্কে জিজ্ঞাসা করবে এবং অতিরিক্ত বিল্ড কনফিগারেশন বিকল্পগুলি (উদাহরণস্বরূপ, কম্পাইলার ফ্ল্যাগ) জিজ্ঞাসা করবে। বিস্তারিত জানার জন্য নমুনা সেশন বিভাগটি দেখুন।

./configure

এই স্ক্রিপ্টের একটি পাইথন সংস্করণও রয়েছে, ./configure.py । যদি ভার্চুয়াল পরিবেশ ব্যবহার করা হয়, তাহলে python configure.py পরিবেশের মধ্যে পাথগুলিকে অগ্রাধিকার দেয়, যেখানে ./configure পরিবেশের বাইরের পাথগুলিকে অগ্রাধিকার দেয়। উভয় ক্ষেত্রেই আপনি ডিফল্ট পরিবর্তন করতে পারেন।

নমুনা অধিবেশন

নিচে ./configure স্ক্রিপ্টের একটি নমুনা রান দেখানো হল (আপনার সেশনটি ভিন্ন হতে পারে):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

কনফিগারেশন বিকল্পগুলি

জিপিইউ সাপোর্ট

সংস্করণ 2.18.0 থেকে

GPU সাপোর্টের জন্য, কনফিগারেশনের সময় cuda=Y সেট করুন এবং প্রয়োজনে CUDA এবং cuDNN এর সংস্করণগুলি নির্দিষ্ট করুন। Bazel স্বয়ংক্রিয়ভাবে CUDA এবং CUDNN প্যাকেজ ডাউনলোড করবে অথবা প্রয়োজনে স্থানীয় ফাইল সিস্টেমে CUDA/CUDNN/NCCL পুনর্বণ্টনের দিকে নির্দেশ করবে।

সংস্করণ 2.18.0 এর আগে

GPU সাপোর্টের জন্য, কনফিগারেশনের সময় cuda=Y সেট করুন এবং CUDA এবং cuDNN এর সংস্করণগুলি নির্দিষ্ট করুন। যদি আপনার সিস্টেমে CUDA বা cuDNN এর একাধিক সংস্করণ ইনস্টল করা থাকে, তাহলে ডিফল্টের উপর নির্ভর না করে স্পষ্টভাবে সংস্করণটি সেট করুন। ./configure আপনার সিস্টেমের CUDA লাইব্রেরিতে প্রতীকী লিঙ্ক তৈরি করে—তাই যদি আপনি আপনার CUDA লাইব্রেরি পাথ আপডেট করেন, তাহলে নির্মাণের আগে এই কনফিগারেশন ধাপটি আবার চালাতে হবে।

অপ্টিমাইজেশন

কম্পাইলেশন অপ্টিমাইজেশন ফ্ল্যাগের জন্য, ডিফল্ট ( -march=native ) আপনার মেশিনের CPU ধরণের জন্য জেনারেট করা কোডটি অপ্টিমাইজ করে। তবে, যদি আপনি ভিন্ন CPU ধরণের জন্য TensorFlow তৈরি করেন, তাহলে আরও নির্দিষ্ট অপ্টিমাইজেশন ফ্ল্যাগ বিবেচনা করুন। উদাহরণের জন্য GCC ম্যানুয়ালটি দেখুন।

পূর্বনির্ধারিত কনফিগারেশন

কিছু পূর্ব-কনফিগার করা বিল্ড কনফিগারেশন উপলব্ধ রয়েছে যা bazel build কমান্ডে যোগ করা যেতে পারে, উদাহরণস্বরূপ:

• --config=dbg —ডিবাগ তথ্য সহ তৈরি করুন। বিস্তারিত জানার জন্য CONTRIBUTING.md দেখুন।
• --config=mkl —Intel® MKL-DNN এর জন্য সমর্থন।
• --config=monolithic — বেশিরভাগ স্ট্যাটিক, monolithic বিল্ডের জন্য কনফিগারেশন।

পিপ প্যাকেজ তৈরি এবং ইনস্টল করুন

ব্যাজেল বিল্ড অপশন

বিল্ড অপশনের জন্য Bazel কমান্ড-লাইন রেফারেন্স দেখুন।

সোর্স থেকে TensorFlow তৈরি করলে প্রচুর RAM ব্যবহার হতে পারে। যদি আপনার সিস্টেমে মেমোরি সীমাবদ্ধ থাকে, তাহলে Bazel-এর RAM ব্যবহার সীমিত করুন: --local_ram_resources=2048 ।

অফিসিয়াল টেনসরফ্লো প্যাকেজগুলি একটি ক্ল্যাং টুলচেইন দিয়ে তৈরি যা manylinux2014 প্যাকেজ স্ট্যান্ডার্ড মেনে চলে।

প্যাকেজ তৈরি করুন

পিপ প্যাকেজ তৈরি করতে, আপনাকে --repo_env=WHEEL_NAME ফ্ল্যাগ নির্দিষ্ট করতে হবে। প্রদত্ত নামের উপর নির্ভর করে, প্যাকেজ তৈরি করা হবে, যেমন:

টেনসরফ্লো সিপিইউ প্যাকেজ তৈরি করতে:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu

টেনসরফ্লো জিপিইউ প্যাকেজ তৈরি করতে:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

টেনসরফ্লো টিপিইউ প্যাকেজ তৈরি করতে:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

নাইটলি প্যাকেজ তৈরি করতে, tensorflow এর পরিবর্তে tf_nightly সেট করুন, যেমন CPU নাইটলি প্যাকেজ তৈরি করতে:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tf_nightly_cpu

ফলস্বরূপ, উৎপন্ন চাকাটি অবস্থিত হবে

bazel-bin/tensorflow/tools/pip_package/wheel_house/

প্যাকেজটি ইনস্টল করুন

জেনারেট করা .whl ফাইলের ফাইলের নাম TensorFlow সংস্করণ এবং আপনার প্ল্যাটফর্মের উপর নির্ভর করে। প্যাকেজটি ইনস্টল করতে pip install ব্যবহার করুন, উদাহরণস্বরূপ:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

ডকার লিনাক্স তৈরি করে

TensorFlow এর Docker ডেভেলপমেন্ট ইমেজ হল সোর্স থেকে Linux প্যাকেজ তৈরির জন্য একটি পরিবেশ সেট আপ করার একটি সহজ উপায়। এই ইমেজগুলিতে ইতিমধ্যেই TensorFlow তৈরির জন্য প্রয়োজনীয় সোর্স কোড এবং নির্ভরতা রয়েছে। ইনস্টলেশন নির্দেশাবলী এবং উপলব্ধ ইমেজ ট্যাগের তালিকার জন্য TensorFlow Docker গাইডে যান।

শুধুমাত্র CPU-র জন্য

নিচের উদাহরণে সর্বশেষ TensorFlow সোর্স কোড থেকে একটি CPU-কেবল প্যাকেজ তৈরি করতে :devel ইমেজ ব্যবহার করা হয়েছে। উপলব্ধ TensorFlow -devel ট্যাগগুলির জন্য ডকার গাইডটি দেখুন।

সর্বশেষ ডেভেলপমেন্ট ইমেজটি ডাউনলোড করুন এবং একটি ডকার কন্টেইনার শুরু করুন যা আপনি পাইপ প্যাকেজ তৈরি করতে ব্যবহার করবেন:

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

উপরের docker run কমান্ডটি /tensorflow_src ডিরেক্টরিতে একটি শেল শুরু করে—সোর্স ট্রির রুট। এটি হোস্টের বর্তমান ডিরেক্টরিটি কন্টেইনারের /mnt ডিরেক্টরিতে মাউন্ট করে এবং হোস্ট ব্যবহারকারীর তথ্য একটি পরিবেশগত ভেরিয়েবলের মাধ্যমে কন্টেইনারে প্রেরণ করে (অনুমতি সেট করতে ব্যবহৃত হয়—ডকার এটিকে জটিল করে তুলতে পারে)।

বিকল্পভাবে, একটি কন্টেইনারের মধ্যে TensorFlow এর একটি হোস্ট কপি তৈরি করতে, কন্টেইনারের /tensorflow ডিরেক্টরিতে হোস্ট সোর্স ট্রি মাউন্ট করুন:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

সোর্স ট্রি সেট আপ করার সাথে সাথে, কন্টেইনারের ভার্চুয়াল পরিবেশের মধ্যে TensorFlow প্যাকেজটি তৈরি করুন:

1. ঐচ্ছিক: বিল্ড কনফিগার করুন—এটি ব্যবহারকারীকে বিল্ড কনফিগারেশন প্রশ্নের উত্তর দিতে অনুরোধ করে।
2. পিপ প্যাকেজ তৈরি করুন।
3. কন্টেইনারের বাইরের জন্য ফাইলের মালিকানার অনুমতিগুলি সামঞ্জস্য করুন।

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt

`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

কন্টেইনারের মধ্যে প্যাকেজটি ইনস্টল এবং যাচাই করুন:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

আপনার হোস্ট মেশিনে, TensorFlow পিপ প্যাকেজটি বর্তমান ডিরেক্টরিতে রয়েছে (হোস্ট ব্যবহারকারীর অনুমতি সহ): ./tensorflow- version - tags .whl

জিপিইউ সাপোর্ট

টেনসরফ্লো-এর জন্য GPU সাপোর্ট তৈরি করার সবচেয়ে সহজ উপায় হল ডকার, কারণ হোস্ট মেশিনের জন্য শুধুমাত্র NVIDIA® ড্রাইভারের প্রয়োজন হয় ( NVIDIA® CUDA® টুলকিট ইনস্টল করার প্রয়োজন হয় না)। nvidia-docker (শুধুমাত্র Linux) সেট আপ করার জন্য GPU সাপোর্ট গাইড এবং টেনসরফ্লো ডকার গাইড দেখুন।

নিচের উদাহরণটি TensorFlow :devel-gpu ইমেজটি ডাউনলোড করে এবং GPU-সক্ষম কন্টেইনার চালানোর জন্য nvidia-docker ব্যবহার করে। এই ডেভেলপমেন্ট ইমেজটি GPU সাপোর্ট সহ একটি pip প্যাকেজ তৈরি করার জন্য কনফিগার করা হয়েছে:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

তারপর, কন্টেইনারের ভার্চুয়াল পরিবেশের মধ্যে, GPU সাপোর্ট সহ TensorFlow প্যাকেজ তৈরি করুন:

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda \
--config=cuda_wheel --config=opt


chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

কন্টেইনারের মধ্যে প্যাকেজটি ইনস্টল এবং যাচাই করুন এবং একটি GPU আছে কিনা তা পরীক্ষা করুন:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

পরীক্ষিত বিল্ড কনফিগারেশন

লিনাক্স

সিপিইউ

জিপিইউ

ম্যাকওএস

সিপিইউ

জিপিইউ