উৎস থেকে তৈরি করুন

উত্স থেকে একটি টেনসরফ্লো পিপ প্যাকেজ তৈরি করুন এবং এটি উবুন্টু লিনাক্স এবং ম্যাকোসে ইনস্টল করুন। যদিও নির্দেশাবলী অন্যান্য সিস্টেমের জন্য কাজ করতে পারে, এটি শুধুমাত্র উবুন্টু এবং macOS এর জন্য পরীক্ষিত এবং সমর্থিত।

Linux এবং macOS এর জন্য সেটআপ

আপনার উন্নয়ন পরিবেশ কনফিগার করতে নিম্নলিখিত বিল্ড টুল ইনস্টল করুন।

পাইথন এবং টেনসরফ্লো প্যাকেজ নির্ভরতা ইনস্টল করুন

sudo apt install python3-dev python3-pip

brew install python

TensorFlow পিপ প্যাকেজ নির্ভরতা ইনস্টল করুন (যদি ভার্চুয়াল পরিবেশ ব্যবহার করেন, --user আর্গুমেন্ট বাদ দিন):

pip install -U --user pip

Bazel ইনস্টল করুন

TensorFlow তৈরি করতে, আপনাকে Bazel ইনস্টল করতে হবে। Bazelisk হল Bazel ইনস্টল করার একটি সহজ উপায় এবং TensorFlow-এর জন্য স্বয়ংক্রিয়ভাবে সঠিক Bazel সংস্করণ ডাউনলোড করে। ব্যবহারের সুবিধার জন্য, আপনার PATH এ bazel এক্সিকিউটেবল হিসাবে Bazelisk যোগ করুন।

Bazelisk উপলব্ধ না হলে, আপনি ম্যানুয়ালি Bazel ইনস্টল করতে পারেন। TensorFlow এর .bazelversion ফাইল থেকে সঠিক Bazel সংস্করণ ইনস্টল করা নিশ্চিত করুন।

ক্ল্যাং ইনস্টল করুন (প্রস্তাবিত, শুধুমাত্র লিনাক্স)

ক্ল্যাং হল একটি C/C++/Objective-C কম্পাইলার যা LLVM-এর উপর ভিত্তি করে C++ এ কম্পাইল করা হয়। TensorFlow 2.13 দিয়ে শুরু করে TensorFlow তৈরি করার জন্য এটি ডিফল্ট কম্পাইলার। বর্তমান সমর্থিত সংস্করণ হল LLVM/Clang 17।

এলএলভিএম ডেবিয়ান/উবুন্টু রাতের প্যাকেজগুলি লিনাক্সে ম্যানুয়াল ইনস্টলেশনের জন্য একটি স্বয়ংক্রিয় ইনস্টলেশন স্ক্রিপ্ট এবং প্যাকেজ সরবরাহ করে। নিশ্চিত করুন যে আপনি নিম্নলিখিত কমান্ডটি চালাচ্ছেন যদি আপনি ম্যানুয়ালি আপনার প্যাকেজ উত্সগুলিতে llvm apt সংগ্রহস্থল যোগ করেন:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

এখন যে /usr/lib/llvm-17/bin/clang এই ক্ষেত্রে ক্ল্যাং করার আসল পথ।

বিকল্পভাবে, আপনি পূর্ব-নির্মিত Clang + LLVM 17 ডাউনলোড এবং আনপ্যাক করতে পারেন।

ডেবিয়ান/উবুন্টু অপারেটিং সিস্টেমে ডাউনলোড করা ক্ল্যাং + এলএলভিএম 17 বাইনারি সেট আপ করতে আপনি যে পদক্ষেপগুলি নিতে পারেন তার একটি উদাহরণ নীচে দেওয়া হল:

1. পছন্দসই গন্তব্য ডিরেক্টরিতে পরিবর্তন করুন: cd <desired directory>

2. একটি সংরক্ষণাগার ফাইল লোড করুন এবং বের করুন...(আপনার আর্কিটেকচারের জন্য উপযুক্ত):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   

3. এক্সট্র্যাক্ট করা বিষয়বস্তু (ডিরেক্টরি এবং ফাইল) /usr এ অনুলিপি করুন (আপনার sudo অনুমতির প্রয়োজন হতে পারে, এবং সঠিক ডিরেক্টরি বিতরণ অনুসারে পরিবর্তিত হতে পারে)। এটি কার্যকরভাবে ক্ল্যাং এবং এলএলভিএম ইনস্টল করে এবং এটিকে পাথে যুক্ত করে। আপনার কোন কিছু প্রতিস্থাপন করতে হবে না, যদি না আপনার পূর্ববর্তী ইনস্টলেশন থাকে, এই ক্ষেত্রে আপনার ফাইলগুলি প্রতিস্থাপন করা উচিত:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr

4. প্রাপ্ত ক্ল্যাং + এলএলভিএম 17 বাইনারি সংস্করণটি পরীক্ষা করুন:

   clang --version

5. এখন সেই /usr/bin/clang হল আপনার নতুন ক্ল্যাং এর আসল পথ। আপনি ./configure স্ক্রিপ্ট চালাতে পারেন অথবা ম্যানুয়ালি এনভায়রনমেন্ট ভেরিয়েবল CC এবং BAZEL_COMPILER এই পথে সেট করতে পারেন।

GPU সমর্থন ইনস্টল করুন (ঐচ্ছিক, শুধুমাত্র Linux)

MacOS এর জন্য কোন GPU সমর্থন নেই ।

একটি GPU-তে TensorFlow চালানোর জন্য প্রয়োজনীয় ড্রাইভার এবং অতিরিক্ত সফ্টওয়্যার ইনস্টল করতে GPU সমর্থন নির্দেশিকা পড়ুন।

TensorFlow সোর্স কোড ডাউনলোড করুন

TensorFlow সংগ্রহস্থল ক্লোন করতে গিট ব্যবহার করুন:

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

রেপো ডিফল্ট master ডেভেলপমেন্ট শাখায়। আপনি নির্মাণের জন্য একটি রিলিজ শাখাও দেখতে পারেন:

git checkout branch_name  # r2.2, r2.3, etc.

বিল্ড কনফিগার করুন

TensorFlow বিল্ডগুলি সংগ্রহস্থলের রুট ডিরেক্টরিতে .bazelrc ফাইল দ্বারা কনফিগার করা হয়। ./configure বা ./configure.py স্ক্রিপ্টগুলি সাধারণ সেটিংস সামঞ্জস্য করতে ব্যবহার করা যেতে পারে।

অনুগ্রহ করে রিপোজিটরির রুট ডিরেক্টরি থেকে ./configure স্ক্রিপ্টটি চালান। এই স্ক্রিপ্টটি আপনাকে TensorFlow নির্ভরতার অবস্থানের জন্য অনুরোধ করবে এবং অতিরিক্ত বিল্ড কনফিগারেশন বিকল্পের জন্য জিজ্ঞাসা করবে (উদাহরণস্বরূপ কম্পাইলার পতাকা)। বিস্তারিত জানার জন্য নমুনা অধিবেশন বিভাগে পড়ুন.

./configure

এই স্ক্রিপ্টের একটি পাইথন সংস্করণও রয়েছে, ./configure.py । ভার্চুয়াল পরিবেশ ব্যবহার করলে, python configure.py পরিবেশের মধ্যে পাথকে অগ্রাধিকার দেয়, যেখানে ./configure পরিবেশের বাইরের পাথগুলিকে অগ্রাধিকার দেয়। উভয় ক্ষেত্রেই আপনি ডিফল্ট পরিবর্তন করতে পারেন।

নমুনা অধিবেশন

নিম্নলিখিত ./configure স্ক্রিপ্টের একটি নমুনা রান দেখায় (আপনার সেশন আলাদা হতে পারে):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

কনফিগারেশন বিকল্প

GPU সমর্থন

v.2.18.0 থেকে

GPU সমর্থনের জন্য, কনফিগারেশনের সময় cuda=Y সেট করুন এবং প্রয়োজনে CUDA এবং cuDNN-এর সংস্করণগুলি নির্দিষ্ট করুন৷ Bazel CUDA এবং CUDNN প্যাকেজগুলি স্বয়ংক্রিয়ভাবে ডাউনলোড করবে বা প্রয়োজনে স্থানীয় ফাইল সিস্টেমে CUDA/CUDNN/NCCL পুনঃবিতরণের দিকে নির্দেশ করবে৷

v.2.18.0 এর আগে

GPU সমর্থনের জন্য, কনফিগারেশনের সময় cuda=Y সেট করুন এবং CUDA এবং cuDNN এর সংস্করণগুলি নির্দিষ্ট করুন৷ আপনার সিস্টেমে CUDA বা cuDNN এর একাধিক সংস্করণ ইনস্টল করা থাকলে, ডিফল্টের উপর নির্ভর না করে স্পষ্টভাবে সংস্করণটি সেট করুন। ./configure আপনার সিস্টেমের CUDA লাইব্রেরিতে প্রতীকী লিঙ্ক তৈরি করে—তাই যদি আপনি আপনার CUDA লাইব্রেরি পাথগুলি আপডেট করেন, এই কনফিগারেশন ধাপটি নির্মাণের আগে আবার চালাতে হবে।

অপ্টিমাইজেশন

কম্পাইলেশন অপ্টিমাইজেশান ফ্ল্যাগের জন্য, ডিফল্ট ( -march=native ) আপনার মেশিনের CPU প্রকারের জন্য জেনারেট করা কোডটিকে অপ্টিমাইজ করে। যাইহোক, যদি একটি ভিন্ন CPU টাইপের জন্য TensorFlow তৈরি করা হয়, তাহলে আরও নির্দিষ্ট অপ্টিমাইজেশান ফ্ল্যাগ বিবেচনা করুন। উদাহরণের জন্য GCC ম্যানুয়াল দেখুন।

পূর্বনির্ধারিত কনফিগারেশন

কিছু প্রি-কনফিগার করা বিল্ড কনফিগার উপলব্ধ রয়েছে যা bazel build কমান্ডে যোগ করা যেতে পারে, উদাহরণস্বরূপ:

• --config=dbg ডিবাগ তথ্য দিয়ে তৈরি করুন। বিস্তারিত জানার জন্য CONTRIBUTING.md দেখুন।
• --config=mkl — Intel® MKL-DNN-এর জন্য সমর্থন।
• --config=monolithic — বেশিরভাগ স্ট্যাটিক, একশিলা বিল্ডের জন্য কনফিগারেশন।

পিপ প্যাকেজ তৈরি এবং ইনস্টল করুন

Bazel বিল্ড অপশন

বিল্ড অপশনের জন্য Bazel কমান্ড-লাইন রেফারেন্স পড়ুন।

উৎস থেকে TensorFlow তৈরি করা অনেক RAM ব্যবহার করতে পারে। যদি আপনার সিস্টেম মেমরি-সীমাবদ্ধ হয়, তাহলে Bazel এর RAM ব্যবহার সীমিত করুন: --local_ram_resources=2048 ।

অফিসিয়াল টেনসরফ্লো প্যাকেজগুলি একটি ক্ল্যাং টুলচেন দিয়ে তৈরি করা হয়েছে যা manylinux2014 প্যাকেজ স্ট্যান্ডার্ড মেনে চলে।

প্যাকেজ তৈরি করুন

পিপ প্যাকেজ তৈরি করতে, আপনাকে --repo_env=WHEEL_NAME পতাকা নির্দিষ্ট করতে হবে। প্রদত্ত নামের উপর নির্ভর করে, প্যাকেজ তৈরি করা হবে, যেমন:

টেনসরফ্লো সিপিইউ প্যাকেজ তৈরি করতে:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu

টেনসরফ্লো জিপিইউ প্যাকেজ তৈরি করতে:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

টেনসরফ্লো টিপিইউ প্যাকেজ তৈরি করতে:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

রাতের প্যাকেজ তৈরি করতে, tensorflow এর পরিবর্তে tf_nightly সেট করুন, যেমন CPU রাতের প্যাকেজ তৈরি করতে:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tf_nightly_cpu

ফলস্বরূপ, উত্পন্ন চাকা অবস্থিত হবে

bazel-bin/tensorflow/tools/pip_package/wheel_house/

প্যাকেজ ইনস্টল করুন

জেনারেট করা .whl ফাইলের ফাইলের নাম TensorFlow সংস্করণ এবং আপনার প্ল্যাটফর্মের উপর নির্ভর করে। প্যাকেজ ইনস্টল করতে pip install ব্যবহার করুন, উদাহরণস্বরূপ:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

ডকার লিনাক্স তৈরি করে

টেনসরফ্লো-এর ডকার ডেভেলপমেন্ট ইমেজগুলি উৎস থেকে লিনাক্স প্যাকেজ তৈরি করার জন্য একটি পরিবেশ সেট আপ করার একটি সহজ উপায়। এই চিত্রগুলিতে ইতিমধ্যেই টেনসরফ্লো তৈরির জন্য প্রয়োজনীয় উত্স কোড এবং নির্ভরতা রয়েছে৷ ইনস্টলেশন নির্দেশাবলী এবং উপলব্ধ ইমেজ ট্যাগের তালিকার জন্য TensorFlow ডকার গাইডে যান।

শুধুমাত্র সিপিইউ

নিম্নলিখিত উদাহরণটি সর্বশেষ TensorFlow সোর্স কোড থেকে একটি CPU-শুধু প্যাকেজ তৈরি করতে :devel চিত্র ব্যবহার করে। উপলব্ধ TensorFlow -devel ট্যাগগুলির জন্য ডকার গাইডটি দেখুন।

সর্বশেষ উন্নয়ন চিত্র ডাউনলোড করুন এবং একটি ডকার কন্টেইনার শুরু করুন যা আপনি পিপ প্যাকেজ তৈরি করতে ব্যবহার করবেন:

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

উপরের docker run কমান্ডটি /tensorflow_src ডিরেক্টরিতে একটি শেল শুরু করে - উৎস গাছের মূল। এটি কন্টেইনারের /mnt ডিরেক্টরিতে হোস্টের বর্তমান ডিরেক্টরি মাউন্ট করে এবং পরিবেশগত ভেরিয়েবলের মাধ্যমে হোস্ট ব্যবহারকারীর তথ্য কন্টেইনারে প্রেরণ করে (অনুমতি সেট করতে ব্যবহৃত হয়—ডকার এটিকে কঠিন করতে পারে)।

বিকল্পভাবে, একটি কন্টেইনারের মধ্যে TensorFlow-এর হোস্ট কপি তৈরি করতে, হোস্ট সোর্স ট্রিটিকে কন্টেইনারের /tensorflow ডিরেক্টরিতে মাউন্ট করুন:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

সোর্স ট্রি সেট আপ করে, কনটেইনারের ভার্চুয়াল পরিবেশের মধ্যে টেনসরফ্লো প্যাকেজ তৈরি করুন:

1. ঐচ্ছিক: বিল্ড কনফিগার করুন - এটি ব্যবহারকারীকে বিল্ড কনফিগারেশন প্রশ্নের উত্তর দিতে অনুরোধ করে।
2. পিপ প্যাকেজ তৈরি করুন।
3. কন্টেইনারের বাইরের জন্য ফাইলের মালিকানা অনুমতি সামঞ্জস্য করুন।

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt

`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

পাত্রের মধ্যে প্যাকেজ ইনস্টল এবং যাচাই করুন:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

আপনার হোস্ট মেশিনে, টেনসরফ্লো পিপ প্যাকেজটি বর্তমান ডিরেক্টরিতে রয়েছে (হোস্ট ব্যবহারকারীর অনুমতি সহ): ./tensorflow- version - tags .whl

GPU সমর্থন

ডকার হল TensorFlow-এর জন্য GPU সমর্থন তৈরি করার সবচেয়ে সহজ উপায় যেহেতু হোস্ট মেশিনের জন্য শুধুমাত্র NVIDIA® ড্রাইভার প্রয়োজন ( NVIDIA® CUDA® টুলকিটটি ইনস্টল করতে হবে না)। এনভিডিয়া-ডকার (শুধুমাত্র লিনাক্স) সেট আপ করতে GPU সমর্থন নির্দেশিকা এবং TensorFlow ডকার গাইড পড়ুন।

নিম্নলিখিত উদাহরণটি TensorFlow :devel-gpu ইমেজ ডাউনলোড করে এবং GPU-সক্ষম কন্টেইনার চালানোর জন্য nvidia-docker ব্যবহার করে। এই ডেভেলপমেন্ট ইমেজটি GPU সমর্থন সহ একটি পিপ প্যাকেজ তৈরি করতে কনফিগার করা হয়েছে:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

তারপর, কন্টেইনারের ভার্চুয়াল পরিবেশের মধ্যে, GPU সমর্থন সহ TensorFlow প্যাকেজ তৈরি করুন:

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda \
--config=cuda_wheel --config=opt


chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

পাত্রের মধ্যে প্যাকেজটি ইনস্টল এবং যাচাই করুন এবং একটি GPU পরীক্ষা করুন:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

পরীক্ষিত বিল্ড কনফিগারেশন

লিনাক্স

সিপিইউ

জিপিইউ

macOS

সিপিইউ

জিপিইউ