Как TensorFlow использует GPU и TPU для вычислений?
Этот вопрос проверяет понимание принципов ускорения вычислений с помощью GPU и TPU в TensorFlow.
Короткий ответ
TensorFlow использует:
- GPU (через CUDA) для ускоренных матричных операций.
- TPU (специальные чипы от Google) для высокопроизводительных ML-задач.
- Динамическое распределение вычислений между устройствами.
Длинный ответ
Использование GPU в TensorFlow:
import tensorflow as tf
print("Available GPUs:", tf.config.list_physical_devices('GPU'))Запуск модели на GPU:
with tf.device('/GPU:0'):
x = tf.random.normal((1000, 1000))
y = tf.matmul(x, x)Использование TPU:
resolver = tf.distribute.cluster_resolver.TPUClusterResolver()
tf.config.experimental_connect_to_cluster(resolver)
tf.tpu.experimental.initialize_tpu_system(resolver)
GPU ускоряют обучение за счет параллельных вычислений, а TPU обеспечивают еще большую скорость, особенно для больших моделей.