irpas技术客

tensorflow报错 或者 keras报错 以及tf.keras报错: OOM 显存不足_tensorflow.keras报错__刘文凯_

网络投稿 5437

tensorflow报错 或者 keras报错,以及tf.keras报错:Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

文章目录 问题描述原因解决(1)在tensorflow中(2)在keras中(3)在tf.keras中

问题描述

今天进行5折交叉验证 以及 格点搜索时遇到的问题,以前数据量过大、或者bitch_size过大时也会发生,具体如图所示: 在linux中使用命令:watch -n 0.1 nvidia-smi 查看GPU使用情况

原因

由于显存不足造成的,但是并非真正的显存不足,而是由于tensorflow把显存吃完了,但是并没有实际的有效利用。因此可以分配需要的显存给tensorflow。(keras基于tensorflow的,同样适用)

解决

1、设置小的bitch_size, 虽然可以用,但是指标不治本。 2、手动设置GPU,在train.py中:

(1)在tensorflow中 import tensorflow as tf import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" 指定使用哪个GPU config = tf.ConfigProto() config.gpu_options.allow_growth = True # 按需分配显存 config.gpu_options.per_process_gpu_memory_fraction = 0.4 # 最大使用显存40% session = tf.Session(config=config)) # 创建tensorflow会话 ... (2)在keras中 import tensorflow as tf from keras.models import Sequential import os from keras.backend.tensorflow_backend import set_session ## 和tf.keras不同 os.environ["CUDA_VISIBLE_DEVICES"] = "0" config = tf.ConfigProto() config.gpu_options.allow_growth = True # 按需分配显存 set_session(tf.Session(config=config)) # 把设置传给keras model = Sequential() ... (3)在tf.keras中 import tensorflow as tf from tensorflow.keras.models import Sequential import os from tensorflow_core.python.keras.backend import set_session # 和keras不同 os.environ["CUDA_VISIBLE_DEVICES"] = "0" config = tf.ConfigProto() config.gpu_options.allow_growth = True # 按需分配显存 config.gpu_options.per_process_gpu_memory_fraction = 0.4 # 最大使用显存40% set_session(tf.Session(config=config)) # 把设置传给 tf.keras model = Sequential() ...

补充: tf.keras可以使用数据读取多线程加速:

model.fit(x_train,y_train,use_multiprocessing=True, workers=4) # 开启多线程,使用4个CPU

清空会话:

from tensorflow import keras keras.backend.clear_session()

清空后可以继续创建新的会话


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。

标签: #tensorflow报错 #或者 #IF #you #want #To