Tensorflow异步与同步

先进先出队列：

tf.FIFOQueue 先进先出队列，按顺序出队列

同步：

# 模拟一下同步先处理数据，然后才能取数据训练
# tensorflow当中，运行操作有依赖性
import tensorflow as tf
import  os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

# 1、首先定义队列
Q = tf.FIFOQueue(3, tf.float32)

# 放入一些数据
enq_many = Q.enqueue_many([[0.1, 0.2, 0.3], ])

# 2、定义一些处理数据的螺距，取数据的过程
#取数据
out_q = Q.dequeue()
#+1
data = out_q + 1
#入队列
en_q = Q.enqueue(data)

with tf.Session() as sess:
    # 初始化队列
    sess.run(enq_many)

    # 处理数据
    for i in range(100):
        sess.run(en_q)

    # 训练数据
    for i in range(Q.size().eval()):
        print(sess.run(Q.dequeue()))

分析：当数据量很大时，入队操作从硬盘中读取数据，放入内存中，
主线程需要等待入队操作完成，才能进行训练。会话里可以运行多个
线程，实现异步读取。

队列管理器：
线程协调器：

异步：

# 模拟异步子线程 存入样本， 主线程 读取样本

import tensorflow as tf
import  os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

# 1、定义一个队列，1000
Q = tf.FIFOQueue(1000, tf.float32)

# 2、定义要做的事情 循环 值，+1， 放入队列当中
var = tf.Variable(0.0)

# 实现一个自增  tf.assign_add
data = tf.assign_add(var, tf.constant(1.0))

en_q = Q.enqueue(data)

# 3、定义队列管理器op, 指定多少个子线程，子线程该干什么事情
qr = tf.train.QueueRunner(Q, enqueue_ops=[en_q] * 2)

# 初始化变量的OP
init_op = tf.global_variables_initializer()

with tf.Session() as sess:

    # 初始化变量
    sess.run(init_op)
    
    # 开启线程管理器
    coord = tf.train.Coordinator()
    
    # 真正开启子线程
    threads = qr.create_threads(sess, coord=coord, start=True)
    
    # 主线程，不断读取数据训练
    for i in range(300):
        print(sess.run(Q.dequeue()))
        
    # 回收资源
    coord.request_stop()
    
    coord.join(threads)

来源：https://blog.csdn.net/qq_43476433/article/details/102754391