TensorFlow, MNIST; wizualizacja

Spis treści

1. Wstęp
2. Wizualizacja
3. Skuteczność dopasowania
4. Kod źródłowy generujący pliki.

Wstęp

Poniższa wizualizacja ma na celu zaprezentowanie kolejnych iteracji w uczeniu maszynowym na zestawie pojedynczych cyfr pisanych odręcznie - baza MNIST.

Kolejne iteracje (jest ich 1000 ale poniżej prezentowane są w skali logarytmicznej) to wynik przetworzenia 100 losowo pobranych cyfr i aktualizacji wag odpowiadających każdej z cyfr.

Wizualizacja

Skuteczność dopasowania

Poniższy wykres w całości wizualizuje rozkład skuteczności względem iteracji. W tej sesji utrzymała się na poziomie 0.9012 (liczba oznacza prawdopodobieństwo rozpoznania właściwej cyfry).

Kod źródłowy generujący pliki.

#
# Na podstawie https://www.tensorflow.org/versions/r1.2/get_started/mnist/beginners
#
# UWAGA: katalog ./app/tf_data/ musi istnieć już na dysku
#
import numpy as np
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

# 784 = 28*28
# mnist.train.images = [55000, 784]
# mnist.train.labels = [55000, 10]

def writePass(sess, num, iter, accur):
    currW = sess.run([W])
    row = [currW[0][x][num] for x in range(784)]
    f = open('./app/tf_data/dr'+str(num)+'_'+str(iter)+'.json','w')
    f.write('{"max":'+str(np.max(row))+',"min":'+str(np.min(row))+',"acc":'+str(accur)+',"arr":[' +','.join([str(x) for x in row]) + ']}')
    f.close()

x = tf.placeholder(tf.float32, [None, 784], name='x')
W = tf.Variable(tf.zeros([784, 10]), name='W')
b = tf.Variable(tf.zeros([10]), name='b')
y = tf.nn.softmax(tf.matmul(x, W) + b, name='y')

y_ = tf.placeholder(tf.float32, [None, 10], name='y_')
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.05).minimize(cross_entropy)

correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    for nn in range(10):
        writePass(sess,nn,0,0)
    
    for _ in range(1000):
        batch_xs, batch_ys = mnist.train.next_batch(100)
        sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
        
        ac = sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels})
        for nn in range(10):
            writePass(sess,nn,_+1,ac)

    print()
    print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

\> python .\mnist_draw.py
Extracting MNIST_data/train-images-idx3-ubyte.gz
Extracting MNIST_data/train-labels-idx1-ubyte.gz
Extracting MNIST_data/t10k-images-idx3-ubyte.gz
Extracting MNIST_data/t10k-labels-idx1-ubyte.gz

0.9012