前回から15日かかった。大体20000XP/dayくらいのパフォーマンスなので次のレベルアップは3週間後くらいかな。

図鑑は130なので、あと12か

• リザードン
• エビワラー
• サワムラー
• マタドガス
• オムスター
• カイリキー
• ゴローニャ
• フーディーン
• プテラ
• ジュゴン
• ベトベトン
• カブトプス

カイリキー、ゴローニャ、フーディーンは飴集めないといけないから面倒くさい。富士総合運動場にパウワウ出てるらしいから行ってみたけどポツポツだしこっちも面倒くさいｗ

まず予習しておいた戸山公園にはピカチュウはいなかった。東側も行ってみたけどブーバーくらいしかいなかったし、高低差があるので歩くのがめんどくさかった。西側はオニスズメばかりｗ

PyConJPは去年は不参加だったので二年ぶりの参加でした。初中級向けの演題が多かった気がして、間口が広げたかったのかなぁと思ったが一方でディープな話題が少なくて初期の頃とは色々変わっているんだなぁと感じた。これは選考プロセスのせいもあるのかな？

あとディープラーニング関連の演題が多かった。一昨年は機械学習の話題も多かった気がするけど。僕の最近の興味もディープラーニングなので、Pythonというよりはディープラーニングの演題を聴きに行った（というかほとんどそれしか聴いてないｗ）

尚、狙った演題を椅子に座って聞くためには一つ前の演題をスキップしないとしんどいことになるのでなかなか厳しかった。もう少し自由に出入りできると良いのかなと思うが、大学では仕方ないかな（逆にカジュアルに出入りできる教室の設計だと困るｗ）

深層学習の次の一手

次の一手ということで、なんとなくディープな話が聞けるのかなと思ったけど、クラウドサービスの話が多かった印象。 自社サービスの宣伝するならもっとグイグイやってくれたほうがよかったかな。

GPUを使える仮想環境のニーズって個人レベルだとかなりあると思うんだよね。気軽に試したいし。

尚、CNTKはちょっと興味を持った。

ニューラルネットワークのフレームワークであるChainerで始める対話Botの作成

自然言語処理系のDLはあまり追いかけてなくて、　word2vecくらいしか理解してないんだけど、あれはディープじゃないから。RNNとかLSTMをつかってやろうとしたことの話で、具体的なコードが出てこなかったけど、やろうとしていることは理解できて面白かった。

LSTMと化合物のフラグメントってどう対応とったらうまいくのかなぁとか思った。ゲノムのほうがやりやすい気はするけどそういう論文は見たことないなぁ。

確率的ニューラルネットの学習と Chainer による実装

とても勉強になった。ツイートでメモとってたので、帰りの新幹線で読み返してた。

画像生成と化合物合成って結構似ていると思っているので、こういう方法で化合物生成するのって悪くはないんじゃないかなぁーと。

そのうち試す。

Pythonでpyftpdlibを使ってFTPサーバーを作る際に使ったテクニックの紹介

要件定義と言うか仕様を固めるの難しいよなぁと思いながら聞いていた。パッケージを作りたいヒトは聞いておいて良い内容だったと思います。僕も、あのときああいう風にすればよかったのかとか思いながら聞いていた。

Deep Learning with Python & TensorFlow

tensorflowの触りだけだった。初めてのヒト向けに具体的な事例を紹介する内容だったと思う。知らない人向けには面白かったと思うが、ある程度使っているヒトにとってはちょっと物足りなかったかも。

二年ぶりの参加だったけど、色々と刺激を受けて楽しかった二日間だった。来年も参加します。

二泊三日で南伊豆に行ってきた。まぁほとんどヒリゾが目的だったけど。

伊豆縦貫道をフルに活用して4時間弱くらいだったので日帰りは無理だけど泊まりの2回は行けそうな感じ（帰宅後の疲労感は半端ないと思うがｗ）

初日は晴れ間も見えて楽しめたが、お昼を過ぎてから急激にうねりがはいってきて体力が削られる感が強かった。尚、ウエットは不要の水温25.8度だった。

ウツボと何か

何かとカゴカキダイ

サヨリと海藻に群がる魚

悠然と泳ぐボラとナマコ

知らん魚二種

綺麗な岩と帰りのショット

帰りにあいあい岬から。それから道端にカニが歩いていたのでプロディジーのアルバムっぽく撮ってみようとしたけど持ち方が悪くて裏プロディジーみたいになってしまったｗ

夕飯は南京亭に久しぶりに行った。その後弓ヶ浜で。折りたたみ自転車を持っていったので孵化作業が捗ったｗ

二日目も早朝に起きて孵化作業。ついでに花の写真も

朝からヒリゾに行ったけど、うねりがひどいので早めに退散。下田の石塚で蕎麦。しかも寒くて暖かいかけを注文。 美味しかったので良し

夜も元気に孵化作業。弓ヶ浜と満月

次の日から伊勢海老漁が始まったそうで、朝から騒がしかった。風呂から眺めていたけど覗きにいけばよかったかなと後悔。

漁が終わったタイミングで孵化作業を開始したので、適当な海の写真になってしまった。もっと伊勢海老ワッシャーみたいな写真を撮るべきだったw

用があったので、早々にチェックアウトしてあいあい岬からヒリゾを撮ったのだけど既にヒトいっぱい。しかも9時前にアイアイの駐車場が8割がた埋まっていて、そこから水着で降りていく集団が多くいたので???となったのだけど、中木の入り口を通過して謎が判明した。

中木の駐車場が満車になったので、アイアイ岬に駐車して、最寄りのバス停（結構離れてる）からバスで中木に向かう集団だったらしい。

土日のヒリゾの闇を見たw 来年行けても平日に行こうっとｗ

昨晩レベルアップしたので前回からは9日か。図鑑は124まで埋めた。

レベルアップ間際にカイリューに進化させることができたので、今後はこいつに星の砂を注ぎ込む予定。

富士 田子の浦みなと公園

ゴースがよく出るので、ゲンガーに進化させるために何度か通った。公園内の道路が整備されているのと、ポケモンの出現ポイントがわかりやすいので自転車で定速走行してぐるぐるまわるのが吉。港側のコイキングが出る場所にたまにミニリュウも出現するので欠かさずまわろう。

ゲンガー必要ないなら行く必要はない。

駐車場に色々な垣根が作られているので見ておくとよい。

清水　三保の松原

松原の中でルアー挿してじっとしているのが性に合わないので、自転車持っていってみたけどどこを走ったら調子いいのかわからなかったのと、車の交通量が多いので結構気を使いそう。帰りの車でゴーリキーなんかが近くにいる感じだったのでちゃんと探索すればそれなりに面白いのかもしれない。

尚、ドリームプラザの交差点でCP429のラッキーに遭遇したのだけど、ズリのみハイパーボールグレートからのドロンをかまされ凹んだ

海辺でゼニガメ

帰りに河岸の市のみやもとで本マグロ丼を食べてきた。

沼津　千本浜

前回は電車で行ってビール飲んできたのだが、今回は機動力を確保するために自転車持って出かけてきた。お香を炊きながら堤防往復してもいいし、あちこち自転車でまわっても楽しい。ワンリキーとイシツブテがちょくちょく出るので、こいつらを進化させるために何度か通ってもいいかなぁと思った。休日は駐車場の確保が課題かなぁ。

ポケモン狩るのに飽きたので、伊豆屋で天丼食べてきた。並ばず入れてラッキー

富士に日本酒バーがオープンしたのは知っていたのだけど、なかなか行く機会がなかった。

月に一度早い時間に店を開けるようなので、その日に合わせて昼酒することにした。バスで富士駅まで行って昼酒してからポケモン狩りながら徒歩で帰るというプラン。

半合500円、一合???円（忘れた。でも1000円ではなかったと思う）というわかりやすい価格体系。

淡墨長寿桜

お通し

珍味さん酒盛り合わせ(ふぐ子、くさやチーズ、イカワタ)

エターナル（ってどこの酒だっけ？ｗ）

お通しが出るので、気になったお酒を一合飲んでさっと帰るのがいいのかなと。あと瓶を見せてくれると嬉しい（言えば見せてくれるんだろうけど）

尚、内装の雰囲気がなんか既視感あるなーと思って帰ってから調べてみたら、あのカフェの方だったのか、納得した。

TensorflowのDNN Regressionを使っていて便利なんだけどハイレベルなAPIばっかり使っていると自分でもっと別なの実装したくなった時に困るだろうなぁと、自分で実装してみたら…

$python boston.py
 RF: R2: 0.736624, RMSE:4.631010
SVM: R2: 0.515467, RMSE:6.281300
TFL: R2: 0.647992, RMSE:5.353827
 MY R2: -1.007581, RMSE:12.785702

精度悪すぎ… sofでも同じような質問を見つけたが同業だろう…ｗ

ログを取ってみたところ、どうも収束が悪いっぽい。

import numpy as np
import tensorflow as tf
from sklearn import cross_validation
from sklearn import datasets
from sklearn.svm import SVR
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score
from math import sqrt
import random

tf.logging.set_verbosity(tf.logging.ERROR)

def test_svm(x_train, x_test, y_train, y_test):
    clf = SVR(kernel='linear').fit(x_train, y_train)
    y_pred = clf.predict(x_test)
    r2 = r2_score(y_test, y_pred)
    rmse = sqrt(mean_squared_error(y_test, y_pred))
    print('SVM: R2: {0:f}, RMSE:{1:f}'.format(r2, rmse))

def test_rf(x_train, x_test, y_train, y_test):
    rlf = RandomForestRegressor().fit(x_train, y_train)
    y_pred = rlf.predict(x_test)
    r2 = r2_score(y_test, y_pred)
    rmse = sqrt(mean_squared_error(y_test, y_pred))
    print(' RF: R2: {0:f}, RMSE:{1:f}'.format(r2, rmse))

def test_tf_learn_dnn(x_train, x_test, y_train, y_test, steps=10000, hidden=[20, 20]):
    feature_columns = [tf.contrib.layers.real_valued_column("", dimension=13)]
    tfl = tf.contrib.learn.DNNRegressor(hidden_units=hidden, feature_columns=feature_columns)
    tfl.fit(x=x_train, y=y_train, steps=steps)
    y_pred = tfl.predict(x_test)
    r2 = r2_score(y_test, y_pred)
    rmse = sqrt(mean_squared_error(y_test, y_pred))
    print('TFL: R2: {0:f}, RMSE:{1:f}'.format(r2, rmse))

def inference(x):
    hidden1 = 20
    hidden2 = 20

    with tf.name_scope("l1") as scope:
        w1 = tf.Variable(tf.truncated_normal([13, hidden1]), name="w1")
        b1 = tf.Variable(tf.zeros([hidden1]), name="b1")
        h1 = tf.nn.relu(tf.matmul(x, w1) + b1)
        #h1 = tf.nn.dropout(h1, 0.9)

    with tf.name_scope("l2") as scope:
        w2 = tf.Variable(tf.truncated_normal([hidden1, hidden2]), name="w1")
        b2 = tf.Variable(tf.zeros([hidden2]), name="b2")
        h2 = tf.nn.relu(tf.matmul(h1, w2) + b2)
        #h2 = tf.nn.dropout(h2, 0.9)

    with tf.name_scope("l3") as scope:
        w3 = tf.Variable(tf.truncated_normal([hidden2, 1]), name="w2")
        b3 = tf.Variable(tf.zeros([1]), name="b3")
        y = tf.matmul(h2, w3) + b3
    return y

def loss(model, y_):
    return tf.reduce_mean(tf.square(tf.sub(model, y_)))

def training(loss, rate):
    return tf.train.AdagradOptimizer(rate).minimize(loss)

def test_my_dnn(x_train, x_test, y_train, y_test, batch_size=32, epoch=10000, shuffle=True):
    max_size = x_train.shape[0]
    n = max_size - batch_size
    idx = list(range(x_train.shape[0]))
    x = tf.placeholder(tf.float32, shape=[None, 13])
    y_ = tf.placeholder(tf.float32, shape=[None])

    model = inference(x)
    loss_value = loss(model, y_)
    train_op = training(loss_value, 0.1)

    init = tf.initialize_all_variables()
    sess = tf.Session()
    sess.run(init)

    for e in range(epoch):
        if shuffle:
            random.shuffle(idx)
            x_train = x_train[idx]
            y_train = y_train[idx]
        for i in range(n / batch_size):
            batch = batch_size * i
            x_train_b = x_train[batch:batch + batch_size]
            y_train_b = y_train[batch:batch + batch_size]
            _, l = sess.run([train_op, loss_value], feed_dict={x: x_train_b, y_: y_train_b})
        #if e % 100 == 0:
        #    print e, l

    y_pred = sess.run(model, feed_dict={x: x_test})
    y_pred = y_pred.T[0]
    r2 = r2_score(y_test, y_pred)
    rmse = sqrt(mean_squared_error(y_test, y_pred))
    print(' MY R2: {0:f}, RMSE:{1:f}'.format(r2, rmse))

if __name__ == "__main__":
    boston = datasets.load_boston()
    x_train, x_test, y_train, y_test = cross_validation.train_test_split(
        boston.data, boston.target, test_size=0.2, random_state=0)

    test_rf(x_train, x_test, y_train, y_test)
    test_svm(x_train, x_test, y_train, y_test)
    test_tf_learn_dnn(x_train, x_test, y_train, y_test)
    test_my_dnn(x_train, x_test, y_train, y_test, shuffle=True, epoch=30000)

というわけでソースコードを読んでみたんだけど、わかりにくかったので途中までしか追えてなく、結局原因がつかめていない状態。

以下メモ

• 実際に使われているクラスはDNNLinearCombinedRegressorで、名前の由来がわからなかったけど、TensorFlow Wide & Deep Learning Tutorialを読めばわかる

• fitで訓練するんだけど、_get_input_fnで入力、出力のplaceholderを返すinput_fnとバッチ用のデータセットを返すfeed_fnという関数が返される。

• バッチは_get_input_fnでランダムシャッフルされているし、デフォルトのサイズは32

• デフォルトのoptimizerはAdaGrad

• clip-gradientsというオプションがあるのだがどこで使われているのかわからなかった

スパイスいじりしている人ならこれは必読

新版 誰も知らないインド料理: おいしい やさしい ヘルシー (知恵の森文庫 t わ 2-1)
渡辺玲
光文社 / 925円 ( 2012-08-08 )

サブジとかマサラとかラッサムなんかをきちんと理解できた。

ナスが余っているのでサブジにしてみたい

こっちもオススメ

スパイスの黄金比率で作る はじめての本格カレー
渡辺 玲
ナツメ社 / 1512円 ( 2013-07-16 )

前回から9日。しあわせタマゴ無しなので結構頑張った感はある。

ルージュラはタマゴから

図鑑は118なのだけど、あと少しの飴からの進化でなんとかなりそうなポケモンが数体あるが、マンキーとかプリンに全然会えない。

ジムには大体10体は置けている感じなのでポケコインは溜まっていく。

土日は色々探索した。全体を通してビリヤニ最高です

土曜日

富士宮の浅間大社と沼津の千本浜に行ってきた。

浅間大社は酒屋が開くまでの暇つぶしだったんだけど、高CP&個体値のイーブイゲットして進化させたらドロポンシャワーズになったので地味に嬉しい。持ってる中で一番CPが高い。

午後はなんとなく千本浜に行ってみたくなったのだけど、どうせ駐車場満車だろうと、電車で行った。ついでにさがみ軒の冷やしラーメン食べてやろうと出向いたんだけど…

なぜかカレーチャーハンに惹かれてランチセットを頼んでしまった。

ラーメンの麺がなんというか不思議な感じ。中華な味わいで飽きがこない系だった。次こそ冷やしラーメンを食べる

千本浜はポケモントレーナーがじっとしている場所だった。あれ面白いのか？アウトドアチェア持ってきてずっと座っているトレーナーもいたw

なんというか異様だったｗ 完全孵化無視ポケモンって感じだった。図鑑埋めというかコレクションの楽しみなんだろうなぁと。僕は歩きまわりたい派なので千本浜は合わなかった。牛臥の方でコイルとビリリダマ集めするほうが楽しい（後述）

千本浜は30分で飽きたので、タップルームに移動してビール飲みながら、唯一アクセスできるポケストップにルアー挿してみた。

日本酒物語エールは梅果汁入りらしく酸味があって一口目はいいんだけど、飲み飽きたｗ　つづいて頼んだIPA（銘柄忘れた）はホップの苦味が聴いていて美味しかった。

ポケストップからはコイキングとメノクラゲしか出なかった…

帰りに草技x2のラフレシアが出来上がったので、強化する予定（現在CP1700）

日曜日

東京遠征。お台場->カーンケバブビリヤニ->不忍池というルートで。もちろんビリヤニがメイン

サラダ

ラッサム

ビリヤニ

ライタ

ビリヤニやばかった。うますぎ…　また行こう。

さてお台場は、まぁ普通だった。歩けるので千本浜よりは楽しかった。個体値低いから全て飴になるけどｗ 不忍池も同様でコイキング出まくりでギャラドス作りが捗るんだろうなぁと思った。

月曜日

牛臥を歩いてみた。公園じゃなくてもっと沼津港寄り。コイルとビリリダマがわんさか出るのでレアコイルに進化できた。マルマインはもう少し

田子の浦みなと公園はゴースの出現率がやたら高いのと、公園が東西に狭いので出るポイントが容易に推測できてゴース狩りは楽。ゲンガー作りたい場合はここでウロウロするのが良いんではないかと思った。お香を炊くとゴース増量。ただし個体値は期待できないので。広見公園の西側で地道に高個体値拾い集めてみなと公園で飴作りに励むのが良いんではないかと思う。高個体値のゴースほしい。卵から生まれんかなぁ…ｗ

前回から8日 しあわせタマゴで6万ポイント稼いで強引に上げたので、次回以降はつらい（たまご切れ）

あと、車ンゴーでジムバトルはどうなのかなーと思う出来事が続いた。正直邪魔だよね…