MBA2012でChainer

直接入れるとめんどくさそうなのでVagrantで

という構成です。

64bitの仮想環境を構築するためにちょっとダウンロードします

vagrant box add trusty64 https://cloud-images.ubuntu.com/vagrant/trusty/current/trusty-server-cloudimg-amd64-vagrant-disk1.box
vagrant init trusty64
vagrant up
vagrant ssh

これ以降は仮想サーバーでのコマンドになります chainerを入れる前に、numpy,cython,h5pyが入ってないといけないみたいです。

sudo apt-get update
sudo apt-get install python-pip
sudo apt-get install python-dev
sudo pip install numpy
sudo pip install cython
sudo apt-get install libhdf5-dev
sudo pip install h5py
sudo pip install chainer

これで、MNISTサンプルが動かせます

$ time python chainer-1.5.1/examples/mnist/train_mnist.py
load MNIST dataset
epoch 1
graph generated
train mean loss=0.192818405504, accuracy=0.94170000316
test  mean loss=0.0941508330352, accuracy=0.969200006723
epoch 2

...

epoch 20
train mean loss=0.00807140778183, accuracy=0.997750002146
test  mean loss=0.101509903543, accuracy=0.981100007892
save the model
save the optimizer

real    596m38.866s
user    614m50.111s
sys 0m34.011s

やたらと時間がかかったが、GPU使うとどのくらい早くなるんだろうか…

Chemoinformaticsにおいて深層学習は有用なのか知りたいので勉強しているところ

深層学習が届いていたので読んでいました。

ProductName 深層学習: Deep Learning
麻生 英樹
近代科学社 / 3780円 ( 2015-11-05 )


対象読者としては、レビューにもあるように

ただどちらも内容の難易度は少し高めで、またビジネスへの応用が書いてあるわけでもないので 「ディープラーニングって最近よく聞くけど何がすごいの?」 というような疑問を持つ一般人や分野外の人には向いてないだろう。 あくまでこの分野を研究している人向けの本である。

だと思う。少なくともPRMLは読んでいないとしんどいと思うのだけど、読むと確実に広がるのでこの際ついでに読みましょう☆

ProductName パターン認識と機械学習 上
C.M. ビショップ
丸善出版 / 6825円 ( 2012-04-05 )


ProductName パターン認識と機械学習 下 (ベイズ理論による統計的予測)
C.M. ビショップ
丸善出版 / 8424円 ( 2012-02-29 )


僕自身は分野外ではあるのだけど、タイトルにもあるようにChemoinformaticsへ適用できるかなぁっていうことで興味を持っているので、一部の基礎編と二部の応用編の画像認識、自然言語処理の章が参考になった。

高速文字列解析の時もそうだけど、結局化学構造は文字列表現とかグラフ表現するので、シニフィエ、シニフィアン的な側面があって、こっちの学問も必然的に追いかけないとトレンドキャッチアップできないよねと。しているヒトがあんまりいないけど。

本書を読んでいて、なんとなく自然言語処理で使われているような方法論を取り入れてみればいいのかなぁと思ったけど、ECFP(FCFP)って結局bi-gram,tri-gramみたいなもんだし、自然言語には文法という並びに意味があるけど、化合物の文字列表現の場合は方向がそろっているわけではないからその辺りをどうにかしないと難しいよねと改めて思ったのと。

現状の化合物の表記法が、例えば軌道とかを暗(implicit)に記述できているのかなぁというあたりがちょっと疑問。

そういった点も含めてKaggleのあれに関しては別のエントリでちょっとメモった。

それから、もし資料が作れればMishima.sykで話すかもしれません。

今更KaggleのMerck Molecular Activity Challengeについて

丁度2年くらい無気力が続いていたので今更感があるがMerck Molecular Activity ChallengeについてChemoinformaticsの実務者側からのメッセージ的なものが無いので書いておいてもいいかなと。

一応ググるとDeepLearningが活性予測に超使える的な文脈で語られているが、実際はこの結果を受けて「すげー使える」という印象をもっているChemoinformatistはほとんどいないはずです。二位のチームがSVMを使っているのだけど、精度がほとんど変わらないので、 「あーSVMでいいじゃん」 という印象のほうが自然かと(評価方法はこれ)。こっちも参考に。

優勝者インタビュー

特徴量作りに心血を注いできたデータサイエンティスト憤死

とあるけど、実際はモンストでいうところの 「ミリ残しでギリ勝ちしたわ」 であろうと。

むしろ個人的には、スコアが(例えば画像認識に比べて)非常に低いというところを熟慮しないといけないと考えている。

Feature Engineering,特徴量づくりをほぼやらず,必要最低限の前処理しかしてない

と話しており

じゃぁ、仮に 特徴量の学習をさせたら大幅に精度が向上するのか?

というあたりが非常に気になるわけです。

実際、トレーニングセットを見てみると、記述子よくわからなかったw やたらスパースだし、フィンガープリントじゃなくIntegerだったのでなんかの特徴をカウントしてんのかな?

正直これから特徴量作れないんじゃないかなぁと。既に記述子の段階で必要な情報が落ちているんじゃないかとしか思えなかった。

我々 Deep Learning 屋は特徴量を工夫するよりも,特徴量を可能な限りデータから学習していたい.こういう傾向って Kaggle にいる特徴量作りに長けた人々を相手にした時に不利になるかもしれないけど,今回は上手くいったわ.

というように特徴量を学習できるようなデータはどういうものか?というあたりを真剣に考えないとダメなのではないかなぁと思っているわけです(少なくとも現在使われているフィンガープリントでは難しいでしょう)。

それがどういうものかなぁというあたりを考えていきたいところです。

再来週末はMishima.sykです

今回はそこそこの人数が集まりそうですし、初参加の方も多いので楽しそうです。

懇親会は(忘年会シーズン+新規オープンの店で混むだろうから)多分当日の追加は無理なので申し込みはお早めに。来週くらいに締め切るかもしれません。

それから演題も絶賛募集中です。

僕はElectronの話か可視化の話をする予定です。 DeepLearningの話はこの前しちゃったからなぁ…TensorFlowの話を誰かしてくれてもありがたい。

可視化の話だとSpotfireとかCytoscapeではやりにくい部分をD3.jsのようなライブラリを使ってやるのが吉とか、インフォグラフィックとどう使い分けるかみたいな抽象的な話になりそうだけど、ネタを挿入しにくいから躊躇している。

笛とかニャンピョウ絡ませるの無理あるからなぁ…w

Mishima syk #7やります

前回の反省を踏まえて今回は早めに告知をw

僕はElectronの話をしようかなぁ。皆様の発表エントリをお待ちしています。

最近blogも放置気味なのでそろそろ更新頻度をあげていきたい(かも…)

Mishima.syk #6 やりました

参加した皆様お疲れ様でした。色々と面白い話が聞けて楽しかったです。

僕は分子設計を軽くディスってきましたw 本当にもっと頑張って欲しいですね。リードオプティマイゼーションのスタンスからFMOを使っているんだけど、もっとアーリーな段階での使い方の議論は新鮮だったので今度試してみたい。

あとは告知の仕方に問題があったので改善したい。事前に知っていれば参加したのにと何人かのヒトに言われたので。twitterやれとしか言えないが、それも難しいでしょうからメールを送るとか考えないとあかんのかな…

懇親会で興味を伺ったらディプラーニングに注目しているヒトが多いようなので次回はそれ系のネタを集めようかなと思っています。

反省会は「鈴木屋」か「やごみ」でやりましょうw

Mishima.syk #6やります

今回は某WSの次の日にしました。

既に決まっている内容はOpenEye Toolokitの紹介(ハンズオンあり)とFMOの話(僕がします)なのでワンランクアップを狙うメディシナルケミスト(not ケミスト)には楽しいと思います。そしてSBDDerにとっても役立つと思います。

ケミストもSBDDerも自分の知識の中でファーマコフォアというものを解釈しがちで、(あっても弱いような微妙な角度の)水素結合を大事にしたり、Cl-πとかいう微妙な相互作用を強いものと認識したがったりしてアレなんだよねーっていう残念な思いをします。FMOで計算するとそのあたり定量的に数値が出るのでスッキリしますね。

Mishima.syk #5やりました

発表者の方、参加者の方お疲れ様でした。今回もとてもおもしろい話が聞けて満足でした。

先週の会の直前にingressのレベルがあがったので、次のレベルが上がるタイミングで更新しようとしたらちょうど一週間経ってしまった。現在レベル4…(二次会でingressの色々を聞いたので多少効率よくAP獲得できるようになったかなと。)

とはいえ、うちの近所は対立組織が強くて、なかなかCFつくったり出来なくてAP獲得率が良くないです…

お昼ごはんは五徹

1426332589

懇親会は、「ごめんね青春」でチラチラ出てきたらしいところ

満足すぎるボリューム☆

1426332591

1426332592

1426332594

今週末はMishima.syk #5です

週末までには犬グレスはレベル3に上げておきたい(三島で破壊活動してみたいのでw)。

時間が余るようだったら 「あたらしいキーコンパウンドすいていのしかた」 という題で、patinformatics関連の発表でもしようかなと思っています。MMPネットワークからのキーコンパウンド推定のアイデアですが、個人的にはCSA(Molecular idle)とFOGをミックスした感じのアルゴリズムだろうなと感じているので、わりと面白いんじゃないかなーとは思っているんですが…

ProductName あたらしいみかんのむきかた
岡田 好弘
小学館 / 1080円 ( 2010-11-16 )