第2回は富士の吉原でやります。
今回は大きい部屋が埋まっていたため定員が少なめなのでご注意ください。
グルメ的にも移動的にもちょうどホットな話題が多いので、観光がてら参加するのもいいでしょう。
おやつは杉山フルーツの生ゼリーを用意しようかと思っています。
入門機械学習のサンプルコードについているインストーラは依存関係のあるパッケージも入れたりソースからインストールするようになっているのでエディタでinstall.packages関数をちょいといじるといいかもしれません。
for(p in cran.packages) { if(!suppressWarnings(require(p, character.only = TRUE, quietly = TRUE))) { cat(paste(p, "missing, will attempt to install\n")) install.packages(p) } else { cat(paste(p, "installed OK\n")) } }
28042013 R
皆様お疲れ様でした。
今回初めてCCCを使いました。廃校になった小学校を転用した施設ですが、机と椅子はノスタルジーあふれるものではなかったですね。
2章の途中までやりましたので、次回は残りと3章を演る予定にしています。5/18といいましたが、Nginxとバッティングするのはよくないので次の週(5/25)にやる予定で調整します。多分富士になるので早めの昼に来て、つけナポリタンとかがんもいっちなんかを攻めるといいです。
それから、今回は懇親会をいれなかったので、次回からはいつものように設定していこうと思っています。 ちなみにアナウンスとか調整はgoogle groupsのMLを使っているのでこっちにも参加して頂ければと思います。
みなさんここらへんに興味があるみたいなのでちょっと調べておきました。
本も出版されているようです。
ggplot2のfacet_wrapで~Speciesとやっててtildeなによ？みたいな話が出たんだけど、いまいちよくわかってなかったので、調べてみたが層別したグラフを並べるための記法のようですね。
自前実装したヒトがいるのでそっちを参照。
高階関数がわからないのであればunderscore.jsのmapの実装は
_.map = _.collect = function(obj, iterator, context) { var results = []; if (obj == null) return results; if (nativeMap && obj.map === nativeMap) return obj.map(iterator, context); each(obj, function(value, index, list) { results.push(iterator.call(context, value, index, list)); }); return results; };
Haskellだったら再帰ですね。
map :: (a -> b) -> [a] -> [b] map _ [] = [] map f (x:xs) = f x : map f xs
で、あらためて該当するコードを読めばよいでしょう
get.location <- function(l) { split.location <- tryCatch(strsplit(l,",")[[1]], error= function(e) return(c(NA, NA))) clean.location <- gsub("^ ", "", split.location) if(length(clean.location) > 2) { return(c(NA, NA)) } else { return(clean.location) } } city.state <- lapply(ufo$Location, get.location)
Windows版のRStudioがよく落ちていたようですが、一応素のRでもこんなかんじでテキストエディタが使えるみたいなので、次回は試すといいかもしれません。
26042013 R
ちょっとggplot2の説明のための資料を足してた。
ggplot2を使えば、こんな感じのいい感じのプロットがさくっと書ける。種毎にプロットを分けてそれぞれ線形回帰直線を引いてます。
library(ggplot2) g <- ggplot(data=iris, aes_string(x='Sepal.Length', y='Sepal.Width', color='Petal.Length')) g + geom_point() + facet_wrap(~Species) + geom_smooth(method='lm')
興味があれば一緒に勉強しませんか？
1章のデータをpandasのread_tableで読み込もうとすると
CParserError: Error tokenizing data. C error: Expected 6 fields in line 755, saw 7
となって、エラー終了する。 これはlong descriptionの中に区切り文字であるtabが含まれているせいで、カラムの長さがちゃうよっていうエラーなんだけど、こういうダメな行をスキップするオプションが見つからなかった。
pythonでデータのクリーニングをやる場合にはpandas使うよりもforループ回して、要素を一つ一つチェックしていくほうがやりやすいかも。対話的じゃないので、途中のデータを取っておきにくいのでデータがでかい場合試行錯誤しにくいけど。
21042013 R
土曜日の入門機械学習読書会のためにRstudioをいじっているけどこれはかなり便利。
1章のデータ（UFOの目撃頻度を可視化する）
2章のデータ(体重と身長)
17042013 R
来週から久々の読書会が始まるのでパラパラめくりながら一回にやれそうな章を区切ってみた。
大体8つに分けられそうなので、毎月やれば今年中に終わりそう。
以下、メモ的なもの
09042013 R
Rで並行、並列プログラミングやHadoopを使うためのライブラリの紹介とか使い方の本
最近pandasのほうに移ってしまったので途中までしか読んでない。Rでなんとかしないといけない状況になるまで使わないだろうなぁ。
27032013 R
入門機械学習は機械学習を使いたいヒトのための入門書であり、作りたいヒトのための本ではありませんので統計の本にあるような数式は全然出てきません。（これはこれでベイズの定理とか正則化とか説明できているのか？と疑問に思うところはあるのだが。）
お手軽にどういう問題の時にどういう手法を選択すればいいか？がわかるような内容になっているので、これはこれでありなのではなかろうかと。
とりあえず使ってみて機械学習がどんな感じのものなのかという感触をつかめばよいと思う。
事例としては
といった感じで万人にオススメできるような内容になっています。
ちょっと残念なのは教師なし学習（クラスタリング）の手法(PCAとかMDS)の説明が超適当で、クラスタリングの素晴らしさについてほとんど触れられていないところと、SVMがおまけ程度でSVMのお手軽さがわからないのと、みんな大好きRandom forestに触れられていないあたりかなぁ。
それから本書のコードはRで書かれているのだけど、本書の内容の範囲だったらRなんて代入が<-になったjavascriptのようなものなので、ちょっとjavascriptを書いたことのあるプログラマーであれば、少ない労力で機会学習の基礎が学べて費用対効果的にかなりお得じゃないかと思う。
あとはggplot2のグラフ描画の快適さは癖になる。
本書を読んで
かなと思う。
ソーシャルグラフの分析にGephiをつかっていたのだけどCYtoscapeとの違いがちょっと気になったのであとで調べてみるかもしれない。
ちょっと時系列解析を触ってみたかったのと神戸に移動するのに時間があったので、富士の人口推移をプロットしてみることにした。
どれどれと月別人口の推移にアクセスしたらあーエクセルかよ、、、。この表管理している人は、綺麗な表をつくるところが目的で、本来の目的である分析のためのデータだってことをすっかり忘れてるよなぁと思いつつ呪いの言葉を吐きながらコピペしてデータを作りなおした。(普段はpyEcelerator使ってるのでコピペなんてやんない。)
ところで、統計情報のページってデータのせるだけで、プロットしたり分析サマリーのせたりしないのね。不思議だ。
できたcsvはgoogle spreadsheetに保存しておいたので好きに使ってください。
2008年11月から旧富士川町の人口が増えているので合併時の人数を除いたデータでプロットしている。本来は2008年10月までの富士川町の人口推移を加えたほうがいいんだろうけど、データが見つからなかった。
fpop <- read.csv('fuji_pop.csv') fpop.ts <- ts(fpop$norm_pop, start=1967, frequency=12) plot(fpop.ts)
単に絶対数の比較をするだけでは、日本の人口変動の影響を排除できないのでノーマライズしてやる。日本の人口データはe-statの1番を使ったが、H12までのデータしかないので、総務省の2-1で補ったが、2010までしかなかった。それから日本の人口は月毎ではなくて年毎のデータを使っているのでギザギザになってる。
fpopr.ts <- ts(fpop$np_jp, start=1967, frequency=12) plot(fpopr.ts)
まぁ、頭打ちから現象に転じてるのはほぼ確実でしょうかなぁ。僕はピュアな富士市民ではないのでイベントとグラフの変動を結びつけて解釈できないのが残念。
あとは人口構成比と結びつけてどのくらいの速さで人口が減少していくかとか、(老人世代が増えることで)活力が失われていくかとかそっちのほうが気になる。市でもそういう分析やってるんだろうか？やっているんだったら分析技法の参考にしたいのでみてみたいなぁ。
それから図書館ももっとRの蔵書増やしたほうがいいと思うよ。
デジタル画像処理 (Rで学ぶデータサイエンス 11)
Python for Data Analysis
入門 機械学習
Parallel R