<   2015年 05月 ( 2 )   > この月の画像一覧

libsvm (e1071) のグリッドサーチで2点ほど。
実行環境は windows です。

グリッドサーチの分割方法


グリッドサーチの際、常に分割は同じなのか。
例えば、 cross=3 と指定して、複数回実行したら、
常に同じデータが同じグループになって実行されるのか。
毎回ランダムなデータがランダムにグループ分けされて実行されるのか。

ソースを見てみたところ、
R で書かれたソース(tune.R)では、特にランダマイズされていなかったが、
C で書かれたソース(Rsvm.c)では、ランダマイズされていた。
windows で実行する場合は、
多分 R ファイルを実行するのではなく dll を呼んでいると思うので、
ということであれば、毎回ランダムなのだろうなぁと思う。
想像でしかないのだが。

グリッドサーチの結果の正答率


SVM のチューニングのしかた(2) - ほくそ笑む
http://d.hatena.ne.jp/hoxo_m/20110325/p1
で、以下のようにある。
グリッドサーチの結果としてベストパラメータを出力しています。上記のプログラムを実行すると、結果は下記のように出ました。
- best parameters:
gamma = 0.1 ; cost = 1 ;
accuracy: 97.33187 %

gamma=0.1, cost=1 の組合せのとき、正答率 97.3 % を出していることがわかります。

gamma=0.1, cost=1 のときに、cross=3 であれば、
3回の svm が実行されていると思うのだが、
accuracy は一体何の数字なのか。

割とあっさり 100% が出たりするが、
3回実行してそう簡単に 100% が出るとは考えづらいので、
加算平均ではないような気がする。
てことは、3回の中の最高正答率なのかなという気もするが、
100% のときは dispersion (分散)も 0 と出るので、
やっぱり加算平均かもしれない。

なわけで、ソースを見てみた。
結果、3 回実行の中での平均値を選択していた。
それはそれでなんかびっくり。
3 回実行を更に複数回す設定 (nrepeat) をしている場合は、
nrepeat 回の中での最小エラー率が選択されるので、
やっぱりエラー率は 3 個得られて、
そこから平均を出すぽい。

あっさり 100% が出ても、
平均を取った結果の 100% なら、
ある程度の余裕を持って識別境界が決定されていて、
オーバーフィッティングの心配はないと思っていいのかな。
[PR]
by xiaoxia | 2015-05-20 19:35 | プログラム言語 | Comments(0)

人工知能の夢

「人工知能に対する楽観的な妄想」はいつか来た道 - 銀座で働くデータサイエンティストのブログ

人工知能、AI とか言われる分野にン十年前からいるので、
これを読んで、あーそうだそうだと色々思った。
そのあたりをだらだらと。

昨今、「人工知能」がブームになっている。
たぶん、Deep Learning (深層学習)のお陰だろうと思う。
ざっくりに言うと、
意外に簡単なとうに枯れたような仕組みで、高い精度の画像認識ができた!
というものである。
その仕組みは画像認識でなくても使えるよね!というわけで、
ブームになっている
さらにその陰には、マシンパワーやネットワークの向上や、
計算の分散方法の研究成果なんかがあると思う。
でも、その前は長いこと陽の目を見ない冬の時代が続いていた。

人工知能の先には、やっぱりロボットの夢がある。
日本人は御一新の前から、からくり人形なんかが大好きなわけだが、
欧米人は人間に似せた人形(ひとがた)を作ることに、
なんだかものすごく抵抗があるらしい。
人を作るのは神の領域であって、侵すことは禁忌なのだろう。
Deep Learning が出てくるまで、
脳の機能を模倣しようとしたニューラルネットワークの研究が
流行っていなかったのも、
心理的抵抗があったのじゃないかと思う。
(Deep Learning の仕組みの基本はニューラルネットです)

しかし、Deep Learning は突然出てきたわけではない。
冬の時代にもニューラルや人工知能の研究を継続してきた人がいたからだ。
売れないものに喜んでお金を出すような会社は、あまりない
(会社でない、例えば国立の機関などでも、お金はそちらに流れません)
だから、そういう研究者は、
別の研究の陰で、研究費をやりくりしながら、
こっそりと人工知能の研究をしてきた。
研究者が「そこに夢がある」と思うからこそ、頑張ってやりくりする。
たぶん、色んな所に色んな研究者がいて、色んな夢を見ているのだろう。
中には、ずっと冬のままで、枯れてしまう夢もあるのだろう。

いま、Deep Learning はバブルと言っていいほど、もてはやされている感がある。
そして以前にも、カオスだの、ファジィだの、複雑系だのと、
もてはやされた言葉がたくさんあった。
20 年以上前に購入したウチの洗濯機にも
「ニューロ」というボタンがある。
白物家電にボタンが付くくらい、それらの言葉は消費された。
そうしてそれらの言葉は、昨今では研究分野以外ではほぼ出会わない。
人工知能や Deep Learning も、そのように消費されていくのかなと思う。

私個人も、リンク先のページと同感で、
人工知能はまだまだ人を脅かすほどの「知能」はないし、
私が生きている間には
電気羊の夢を見るアンドロイドは完成しないだろう。
でも、世間の人々の「楽観的な妄想」は嫌いではない。
それは「あの頃、夢見ていた21世紀」なんだろうなと思う。
[PR]
by xiaoxia | 2015-05-01 18:43 | コンピュータ関係 | Comments(0)

ダメ女プログラマ&主婦&腐女子&バイオリン弾き


by 小霞