2017-01-24

『ゼロから作るDeep Learning』を読み終わった

読み終わりました。「Scalaで実装する」を目標として掲げていましたが結論から言うと5章までしか実装していません。理由は以下の通り。

『ゼロから作るディープラーニング』6章から急に「だいたいこんな感じやでーコード断片的に載せるけど詳しくはｷﾞｯﾊﾌﾞ見てやー」になってゼロから作る感が皆無になって辛い。まあ紙幅の都合上しょうがないんだが
— 無人在来線冬見 (@who_you_me) 2017年1月23日

Scalaで書き直すのもこの調子だとほんとにただ淡々と移植するだけになって楽しくないのでやめよ
— 無人在来線冬見 (@who_you_me) 2017年1月23日

途中まで実装したコードはこちら

github.com

上のツイートにもある通り、5章までは丹念に解説しながらニューラルネットが実装されていきますが、6章からはほぼ読み物と化します。

とはいえ5章までちゃんと手動かして基礎をつかめばそれ以降の内容は特に自分で実装する必要はないかなと思うので（そもそも大多数の人は実際にDeepLearningやるなら自前で実装せずにライブラリ使うので十分）この構成はバランス取れているのかなと思います。

「DeepLearningちゃんと知っておきたいけど端から見ると不毛なライブラリ覇権争いみたいなのには巻き込まれたくない。勝ち組決まってから乗り出したいけどその前に基礎は知っておきたい」みたいな人には向いてる本なんじゃないでしょうか（適当）。

現状DeepLearningをこれ以上掘り下げる気はあまりないので次は可視化強化月間です。matplotlibとseabornをちゃんとやります。

2017-01-14

『ゼロから作るDeep Learning』をScalaで実装する（その3） - ニューラルネットワークとその学習

前回から2週間以上経ちました（そして年をまたいだ）がサボっていたわけではありません。

4章まで終わりました。規模大きくなってきたのでここにコード貼ることはしません。以下をご覧ください。

github.com

以下雑感

MNISTデータセットのロードでハマる
- うまい感じにnumpyの配列からJSONかCSV経由でロードできないかなーと思ったがサイズ大きすぎて断念
- 結局ファイル落としてScalaのオブジェクトにするところまで全部自分で書いた
  - https://github.com/who-you-me/DeepLearningFromScratchWithScala/blob/master/src/main/scala/com/github/who_you_me/deeplearning/dataset/Mnist.scala
numpyでは「n次元ベクトル」と「nx1行列」の違いを意識することはほとんどないが、Scala（というかBreeze）では当然異なる型になるのでいろいろ厄介
- とはいえ静的型付け言語なんだから当然
- 暗黙の型変換とかを使えばうまくできそうだが、難しいので断念
- 一貫してDenseMatrixを使う方針で
4章では愚直に勾配降下法で学習しているが、numpyより実装速度が遅い
- たぶん非効率な実装になってるんだろう。が、チューニングする気は特にない

今後は特にここに書くこともなさそうなので、全部読み終わって総括するまではたぶんこのシリーズは更新しないです。

2016-12-30

『ゼロから作るDeep Learning』をScalaで実装する（その2） - パーセプトロン

前回の続き

who-you-me.hatenablog.com

ANDゲート、NANDゲート、ORゲート、XORゲートをパーセプトロンで実装します。

// Perceptron.scala
import breeze.linalg._

object Perceptron {
  private def gate(w: DenseVector[Double], b: Double)
                  (x1: Double, x2: Double): Double = {
    assert(w.size == 2)
    val x = DenseVector(x1, x2)
    if ((w dot x) + b <= 0) 0.0
    else 1.0
  }

  val AND = gate(DenseVector(0.5, 0.5), -0.7)_
  val NAND = gate(DenseVector(-0.5, -0.5), 0.7)_
  val OR = gate(DenseVector(0.5, 0.5), -0.2)_

  def XOR(x1: Double, x2: Double): Double = {
    val s1 = NAND(x1, x2)
    val s2 = OR(x1, x2)
    AND(s1, s2)
  }
}

コードの重複を避けたかったので、AND、NAND、ORについては共通のカリー化された関数gateを用意し、それに部分適用する形で実装してみました。

GitHubにも上げた。

github.com

ここまでは簡単。次はニューラルネットでたぶんここからが本番。

2016-12-29

『ゼロから作るDeep Learning』をScalaで実装する（その1） - Breezeで行列演算

Deep Learningを業務でがっつり使うことは（少なくとも当分は）ないんだけど、さすがに知らないでいろいろ語るのはマズいので、巷で良書と評判の『ゼロから作るDeep Learning』をやろうと思います。

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

作者: 斎藤康毅
出版社/メーカー: オライリージャパン
発売日: 2016/09/24
メディア: 単行本（ソフトカバー）
この商品を含むブログ (6件) を見る

とはいえ今更Pythonでやるのもつまらないので、せっかくだから新しく覚える言語でやろう、ということでScalaで書くことに。

本書の目標とするところは、ゼロからディープラーニングを実装することでした。そのため、外部のライブラリは極力使用しないというのが方針ですが、次の2つのライブラリは例外として用いることにします。ひとつはNumpy、もうひとつはMatplotlibというライブラリです。 (p.2-3)

Scalaで可視化やるつもりはないのでmatplotlibのところは飛ばせばいいんですが、numpy相当の行列演算をスクラッチで書くのはつらいのでScalaの行列演算（以外もあるけど）ライブラリであるところのBreezeを使うことにします。

以下、1章のnumpyの部分をBreezeで書き直します。

1.5.0 インストール

とりあえずREPLを使います。REPLで外部ライブラリ使うにはこうすればいいらしい。

$ sbt
set libraryDependencies += "org.scalanlp" % "breeze_2.11" % "0.12"
set resolvers += "Sonatype Releases" at "https://oss.sonatype.org/content/repositories/releases/"
set scalaVersion := "2.11.6"
console

https://github.com/scalanlp/breeze/wiki#fast-installation

1.5.1 インポート

scala> import breeze.linalg._

1.5.2 配列（ベクトル）の生成

scala> val x = DenseVector(1.0, 2.0, 3.0)
scala> println(x)
DenseVector(1.0, 2.0, 3.0)

わざわざDenseと明示してるってことはSparseもあるに違いない。

1.5.3 算術演算

scala> val x = DenseVector(1.0, 2.0, 3.0)
scala> val y = DenseVector(2.0, 4.0, 6.0)
scala> x + y
res30: breeze.linalg.DenseVector[Double] = DenseVector(3.0, 6.0, 9.0)
scala> x - y
res31: breeze.linalg.DenseVector[Double] = DenseVector(-1.0, -2.0, -3.0)
scala> x :* y
res32: breeze.linalg.DenseVector[Double] = DenseVector(2.0, 8.0, 18.0)
scala> x :/ y
res33: breeze.linalg.DenseVector[Double] = DenseVector(0.5, 0.5, 0.5)
scala> x / 2.0
res34: breeze.linalg.DenseVector[Double] = DenseVector(0.5, 1.0, 1.5)

要素ごとの操作については演算子を変えてますね（:*と:/）。そもそもベクトル同士の（内積ではない）積とか商とかってなんやねんって話なのでこういう方針は好き。

1.5.4 N次元配列

scala> val A = DenseMatrix((1, 2), (3, 4))
scala> println(A)
1  2  
3  4  
scala> (A.rows, A.cols)  // A.shapeがやりたい
res40: (Int, Int) = (2,2)
scala> A.getClass  // A.dtypeがやりたい
res41: Class[_ <: breeze.linalg.DenseMatrix[Int]] = class breeze.linalg.DenseMatrix$mcI$sp

numpyのA.shape、A.dtypeに直接相当するメソッドはない模様。

scala> val B = DenseMatrix((3, 0), (0, 6))
scala> A + B
res42: breeze.linalg.DenseMatrix[Int] =
4  2
3  10
scala> A :* B
res44: breeze.linalg.DenseMatrix[Int] =
3  0
0  24

numpyのA * B（要素ごとの積）に相当するのはA :* Bということに注意。

A * Bすると普通に行列同士の積（numpyでいうところのA.dot(B)）になりnumpyよりこっちの方が明らかに正しいだろ感。

scala> println(A)
1  2  
3  4  
scala> A * 10
res46: breeze.linalg.DenseMatrix[Int] =
10  20
30  40

1.5.5 ブロードキャスト

scala> val A = DenseMatrix((1, 2), (3, 4))
scala> val B = DenseVector(10, 20)
scala> A(*, ::) :* B
res49: breeze.linalg.DenseMatrix[Int] =
10  40
30  80

Breezeではブロードキャストは暗黙には行われません。「行方向のブロードキャストである」ことを明示するためにA(*, ::)とします。

他にも、BはMatrixじゃなくてVectorとして定義する必要があったり、最終的にはベクトルとベクトルの要素ごとの積になるので:*にする必要があったりといろいろ注意が必要。

1.5.6 要素へのアクセス

scala> val X = DenseMatrix((51, 55), (14, 19), (0, 4))
scala> println(X)
51  55  
14  19  
0   4   
scala> X(0)
<console>:12: error: could not find implicit value for parameter canSlice: breeze.linalg.support.CanSlice[breeze.linalg.DenseMatrix[Int],Int,Result]
              X(0)
               ^
scala> X(0, ::)
res58: breeze.linalg.Transpose[breeze.linalg.DenseVector[Int]] = Transpose(DenseVector(51, 55))
scala> X(0, 1)
res59: Int = 55

X(0)はできない模様。

scala> for (row <- X) println(row)
<console>:12: error: value foreach is not a member of breeze.linalg.DenseMatrix[Int]
              for (row <- X) println(row)
                          ^
scala> for (i <- 0 until X.rows) println(X(i, ::))
Transpose(DenseVector(51, 55))
Transpose(DenseVector(14, 19))
Transpose(DenseVector(0, 4))

Breezeではベクトルはすべて縦ベクトルなので横ベクトルはTranspose(DenseVector(51, 55))のように表現される。

scala> val X1 = X.toDenseVector
scala> println(X1)
DenseVector(51, 14, 0, 55, 19, 4)
scala> val X1 = X.t.toDenseVector
scala> println(X1)
DenseVector(51, 55, 14, 19, 0, 4)
scala> X1(0, 2, 4).toDenseVector  // X1(0, 2, 4)の返り値はbreeze.linalg.SliceVector型
res11: breeze.linalg.DenseVector[Int] = DenseVector(51, 14, 0)

toDenseVectorでは列方向にベクトル化される。なのでnumpyと同じように行方向でやりたかったらX.tで転置しておけばよい。

scala> DenseVector(X1.toArray.filter(_ > 15))
res23: breeze.linalg.DenseVector[Int] = DenseVector(51, 55, 19)

Booleanを使った要素の抜き出しはできなそう。なので一回Arrayにしてfilterして（何故かDenseVectorにはfilterメソッドがない）またDenseVectorに戻せばよい（これが効率のいいやり方かどうかは知らない）。

以上。次はこれを使ってパーセプトロンを実装する。

2015-09-08

生存時間解析のチュートリアル論文を読む（その3）

3. SIMPLE DESCRIPTION OF OUTCOMES AT A FIXED TIME INTERVAL

一番わかりやすいやり方は、あるイベントの後、ある一定期間の間に結果が「起こった／起こらなかった」というものだ
- 例えば、「手術後の早期死亡率」みないなのがわかりやすい

3.1. Analysis specification

3.1.1. Inclusion criteria

こうした分析の対象者として含めるには、次のような条件が必要だ
- 患者が、該当するイベント（手術とか）を経験していること
- 一定期間の間追跡されていること
本文の例だと、少なくとも1年はfollow-upされていてる、とか、手術を受けている、とかだね

3.1.2. Outcomes (also known as events, responses or dependent variables)

死だったり、あるいはdefinitive surgeryのような中間的なイベントだったり
本文の例だと、死とか、発病後1年以内の死とか

3.2. Worked example: proportion dying within one year of presentation

具体例として、複雑性肺動脈閉鎖の発病から1年以内に死んだ人の割合を見てみよう
p = (死んだ患者数 / 総患者数) は0から1の値を取るよ
オッズで表現すると p / (1 - p) = (死んだ患者数 / 生き残った患者数)
- これは見慣れない表現かも知れないけど、オッズは後で説明するように、複数の説明変数を同時に扱う時の基礎になるんだ
この例だと、真の死亡率の95%信頼区間は標準正規分布への近似で p ± 1.96√{p(1-p)/n で計算できる
- もっとも、これだけnが小さい時には他の推定法の方が適切だけどね

3.3. Caveats and inferences

こうしたシンプルな分析結果を一般化できるかどうかは、コホートがどれだけ母集団（？）を代表しているかにかかってるよ
- 例えば、こんな素朴なやり方で出した死亡率を、後で話すような調整手法も使わずに病院間の比較に使ったりするのはだめよ

2015-09-06

生存時間解析のチュートリアル論文を読む（その2）

生存時間解析のチュートリアル論文を読む（その1） - ふゆみけ〜おかわり〜の続き

2. DATA

臨床データの分析で一番大事なのでデータの integrity 、例えばデータの質、完全性、妥当性
- これらが備わってないデータにどんなに高度な統計手法を使っても無駄だよね

2.1. General problems of bias

ここまで挙げた観察データ分析特有の問題に加えて、ランダム化実験とも共通したバイアスの問題があるよ
- Bias which prejudices external generalizability
  - 入手可能な患者のサブセットから導き出された結論を、同じ条件の患者すべてに一般化したいけど、それって本当にできるんだっけ？
  - 典型的ではない患者群から得た結論を一般化したかったら、その典型的じゃなくさせている要素を分析の中でちゃんと考慮しないといけないよね
- Ascertainment bias
  - 患者のある状態に関する情報の可用性が、その状態に依存する時に起こるよ
  - 「患者が死んだ」という情報が「生きている」という情報より報告されやすいとしたら、その追加情報はバイアスの原因になるよ

2.2. Illustrative data

複雑性肺動脈閉鎖？の218人の患者から30人を抜き出したデータを使うよ
この病気の特徴としては、先天性の病気だけど medical attention が現れる年齢にばらつきがあることなんだ
30人を抜き出した基準は説明に都合がいいからという理由なので、このデータから出た結論を一般化しちゃだめよ
（データの詳細は実論文を参照）

2015-09-06

生存時間解析のチュートリアル論文を読む（その1）

生存時間解析なのか生存時間分析なのか、はたまたサバイバル分析なのか。いまいち呼称が統一されていないSurvival Analysis。

医療統計や計量経済ではよく使われるはずなのですが、日本語で読める定番の書籍があまりないことも呼称の乱立の原因なのかも知れません。

お仕事の関係で入門したいのですが、松戸のジュンク堂に行っても生存時間解析の本が一冊もない。

こりゃだめだ。ということでググってたら見つけたチュートリアル論文（英語）に手を付けることにします。

TUTORIAL IN BIOSTATISTICS - SURVIVAL ANALYSIS IN OBSERVATIONAL STUDIES

http://www.rni.helsinki.fi/~kja/event2010/Tutorial.pdf

要約

1. INTRODUCTION

1.1. Background

データベースを使った研究が医療分野でも増えてきたよ

1.2. Structure of this paper

従来から主流だったランダム化比較実験と、観察データに基づく分析には重要な違いがあるんだ
- ランダム化比較実験
  - 実験群の間で説明変数（観察不可能なものも含む）がバランスしているから、非説明変数の違いはほぼ全部介入の影響と考えていいよ
- 観察データに基づく分析
  - 対象の選び方がランダムじゃないし、介入のタイミングもバラバラだから、介入の被説明変数への影響がtentativeだよ
ランダム化比較実験ができず、観察データに基づく分析に頼らざるを得ないような場面はある
そんな時には、観察データの質にかなり厳格な注意が必要だし、より洗練された統計分析が求められるんだ
この論文では、観察データからよりvalidな結論を導き出すための研究デザインや分析手法について説明するよ
詳しくは第2節で説明するけど（たぶん）、2つのストーリーに沿って説明するよ
- 1つ目は fixed interval でのイベント発生を対象とするものだ
  - 例えば「手術から1年以内の死」みたいに
- 2つ目は、期間をまたいだイベント発生を分析するもの
  - 例えば「20歳になるまでの死亡率のパターン」
重要な概念は2つ
- 第4節で導入する late entry
- 第9節で考える time-dependent variables
詳しくはそれぞれの節で説明して、第10節ではこれらの概念を組合せて分析する方法を教えるよ
最後にはこうした分析から導く結論には、どうしてもtentativeな性質があることを強調して終わるよ

所感

の前に、何故口語調で訳したんだ俺

「実験できないから観察データに頼らざるを得ないんだけど、そうするとデータの統計的な扱いにはかなり気をつけて、工夫した手法を使わないといけないよね」という問題設定は、自然科学に対する計量経済学や計量社会学のアプローチに近い（というかまんま）
- 医療統計全然知らなかったんだけど、自分のバックグランド（社会学）と実は近いのかも
英国人の英語って読みづらくないですかね…ちょっと難しいし一文がやたら長いし…

第2節も近いうちに上げます。