統計 on matsueushi

K-平均アルゴリズム

Thu, 22 Aug 2019 00:04:58 -0400

最近なかなか統計モデルに取り組む時間が十分捻出できていないが、「ノンパラメトリックベイズ点過程と統計的機械学習の数理」に入門を開始した。

ノンパラベイズに到達する前のデータ点をクラスに分類するクラスタリングの段階で出てきた、\(K\)-平均アルゴリズム(Wikipedia) を実装したので記録。使っているのはいつものようにJulia。

ガウス過程の補助変数法をJuliaで実装、回帰結果を比較

Thu, 04 Jul 2019 10:10:28 -0400

7/5 追記タイトルが「変数補助法」になっていたのを「補助変数法」に修正

前回書いた「ガウス過程の補助変数法 (Inducing variable method) を理解する」の続き。 Julia (v1.0) を使って、前回調べた SoD, SoR, DTC, FITC による回帰の近似結果を実際に確認する。

ガウス過程の補助変数法 (Inducing variable method) を理解する

Thu, 27 Jun 2019 00:55:38 -0400

6/27 追記: typo, \( p(\mathbf{y} | \mathbf{f}) \) の誤字を修正, \( q_{\text{FITC}}(\mathbf{f}_* | \mathbf{y}) \) の二番目の等号を修正 (\( \sigma^{-2} \) を削除)

「ガウス過程と機械学習」を読んでいるが、5.2補助変数法のところで、どの部分で近似が行われているのかよく分からなくなってしまった。

そのため、今回は原論文であるQuinonero Candela, J. and Rasmussen, CE.の “A Unifying View of Sparse Approximate Gaussian Process Regression” を読んでスパース近似についてまとめて見ようと思う。ゴールは、The Fully Independent Training Conditional (FITC) の理解である。

Juliaで体験するベイズ推論(7) - The Price Is Right

Wed, 17 Apr 2019 21:44:20 -0400

引き続き「Pythonで体験するベイズ推論」のJulia+Mambaによる実装に挑戦している。わざわざ特別Mediumに書くような題材は無いな、と思っていたのだが、第5章の「例題 : テレビ番組 “The Price Is Right”の最適化」のモデリング( pm.potential が出てくるところ)でちょっと詰まったので、Mambaでの実装について記しておく。

Juliaで体験するベイズ推論(6) -スペースシャトル「チャレンジャー号」の悲劇

Wed, 10 Apr 2019 00:24:53 -0400

最近はGaussianRandomWalkを使った時系列ベイズモデルの推定に挑戦していたが、あまりうまくいかなかったので一旦「Pythonで体験するベイズ推論」に戻ろうと思う。

Juliaで体験するベイズ推論(5) -嘘に対抗するアルゴリズム

Fri, 22 Mar 2019 21:22:17 -0400

「Pythonで体験するベイズ推論」の「2.2.7 例題カンニングした学生の割合」をやってみよう。

学生が試験中にカンニングする頻度を求めたい。観測データは個人がカンニングしたかどうかは特定できない、以下のアルゴリズムを用いる。

Juliaで体験するベイズ推論(4) -ベイズ的 A/B

Thu, 21 Mar 2019 21:05:35 -0400

今回はMambaを使って、「Pythonで体験するベイズ推論」の「例題 : ベイズ的 A/B」をモデリングする。

例題 : ベイズ的 A/B テスト

A/Bテストの例題を解いてみよう。

Juliaで体験するベイズ推論(3) -新しいデータセットの生成

Wed, 20 Mar 2019 20:58:08 -0400

引き続き「Pythonで体験するベイズ推論」の第2章の新しいデータセットの作成をJuliaでやってみる。

新しいデータセットの生成

PyMCについての説明はスキップして、シミュレーションによるメッセージ数のデータ生成から行う。

Juliaで体験するベイズ推論(2) -メッセージ数に変化はあるか？

Wed, 20 Mar 2019 20:45:02 -0400

前回に引き続き、「Pythonで体験するベイズ推論」をJuliaでやってみる。本に従い、前回作成した「メッセージ数に変化はあるか？」を二つの変化点の場合に拡張する。

変化点が二つの場合を考えてみる。モデルは変化点が一つの場合とほぼ同じで、

model2 = Model(
    
    obs = Stochastic(1,
        (lambda, N) ->
            UnivariateDistribution[Poisson(lambda[i]) for i in 1:N],
        false
    ),
    
    lambda = Logical(1, 
        (lambda1, lambda2, lambda3, tau1, tau2, N) -> 
            (out = fill(lambda1, N);
            i1 = Int64(tau1.value) + 1; # Juliaは1-indexingのため
            i2 = Int64(tau2.value) + 1;
            out[i1:end] .= lambda2;
            out[i2:end] .= lambda3;
            out),
            false,
        ),
    
    lambda1 = Stochastic(theta -> Exponential(theta)),
    lambda2 = Stochastic(theta -> Exponential(theta)),
    lambda3 = Stochastic(theta -> Exponential(theta)),
    
    tau1 = Stochastic(N -> DiscreteUniform(0, N-1)),
    tau2 = Stochastic((tau1, N) -> DiscreteUniform(tau1, N)),
)

初期値とサンプリングスキームを同様に与えてサンプリングすると、

Juliaで体験するベイズ推論(1) -メッセージ数に変化はあるか？

Tue, 19 Mar 2019 23:30:41 -0400

久保拓弥「データ解析のための統計モデリング入門」を読み終えたので、次はCameron Davidson-Pilon著、玉木徹訳の「Pythonで体験するベイズ推論」(GitHubリポジトリ) をJuliaとMamba.jlでモデリングしていきたいと思う。

Intrinsic Gaussian CARモデルをMambaで実装

Sun, 10 Mar 2019 23:14:30 -0400

「データ解析のための統計モデリング入門」第11章の空間構造のある階層ベイズモデルに挑戦する前に、まずPyMC3のIntrinsic Gaussian ModelのサンプルをMambaで実装した。

Julia版「データ解析のための統計モデリング入門」読書ノート

Mon, 04 Mar 2019 23:01:57 -0400

最近、久保拓弥「データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)を読んでいる。

生態学のデータ解析 - 久保拓弥
http://hosho.ees.hokudai.ac.jp/~kubo/ce/KuboTakuya.html

本ではR + WinBUGSを使っているが、今回はJulia(1.1.0) + Mambaを使って実装した(10章まで)。実装はGithubに載せてある。

実装の中身は上のJupyter Notebookを見てもらうとして、それ以外に実装していて何点か躓いたことがあったので備忘のために記載しておく。