UPDATE: 2024-01-21 19:54:43.712713

はじめに

このノートは「StanとRでベイズ統計モデリング」の内容を写経することで、ベイズ統計への理解を深めていくために作成している。

基本的には気になった部分を写経しながら、ところどころ自分用の補足をメモすることで、「StanとRでベイズ統計モデリング」を読み進めるための自分用の補足資料になることを目指す。私の解釈がおかしく、メモが誤っている場合があるので注意。

今回は第10章「収束しない場合の対処法」のチャプターを写経していく。

10.1.4 多項ロジスティック回帰

ここでは、購入された商品カテゴリと年齢、性別、年収の関係を多項ロジスティック回帰モデルを利用して分析する。この過程で収束しない場合の対処方法を扱う。使用するデータは下記の通り。

library(dplyr)
library(rstan)
library(ggplot2)

options(max.print = 999999)
rstan_options(auto_write=TRUE)
options(mc.cores=parallel::detectCores())

d <- read.csv('https://raw.githubusercontent.com/MatsuuraKentaro/RStanBook/master/chap10/input/data-category.txt')
d$Age <- d$Age/100
d$Income <- d$Income/1000
X <- cbind(1, d[,-ncol(d)])
data <- list(N = nrow(d), D = ncol(X), K = 6, X = X, Y = d$Y)
data
## $N
## [1] 300
## 
## $D
## [1] 4
## 
## $K
## [1] 6
## 
## $X
##     1  Age Sex Income
## 1   1 0.18   1  0.472
## 2   1 0.18   0  0.468
## 3   1 0.18   1  0.451
## 4   1 0.18   1  0.441
## 5   1 0.18   1  0.499
## 6   1 0.19   0  0.582
## 7   1 0.19   0  0.364
## 8   1 0.19   0  0.568
## 9   1 0.19   0  0.697
## 10  1 0.20   0  0.819
## 11  1 0.20   0  0.706
## 12  1 0.20   0  0.634
## 13  1 0.20   1  0.386
## 14  1 0.20   0  0.483
## 15  1 0.20   0  0.508
## 16  1 0.20   1  0.627
## 17  1 0.20   1  0.533
## 18  1 0.20   0  0.423
## 19  1 0.20   0  0.763
## 20  1 0.21   1  0.653
## 21  1 0.21   1  0.571
## 22  1 0.21   0  0.695
## 23  1 0.21   0  0.417
## 24  1 0.21   1  0.622
## 25  1 0.21   0  0.490
## 26  1 0.21   0  0.624
## 27  1 0.21   1  0.538
## 28  1 0.22   0  0.618
## 29  1 0.22   0  0.711
## 30  1 0.22   1  0.545
## 31  1 0.22   1  0.667
## 32  1 0.22   0  0.429
## 33  1 0.23   1  0.471
## 34  1 0.23   1  0.738
## 35  1 0.23   0  0.587
## 36  1 0.23   0  0.361
## 37  1 0.23   1  0.415
## 38  1 0.23   1  0.523
## 39  1 0.23   1  0.648
## 40  1 0.23   1  0.534
## 41  1 0.23   0  0.617
## 42  1 0.23   0  0.660
## 43  1 0.23   1  0.761
## 44  1 0.24   0  0.551
## 45  1 0.24   0  0.539
## 46  1 0.24   0  0.384
## 47  1 0.24   1  0.555
## 48  1 0.24   0  0.486
## 49  1 0.24   0  0.448
## 50  1 0.24   1  0.525
## 51  1 0.24   0  0.667
## 52  1 0.25   1  0.366
## 53  1 0.25   1  0.500
## 54  1 0.25   0  0.557
## 55  1 0.26   1  0.455
## 56  1 0.26   1  0.582
## 57  1 0.26   1  0.591
## 58  1 0.26   0  0.541
## 59  1 0.26   0  0.333
## 60  1 0.26   1  0.911
## 61  1 0.26   0  0.523
## 62  1 0.26   0  0.620
## 63  1 0.26   1  0.575
## 64  1 0.26   0  0.668
## 65  1 0.26   0  0.641
## 66  1 0.26   1  0.522
## 67  1 0.26   0  0.587
## 68  1 0.27   0  0.451
## 69  1 0.27   0  0.646
## 70  1 0.27   0  0.497
## 71  1 0.27   0  0.883
## 72  1 0.27   0  0.391
## 73  1 0.27   1  0.496
## 74  1 0.27   0  0.642
## 75  1 0.27   1  0.603
## 76  1 0.27   1  0.484
## 77  1 0.28   1  0.446
## 78  1 0.28   0  0.561
## 79  1 0.28   0  0.543
## 80  1 0.28   1  0.381
## 81  1 0.28   1  0.548
## 82  1 0.28   1  0.566
## 83  1 0.28   0  0.564
## 84  1 0.28   1  0.441
## 85  1 0.28   1  0.599
## 86  1 0.28   1  0.717
## 87  1 0.28   0  0.597
## 88  1 0.29   0  0.434
## 89  1 0.29   0  0.499
## 90  1 0.29   0  0.584
## 91  1 0.29   1  0.478
## 92  1 0.29   0  0.354
## 93  1 0.29   1  0.650
## 94  1 0.30   1  0.461
## 95  1 0.30   0  0.486
## 96  1 0.30   0  0.736
## 97  1 0.30   0  0.466
## 98  1 0.30   0  0.645
## 99  1 0.30   0  0.423
## 100 1 0.30   1  0.507
## 101 1 0.31   1  0.537
## 102 1 0.31   0  0.431
## 103 1 0.31   1  0.480
## 104 1 0.31   1  0.541
## 105 1 0.31   0  0.623
## 106 1 0.31   0  0.391
## 107 1 0.31   1  0.508
## 108 1 0.32   0  0.634
## 109 1 0.32   0  0.489
## 110 1 0.32   1  0.570
## 111 1 0.32   0  0.601
## 112 1 0.32   1  0.575
## 113 1 0.32   0  0.621
## 114 1 0.32   0  0.531
## 115 1 0.32   0  0.501
## 116 1 0.32   0  0.321
## 117 1 0.33   1  0.535
## 118 1 0.33   0  0.594
## 119 1 0.33   0  0.606
## 120 1 0.33   0  0.487
## 121 1 0.33   1  0.777
## 122 1 0.33   1  0.577
## 123 1 0.33   1  0.559
## 124 1 0.33   0  0.702
## 125 1 0.33   1  0.472
## 126 1 0.33   1  0.498
## 127 1 0.33   0  0.880
## 128 1 0.33   0  0.546
## 129 1 0.33   0  0.755
## 130 1 0.33   1  0.408
## 131 1 0.33   1  0.524
## 132 1 0.33   1  0.587
## 133 1 0.33   0  0.578
## 134 1 0.34   1  0.445
## 135 1 0.34   0  0.547
## 136 1 0.34   1  0.439
## 137 1 0.34   0  0.628
## 138 1 0.34   0  0.677
## 139 1 0.34   0  0.349
## 140 1 0.35   0  0.697
## 141 1 0.35   0  0.425
## 142 1 0.35   1  0.596
## 143 1 0.35   1  0.621
## 144 1 0.35   0  0.523
## 145 1 0.35   1  0.479
## 146 1 0.35   1  0.563
## 147 1 0.35   1  0.595
## 148 1 0.36   0  0.650
## 149 1 0.36   0  0.361
## 150 1 0.36   1  0.393
## 151 1 0.36   1  0.725
## 152 1 0.36   0  0.671
## 153 1 0.36   0  0.594
## 154 1 0.36   0  0.628
## 155 1 0.36   0  0.654
## 156 1 0.37   1  0.320
## 157 1 0.37   1  0.680
## 158 1 0.37   1  0.494
## 159 1 0.37   0  0.570
## 160 1 0.37   0  0.513
## 161 1 0.37   1  0.648
## 162 1 0.38   0  0.508
## 163 1 0.38   0  0.604
## 164 1 0.38   0  0.504
## 165 1 0.38   1  0.438
## 166 1 0.38   0  0.694
## 167 1 0.38   0  0.632
## 168 1 0.38   1  0.769
## 169 1 0.38   0  0.552
## 170 1 0.38   1  0.682
## 171 1 0.39   0  0.808
## 172 1 0.39   1  0.515
## 173 1 0.39   0  0.418
## 174 1 0.39   1  0.519
## 175 1 0.39   1  0.522
## 176 1 0.39   0  0.561
## 177 1 0.39   1  0.767
## 178 1 0.40   0  0.510
## 179 1 0.40   0  0.587
## 180 1 0.40   1  0.520
## 181 1 0.40   0  0.547
## 182 1 0.40   1  0.580
## 183 1 0.40   0  0.710
## 184 1 0.40   1  0.558
## 185 1 0.41   1  0.628
## 186 1 0.41   0  0.636
## 187 1 0.41   0  0.654
## 188 1 0.41   1  0.485
## 189 1 0.41   0  0.754
## 190 1 0.41   1  0.505
## 191 1 0.41   1  0.533
## 192 1 0.41   0  0.721
## 193 1 0.42   0  0.705
## 194 1 0.42   1  0.438
## 195 1 0.42   0  0.457
## 196 1 0.42   1  0.415
## 197 1 0.42   0  0.565
## 198 1 0.42   0  0.563
## 199 1 0.42   1  0.586
## 200 1 0.42   1  0.608
## 201 1 0.43   0  0.483
## 202 1 0.43   0  0.446
## 203 1 0.43   0  0.669
## 204 1 0.43   0  0.633
## 205 1 0.43   0  0.403
## 206 1 0.43   0  0.534
## 207 1 0.43   1  0.455
## 208 1 0.43   1  0.360
## 209 1 0.43   1  0.561
## 210 1 0.43   0  0.536
## 211 1 0.43   0  0.534
## 212 1 0.44   0  0.569
## 213 1 0.44   1  0.650
## 214 1 0.44   0  0.567
## 215 1 0.44   1  0.481
## 216 1 0.44   0  0.470
## 217 1 0.44   0  0.530
## 218 1 0.44   1  0.579
## 219 1 0.44   0  0.442
## 220 1 0.44   1  0.525
## 221 1 0.45   0  0.661
## 222 1 0.45   0  0.533
## 223 1 0.45   0  0.474
## 224 1 0.45   0  0.515
## 225 1 0.45   1  0.681
## 226 1 0.45   1  0.608
## 227 1 0.46   1  0.697
## 228 1 0.46   0  0.560
## 229 1 0.46   1  0.591
## 230 1 0.46   0  0.487
## 231 1 0.46   1  0.615
## 232 1 0.46   1  0.492
## 233 1 0.46   0  0.410
## 234 1 0.46   1  0.559
## 235 1 0.47   0  0.804
## 236 1 0.47   1  0.639
## 237 1 0.47   0  0.687
## 238 1 0.47   1  0.585
## 239 1 0.47   1  0.482
## 240 1 0.47   0  0.523
## 241 1 0.48   1  0.516
## 242 1 0.48   0  0.496
## 243 1 0.48   1  0.627
## 244 1 0.48   0  0.429
## 245 1 0.48   1  0.648
## 246 1 0.48   1  0.647
## 247 1 0.48   0  0.428
## 248 1 0.48   1  0.619
## 249 1 0.49   1  0.885
## 250 1 0.49   0  0.487
## 251 1 0.49   0  0.645
## 252 1 0.49   0  0.466
## 253 1 0.49   1  0.680
## 254 1 0.50   1  0.572
## 255 1 0.50   1  0.758
## 256 1 0.50   1  0.407
## 257 1 0.50   1  0.539
## 258 1 0.50   1  0.490
## 259 1 0.51   1  0.524
## 260 1 0.51   0  0.480
## 261 1 0.51   0  0.461
## 262 1 0.51   1  0.611
## 263 1 0.51   1  0.438
## 264 1 0.51   0  0.733
## 265 1 0.51   1  0.430
## 266 1 0.51   1  0.556
## 267 1 0.51   0  0.606
## 268 1 0.51   1  0.612
## 269 1 0.51   1  0.513
## 270 1 0.51   1  0.553
## 271 1 0.52   1  0.660
## 272 1 0.52   1  0.407
## 273 1 0.52   1  0.466
## 274 1 0.52   0  0.581
## 275 1 0.52   1  0.498
## 276 1 0.52   1  0.716
## 277 1 0.52   0  0.623
## 278 1 0.52   0  0.552
## 279 1 0.53   1  0.403
## 280 1 0.53   0  0.547
## 281 1 0.53   1  0.511
## 282 1 0.53   1  0.534
## 283 1 0.54   1  0.430
## 284 1 0.54   0  0.602
## 285 1 0.54   1  0.442
## 286 1 0.54   0  0.520
## 287 1 0.54   0  0.588
## 288 1 0.54   1  0.466
## 289 1 0.54   1  0.612
## 290 1 0.54   1  0.419
## 291 1 0.54   1  0.310
## 292 1 0.54   0  0.598
## 293 1 0.54   1  0.644
## 294 1 0.54   0  0.514
## 295 1 0.55   0  0.602
## 296 1 0.55   1  0.432
## 297 1 0.55   1  0.531
## 298 1 0.55   0  0.369
## 299 1 0.55   1  0.690
## 300 1 0.55   0  0.790
## 
## $Y
##   [1] 2 5 6 6 6 4 6 2 4 6 4 6 6 6 3 1 1 4 4 2 5 4 2 6 3 2 2 6 1 2 4 4 1 6 4 3 1
##  [38] 1 2 4 6 6 4 4 6 1 2 3 2 4 2 5 1 4 6 2 2 2 4 4 6 3 1 2 2 1 6 6 2 6 2 6 1 2
##  [75] 1 1 1 2 1 1 4 1 4 2 1 1 2 2 2 4 2 4 2 2 1 6 5 4 6 2 2 4 2 1 1 6 1 4 2 5 1
## [112] 4 2 3 6 3 2 4 2 6 6 1 5 4 6 4 2 4 3 6 4 1 2 4 4 2 6 2 1 2 2 6 4 1 1 1 1 6
## [149] 1 1 6 6 4 1 6 2 6 2 4 3 1 4 6 2 3 2 4 1 2 3 3 1 4 1 2 6 1 1 2 1 3 2 3 1 4
## [186] 1 6 6 4 1 2 6 2 1 6 2 4 2 1 2 2 4 6 3 6 2 2 6 2 2 6 6 2 4 2 2 1 1 6 1 6 4
## [223] 3 2 4 1 6 1 2 1 1 1 6 2 6 1 4 1 1 2 5 6 1 1 4 6 6 2 2 4 6 4 4 4 4 1 2 1 1
## [260] 1 2 4 1 6 1 4 2 6 1 1 1 1 1 6 2 2 4 2 1 4 1 2 2 4 2 6 1 2 4 1 6 2 1 2 2 1
## [297] 1 4 2 4

ここでのモデルは、どのような年齢、性別、年収の人が、どのカテゴリーの商品を選びやすいかを知ることで、多項ロジスティック回帰モデルを利用する。各カテゴリーを選択確率\(\overrightarrow{\theta}\)は説明変数の線形結合によって決まると考える。

モデル10-2

\[ \begin{eqnarray} \overrightarrow{\mu[n]} &\sim& \overrightarrow{\beta_{1}} + \overrightarrow{\beta_{2}}Age[n] + \overrightarrow{\beta_{3}}Sex[n] + \overrightarrow{\beta_{4}}Income[n] \\ \overrightarrow{\theta[n]} &=& softmax(\overrightarrow{\mu[n]}) \\ Y[n] &=& Categorical(\overrightarrow{\theta[n]}) \\ \\ \overrightarrow{\theta} &=& softmax(\overrightarrow{\mu}) = \left( \frac{exp(\mu_{1})}{\sum_{k=1}^{K} exp(\mu_{k})}... \frac{exp(\mu_{k})}{\sum_{k=1}^{K} exp(\mu_{k})}\right)^{T} \end{eqnarray} \]

\(\overrightarrow{\beta_{1}},\overrightarrow{\beta_{2}},\overrightarrow{\beta_{3}},\overrightarrow{\beta_{4}}\)は長さ\(K\)のベクトルであり、\(\overrightarrow{\beta_{1}},\overrightarrow{\beta_{2}},\overrightarrow{\beta_{3}},\overrightarrow{\beta_{4}}\)をデータから推定する。

softmax関数はこのままでは識別不可能なので、少し工夫する必要がある。そもそも識別可能とは、\(\theta_{0}^{*}\)における事後確率を\(p(\theta = \theta_{0}|Y)\)とするとき、\(p(\theta = \theta_{0}|Y)=p(\theta = \theta_{0}^{*}|Y)\)となる別の\(\theta_{0}^{*}\)が存在しない時、パラメタ\(\theta\)識別可能となる。参考書には\(\mu\)に定数を加えても、元に戻る例が記載されているが、これの意味は下記の通り。

softmax <- function(x){
  exp(x)/sum(exp(x))
}

list(
  softmax(c(1,2,3)),
  softmax(c(1,2,3)+1)
)
## [[1]]
## [1] 0.09003057 0.24472847 0.66524096
## 
## [[2]]
## [1] 0.09003057 0.24472847 0.66524096

現状のsoftmax関数では、識別可能な状態ではないので、カテゴリ1を選ぶ強さを0に固定する。こうすることで、残りのカテゴリの「強さ」はカテゴリ1との比較できまる。実装では\(\mu_{1}=0\)とすることで、相対的な順序関係は保たれたまま、識別可能となる。

softmax(c(0,1,-1))
## [1] 0.24472847 0.66524096 0.09003057

モデルは下記の通りである。

data {
  int N;
  int D;
  int K;
  matrix[N,D] X;
  int<lower=1, upper=K> Y[N];
}

transformed data {
  vector[D] Zeros;
  Zeros = rep_vector(0,D);
}

parameters {
  matrix[D,K-1] b_raw;
}

transformed parameters {
  matrix[D,K] b;
  matrix[N,K] mu;
  b = append_col(Zeros, b_raw);
  mu = X*b;
}

model {
  for (n in 1:N){
    Y[n] ~ categorical(softmax(mu[n,]'));
    }
}

下記の部分が気になったので、深掘りしておく。

transformed parameters {
  matrix[D,K] b;
  matrix[N,K] mu;
  // Xは(300×4)、bは(4×6)よりmu(300×6)となる
  b = append_col(Zeros, b_raw); 
  mu = X*b;
}

model {
  for (n in 1:N){
  // (')転置記号があるので
                       Y[n] ~ categorical(softmax(mu[n,]'));
    }
}

ここでは、stan_model()関数で最初にコンパイルしておいてから、

model102 <- stan_model('note_ahirubayes12-102.stan')

sampling()関数でサンプリングする。

fit <- sampling(object = model102, data = data, seed = 1989)

推定結果は下記の通り。

print(fit, prob = c(0.025, 0.5, 0.975), pars = c('b_raw'), digits_summary = 1)
## Inference for Stan model: anon_model.
## 4 chains, each with iter=2000; warmup=1000; thin=1; 
## post-warmup draws per chain=1000, total post-warmup draws=4000.
## 
##            mean se_mean  sd  2.5%  50% 97.5% n_eff Rhat
## b_raw[1,1] -0.1     0.0 1.1  -2.3 -0.1   1.9  2008    1
## b_raw[1,2]  0.2     0.0 1.8  -3.4  0.2   3.8  2097    1
## b_raw[1,3] -1.0     0.0 1.2  -3.3 -1.0   1.3  1922    1
## b_raw[1,4]  2.3     0.0 2.6  -2.9  2.3   7.3  2878    1
## b_raw[1,5]  0.6     0.0 1.2  -1.7  0.6   2.8  1953    1
## b_raw[2,1] -1.5     0.0 1.5  -4.4 -1.5   1.4  2979    1
## b_raw[2,2] -4.7     0.0 2.8 -10.5 -4.7   0.8  3278    1
## b_raw[2,3] -2.3     0.0 1.7  -5.7 -2.3   1.1  2776    1
## b_raw[2,4] -9.5     0.1 4.5 -19.3 -9.3  -1.4  4582    1
## b_raw[2,5] -3.2     0.0 1.8  -6.8 -3.2   0.1  3190    1
## b_raw[3,1] -1.2     0.0 0.4  -1.9 -1.2  -0.5  3104    1
## b_raw[3,2] -3.3     0.0 0.9  -5.3 -3.3  -1.8  4657    1
## b_raw[3,3] -1.9     0.0 0.4  -2.6 -1.9  -1.1  3344    1
## b_raw[3,4]  0.0     0.0 1.0  -1.7  0.0   2.0  4387    1
## b_raw[3,5] -2.0     0.0 0.4  -2.7 -2.0  -1.2  3461    1
## b_raw[4,1]  2.9     0.0 1.6  -0.3  2.8   6.2  2070    1
## b_raw[4,2]  2.1     0.1 2.7  -3.3  2.2   7.5  2478    1
## b_raw[4,3]  4.7     0.0 1.8   1.2  4.6   8.3  2023    1
## b_raw[4,4] -3.4     0.1 4.4 -12.5 -3.2   4.8  3415    1
## b_raw[4,5]  2.6     0.0 1.8  -0.8  2.6   6.2  2025    1
## 
## Samples were drawn using NUTS(diag_e) at Sun Jan 21 19:55:10 2024.
## For each parameter, n_eff is a crude measure of effective sample size,
## and Rhat is the potential scale reduction factor on split chains (at 
## convergence, Rhat=1).

10.1.5 ウサギとカメ

収束に関わる識別可能性について、ウサギとカメの例題を通じて理解を深める。ウサギとカメのマラソンの勝敗結果(ウサギの26勝4敗、カメの4勝26敗)からウサギとカメの「強さ」を推定する。

インデックスの1がカメで、インデックスの2がウサギである。敗者の列と勝者の列があって、勝敗結果によって各インデックスが記録される。1レース目では、Loserのインデックスが1なので、カメが敗者である。

d <- read.csv('https://raw.githubusercontent.com/MatsuuraKentaro/RStanBook/master/chap10/input/data-usagitokame.txt')
data <- list(N = 2, G = nrow(d), LW = d)
data
## $N
## [1] 2
## 
## $G
## [1] 30
## 
## $LW
##    Loser Winner
## 1      1      2
## 2      1      2
## 3      2      1
## 4      1      2
## 5      1      2
## 6      1      2
## 7      1      2
## 8      1      2
## 9      1      2
## 10     1      2
## 11     1      2
## 12     1      2
## 13     2      1
## 14     1      2
## 15     1      2
## 16     2      1
## 17     1      2
## 18     1      2
## 19     1      2
## 20     1      2
## 21     1      2
## 22     1      2
## 23     1      2
## 24     1      2
## 25     1      2
## 26     1      2
## 27     2      1
## 28     1      2
## 29     1      2
## 30     1      2

モデルのメカニズムを考える。カメの強さ\(\mu[1]\)、ウサギの強さ\(\mu[2]\)とする。各レースごとに発揮できた力をパフォーマンスと考える。カメのパフォーマンスは平均\(\mu[1]\)、標準偏差\(\sigma[1]\)の正規分布から生成されると考える。\(\sigma[1]\)はカメのパフォーマンスのムラの大きさであり、ムラがあまりなければパフォーマンスはだいたい同じになるが、ムラが大きいとパフォーマンスは毎回大きく異なる。ウサギについても同様である。ここではデータが少ないので、勝負ムラは\(\sigma[1]=\sigma[2]=\sigma\)とする。

尤度を考える際には、パフォーマンスの差だけが勝敗に関係し、強さを平行移動しても同じ尤度になるため識別不可能になる。そこで片方の強さを\(\mu[1]=0\)に固定する。また、\((\mu[2]|\sigma)=(3,2)\)\((\mu[2]|\sigma)=(6,4)\)は同じ尤度になるので、\(\sigma=1\)に固定する。

モデル10-3

\[ \begin{eqnarray} performance[g,1] &\sim& Normal(\mu[Loser[g]],1)\\ performance[g,2] &\sim& Normal(\mu[Winner[g]],1) \\ performance[g,1] &\lt& performance[g,2] \\ \mu[1] &=& 0 \end{eqnarray} \]

モデルは下記の通り。ordered[2] performance[G]としてパフォーマンスの制約を表現している。order型は順序付きベクトルと呼ばれ、長さ\(N\)の要素が\(x_{1} \lt x_{2} \lt...\lt x_{N}\)を満たす。雑誌ランキングなど、順序つきのデータがあった場合に、各雑誌の真の面白さを大小関係があるパラメタと考え、order型で宣言して推定する。

data {
  int N;  // num of players
  int G;  // num of games
  int<lower=1, upper=N> LW[G,2];  // loser and winner of each game
}

parameters {
  ordered[2] performance[G];
  real b;
}

transformed parameters {
  real mu[N];
  mu[1] = 0;
  mu[2] = b;
}

model {
  for (g in 1:G){
    for (i in 1:2){
      performance[g,i] ~ normal(mu[LW[g,i]], 1);
    }
  }
}

下記の部分を深掘りしておく。

transformed parameters {
  real mu[N];
  mu[1] = 0;
  mu[2] = b;
  // mu = (0, b)という関係になる
}

model {
  for (g in 1:G){
    for (i in 1:2){
      performance[g,i] ~ normal(mu[LW[g,i]], 1);
    }
  }
}
// g=1,i=1
// performance[1,1] ~ normal(mu[LW[1,1]], 1);
// performance[1,1] ~ normal(mu[1], 1);
// performance[1,1] ~ normal(0, 1);

// g=1,i=2
// performance[1,2] ~ normal(mu[LW[1,2]], 1);
// performance[1,2] ~ normal(mu[2], 1);
// performance[1,2] ~ normal(b, 1);

ここでは、stan_model()関数で最初にコンパイルしておいてから、

model103 <- stan_model('note_ahirubayes12-103.stan')

sampling()関数でサンプリングする。

fit <- sampling(object = model103, data = data, seed = 1989)

推定結果は下記の通り。カメの強さを\(\mu[0]=0\)とした場合、ウサギの強さ\(\mu[1]\)は1.6[0.8〜2.4]と推定された。

print(fit, prob = c(0.025, 0.5, 0.975), digits_summary = 2)
## Inference for Stan model: anon_model.
## 4 chains, each with iter=2000; warmup=1000; thin=1; 
## post-warmup draws per chain=1000, total post-warmup draws=4000.
## 
##                     mean se_mean   sd   2.5%    50%  97.5% n_eff Rhat
## performance[1,1]   -0.18    0.01 0.94  -2.07  -0.15   1.62  5002    1
## performance[1,2]    1.78    0.02 0.99  -0.08   1.73   3.88  3661    1
## performance[2,1]   -0.18    0.01 0.93  -2.08  -0.16   1.54  5683    1
## performance[2,2]    1.78    0.02 0.97  -0.09   1.75   3.77  3400    1
## performance[3,1]    0.43    0.01 0.81  -1.21   0.44   1.96  5582    1
## performance[3,2]    1.16    0.01 0.79  -0.36   1.16   2.74  4824    1
## performance[4,1]   -0.17    0.01 0.91  -1.95  -0.15   1.55  4760    1
## performance[4,2]    1.76    0.02 1.00  -0.09   1.71   3.81  3395    1
## performance[5,1]   -0.19    0.01 0.92  -2.05  -0.19   1.54  5165    1
## performance[5,2]    1.75    0.02 0.96  -0.04   1.74   3.71  3610    1
## performance[6,1]   -0.17    0.01 0.89  -1.93  -0.14   1.49  6068    1
## performance[6,2]    1.79    0.02 0.97   0.00   1.73   3.75  4040    1
## performance[7,1]   -0.19    0.01 0.93  -2.18  -0.17   1.52  6119    1
## performance[7,2]    1.79    0.02 0.98  -0.02   1.77   3.82  3677    1
## performance[8,1]   -0.19    0.01 0.91  -2.02  -0.17   1.54  6067    1
## performance[8,2]    1.77    0.02 0.98  -0.02   1.73   3.78  3614    1
## performance[9,1]   -0.17    0.01 0.90  -1.99  -0.15   1.58  5156    1
## performance[9,2]    1.76    0.02 0.97  -0.05   1.72   3.76  3905    1
## performance[10,1]  -0.17    0.01 0.93  -2.04  -0.16   1.63  5382    1
## performance[10,2]   1.77    0.02 1.00  -0.10   1.75   3.86  3100    1
## performance[11,1]  -0.16    0.01 0.93  -2.05  -0.15   1.60  4882    1
## performance[11,2]   1.77    0.02 0.99  -0.05   1.76   3.74  3599    1
## performance[12,1]  -0.18    0.01 0.91  -2.04  -0.16   1.53  4513    1
## performance[12,2]   1.79    0.02 0.97   0.02   1.76   3.76  3416    1
## performance[13,1]   0.44    0.01 0.82  -1.19   0.44   2.02  5676    1
## performance[13,2]   1.15    0.01 0.80  -0.38   1.15   2.75  4961    1
## performance[14,1]  -0.20    0.01 0.93  -2.09  -0.16   1.54  6024    1
## performance[14,2]   1.77    0.02 0.96  -0.09   1.76   3.76  3434    1
## performance[15,1]  -0.18    0.01 0.92  -1.97  -0.17   1.56  4703    1
## performance[15,2]   1.76    0.02 0.98  -0.05   1.73   3.75  3374    1
## performance[16,1]   0.45    0.01 0.81  -1.22   0.46   1.99  5476    1
## performance[16,2]   1.16    0.01 0.80  -0.40   1.16   2.79  4767    1
## performance[17,1]  -0.20    0.01 0.93  -2.04  -0.19   1.56  6043    1
## performance[17,2]   1.79    0.02 0.97  -0.09   1.77   3.75  3524    1
## performance[18,1]  -0.19    0.01 0.91  -2.06  -0.16   1.49  5767    1
## performance[18,2]   1.78    0.02 0.97  -0.05   1.74   3.73  3459    1
## performance[19,1]  -0.18    0.01 0.92  -2.04  -0.16   1.55  5250    1
## performance[19,2]   1.77    0.02 0.97  -0.06   1.74   3.72  3147    1
## performance[20,1]  -0.19    0.01 0.92  -2.03  -0.16   1.53  4924    1
## performance[20,2]   1.78    0.02 0.99  -0.10   1.76   3.80  3144    1
## performance[21,1]  -0.18    0.01 0.92  -2.04  -0.17   1.59  4758    1
## performance[21,2]   1.76    0.02 0.97  -0.10   1.73   3.69  3305    1
## performance[22,1]  -0.15    0.01 0.93  -2.01  -0.14   1.58  5701    1
## performance[22,2]   1.79    0.02 0.98  -0.04   1.74   3.80  3625    1
## performance[23,1]  -0.16    0.01 0.92  -2.04  -0.12   1.54  5590    1
## performance[23,2]   1.78    0.02 0.99  -0.11   1.74   3.81  3281    1
## performance[24,1]  -0.16    0.01 0.89  -1.94  -0.14   1.51  5058    1
## performance[24,2]   1.76    0.02 0.98  -0.09   1.74   3.71  3577    1
## performance[25,1]  -0.17    0.01 0.94  -2.08  -0.12   1.58  5464    1
## performance[25,2]   1.78    0.02 0.97  -0.01   1.75   3.75  3540    1
## performance[26,1]  -0.17    0.01 0.93  -2.06  -0.15   1.63  5432    1
## performance[26,2]   1.80    0.02 0.96  -0.06   1.77   3.74  3740    1
## performance[27,1]   0.44    0.01 0.82  -1.20   0.45   2.02  6304    1
## performance[27,2]   1.15    0.01 0.79  -0.37   1.14   2.75  5312    1
## performance[28,1]  -0.18    0.01 0.93  -2.12  -0.16   1.52  5271    1
## performance[28,2]   1.78    0.02 0.96  -0.06   1.77   3.75  3277    1
## performance[29,1]  -0.16    0.01 0.90  -1.97  -0.16   1.57  5432    1
## performance[29,2]   1.75    0.02 0.99  -0.07   1.72   3.82  3693    1
## performance[30,1]  -0.18    0.01 0.91  -1.98  -0.17   1.51  5441    1
## performance[30,2]   1.79    0.02 0.98  -0.03   1.77   3.76  3351    1
## b                   1.59    0.01 0.41   0.81   1.59   2.42  2210    1
## mu[1]               0.00     NaN 0.00   0.00   0.00   0.00   NaN  NaN
## mu[2]               1.59    0.01 0.41   0.81   1.59   2.42  2210    1
## lp__              -23.97    0.20 6.69 -37.61 -23.68 -11.50  1074    1
## 
## Samples were drawn using NUTS(diag_e) at Sun Jan 21 19:55:20 2024.
## For each parameter, n_eff is a crude measure of effective sample size,
## and Rhat is the potential scale reduction factor on split chains (at 
## convergence, Rhat=1).

試合結果と各試合のパフォーマンスの対応をメモしておく。カメが負け、ウサギが勝ちの場合、パフォーマンスの関係はperformance[g,2]が大きくなっている。3試合目はカメが勝ち、ウサギが負けの場合であるが、パフォーマンスの関係は変わっていないもの、

   Loser Winner
1      1      2 <- カメが負け、ウサギが勝ち
2      1      2 <- カメが負け、ウサギが勝ち
3      2      1 <- ウサギが負け、カメが勝ち

// g=1,i=1
// performance[1,1] ~ normal(mu[LW[1,1]], 1);
// performance[1,1] ~ normal(mu[1], 1);
// performance[1,1] ~ normal(0, 1);

// g=1,i=2
// performance[1,2] ~ normal(mu[LW[1,2]], 1);
// performance[1,2] ~ normal(mu[2], 1);
// performance[1,2] ~ normal(b, 1);
                    mean   sd   2.5%    50%  97.5%
performance[1,1]   -0.18 0.94  -2.07  -0.15   1.62 <- Loser: カメ  
performance[1,2]    1.78 0.99  -0.08   1.73   3.88 <- Winner: ウサギ

// g=2,i=1
// performance[2,1] ~ normal(mu[LW[1,2]], 1);
// performance[2,1] ~ normal(mu[1], 1);
// performance[2,1] ~ normal(0, 1);

// g=2,i=2
// performance[2,2] ~ normal(mu[LW[2,2]], 1);
// performance[2,2] ~ normal(mu[2], 1);
// performance[2,2] ~ normal(b, 1);
                    mean   sd   2.5%    50%  97.5%
performance[2,1]   -0.18 0.93  -2.08  -0.16   1.54 <- Loser: カメ  
performance[2,2]    1.78 0.97  -0.09   1.75   3.77 <- Winner: ウサギ  

// g=3,i=1
// performance[3,1] ~ normal(mu[LW[3,1]], 1);
// performance[3,1] ~ normal(mu[2], 1);
// performance[3,1] ~ normal(b, 1);

// g=3,i=2
// performance[3,2] ~ normal(mu[LW[3,2]], 1);
// performance[3,2] ~ normal(mu[1], 1);
// performance[3,2] ~ normal(0, 1);
                    mean   sd   2.5%    50%  97.5%
performance[3,1]    0.43 0.81  -1.21   0.44   1.96 <- Loser: ウサギ
performance[3,2]    1.16 0.79  -0.36   1.16   2.74 <- Winner: カメ

今回のモデルのメカニズムは少しわかりにくいので、データ生成を通じて、どのようなメカニズムを想定しているのか確認しておく。

set.seed(123)

G <- 30
mu_pf <- c(0, 1.5)
pf <- sapply(mu_pf, function(mu) rnorm(G, mean = mu, sd = 1))
colnames(pf) <- c('mu=0,sd=1', 'mu=1.5,sd=1')

sapply()関数の部分がわかりにくいかもしれないので、小さい例を載せておく。平均mu(0, 1.5)、標準偏差1をもつ分布から、30レース分の乱数を生成している。

pf
##         mu=0,sd=1 mu=1.5,sd=1
##  [1,] -0.56047565   1.9264642
##  [2,] -0.23017749   1.2049285
##  [3,]  1.55870831   2.3951257
##  [4,]  0.07050839   2.3781335
##  [5,]  0.12928774   2.3215811
##  [6,]  1.71506499   2.1886403
##  [7,]  0.46091621   2.0539177
##  [8,] -1.26506123   1.4380883
##  [9,] -0.68685285   1.1940373
## [10,] -0.44566197   1.1195290
## [11,]  1.22408180   0.8052930
## [12,]  0.35981383   1.2920827
## [13,]  0.40077145   0.2346036
## [14,]  0.11068272   3.6689560
## [15,] -0.55584113   2.7079620
## [16,]  1.78691314   0.3768914
## [17,]  0.49785048   1.0971152
## [18,] -1.96661716   1.0333446
## [19,]  0.70135590   2.2799651
## [20,] -0.47279141   1.4166309
## [21,] -1.06782371   1.7533185
## [22,] -0.21797491   1.4714532
## [23,] -1.02600445   1.4571295
## [24,] -0.72889123   2.8686023
## [25,] -0.62503927   1.2742290
## [26,] -1.68669331   3.0164706
## [27,]  0.83778704  -0.0487528
## [28,]  0.15337312   2.0846137
## [29,] -1.13813694   1.6238542
## [30,]  1.25381492   1.7159416

このデータに対して、行方向を基準に、大小を比較して、大きい方は2、小さい方は1としている。27レース目の0.83778704 > -0.0487528という関係なので、2, 1と順序が付与される。

t(apply(pf, 1, order))
##       [,1] [,2]
##  [1,]    1    2
##  [2,]    1    2
##  [3,]    1    2
##  [4,]    1    2
##  [5,]    1    2
##  [6,]    1    2
##  [7,]    1    2
##  [8,]    1    2
##  [9,]    1    2
## [10,]    1    2
## [11,]    2    1
## [12,]    1    2
## [13,]    2    1
## [14,]    1    2
## [15,]    1    2
## [16,]    2    1
## [17,]    1    2
## [18,]    1    2
## [19,]    1    2
## [20,]    1    2
## [21,]    1    2
## [22,]    1    2
## [23,]    1    2
## [24,]    1    2
## [25,]    1    2
## [26,]    1    2
## [27,]    2    1
## [28,]    1    2
## [29,]    1    2
## [30,]    1    2

このような想定の元、レースの勝敗がきまる。

d <- data.frame(t(apply(pf, 1, order)))
colnames(d) <- c('Loser', 'Winner')
tbl <- table(d$Winner)
tbl
## 
##  1  2 
##  4 26

例えば、カメの勝負ムラが大きくsd=5くらいあったとすると、30レース中9回はウサギに勝つ可能性がある。

set.seed(1989)
pf_mura <- matrix(
  rnorm(60, mean = c(0, 1.5), sd = c(5, 1)),
  ncol = 2,
  byrow = TRUE
)
d_mura <- data.frame(t(apply(pf_mura, 1, order)))
colnames(d_mura) <- c('Loser', 'Winner')
table(d_mura$Winner)
## 
##  1  2 
##  9 21

10.2.2 正の値を持つパラメタ

正の値を持つパラメタの事前分布の第一候補は一様分布\(U(0,1000\)である。ただ、場合によっては、大きな値を取ってしまうことがあるので、ある程度は制限をかけたい。その際に利用されるのが弱情報事前分布。

共役関係から、かつては標準偏差の事前分布は逆ガンマ分布を利用すること多かったが、逆ガンマ分布のパラメタは値によって、形状が大きく変化するため、原点0付近での確率密度が大きく異なる。下記は\(InvGamma(0.1,0.1)\)を可視化したもの。

library(MCMCpack)
x <- c(seq(1e-10, 0.0005, length = 100), seq(0.0005, 0.005, length = 100), seq(0.005, 0.02, length = 100), seq(0.02, 0.5, length = 100), seq(0.5, 3, length = 100), seq(3, 10, length = 100))
p1 <- dinvgamma(x, shape = 0.001, scale = 0.001)
p2 <- dinvgamma(x, shape = 0.1, scale = 0.1)
d <- data.frame(x = x, y1 = p1, y2 = p2)

ggplot() +
  theme_bw(base_size = 18) +
  geom_line(data = d, aes(x = x, y = y1), color = 'black', linewidth = 1, linetype = '31') +
  geom_line(data = d, aes(x = x, y = y2), color = 'black', linewidth = 1) +
  labs(x = 'y', y = 'probability density')

下記は\(InvGamma(0.001,0.001)\)を可視化したもの。このような形状の違いによる問題は対数正規分布でも起こりうる。

ggplot() +
  theme_bw(base_size = 18) +
  geom_line(data = d, aes(x = x, y = y1), color = 'black', linewidth = 1, linetype = '31') +
  geom_line(data = d, aes(x = x, y = y2), color = 'black', linewidth = 1) +
  labs(x = 'y', y = 'probability density') +
  scale_x_continuous(breaks = seq(from = 0, to = 0.01, by = 0.002), limits = c(0, 0.01))

これを避ける方法として、半t分布や半正規分布を利用する方法がある。半t分布は0近くの確率密度が十分あるので、逆ガンマ分布のような欠点が修正される。点線が半正規分布のグラフ。

x <- seq(0, 5, length=101)
p1 <- 2*dt(x, df=4)
p2 <- 2*dnorm(x, mean=0, sd=1)
d <- data.frame(x=x, y1=p1, y2=p2)

ggplot() +
  theme_bw(base_size=18) +
  geom_line(data=d, aes(x=x, y=y1), linewidth=1) +
  geom_line(data=d, aes(x=x, y=y2), linewidth=1, linetype='31') +
  labs(x='y', y='probability density')

他にも指数分布、ガンマ分布などを利用されるが、可視化して一番妥当な分布を利用することが望ましい。ガンマ分布であれば、\(shape,rate\)ともに固定値を与えて使うか、いずれか、または、両方が確率分布に従うと考えて、\(Gamma(shape,rate)\)として利用する。例えば、パラメタが平均1、標準偏差0.32の正規分布で近似できそうであれば、\(Gamma(10,10)\)を利用する方法もある。

data.frame(
  x = seq(0, 3, by = 0.01), 
  y = dgamma(seq(0, 3, by = 0.01), shape = 10, rate = 10)
  ) %>% 
  ggplot(data = ., aes(x=x, y=y)) +
  theme_bw(base_size = 18) +
  geom_line(linewidth=1) + 
  scale_x_continuous(breaks = seq(0, 5, 0.5)) + 
  labs(title = "Gamma Distribution (shape=10, rate=10)", x = "y", y = "Density")

ガンマ分布の例として、プロ棋士の勝敗データから、各騎士の強さと勝負ムラを推定する。1試合の勝敗ごとに点をやり取りするレーティングによって強さが数値化されている。下記が参考になる。

レーティングは「初期値から落ち着くまでに適正な評価が難しい」「評価のタイミングに依存する」「インフレしやすい」などの問題があるが、その欠点をベイズで克服する。

データは下記の1行1試合の形式で記録されている。1行目であれば、22番83番が試合をして、買ったのは83番という形で記録されていると思われる。2行目であれば、39番27番が試合をして、39番が負け、27番が勝ち。

d <- read.csv('https://raw.githubusercontent.com/MatsuuraKentaro/RStanBook/master/chap10/input/data-shogi-player.txt')
## 時間がかかるのでサイズを小さくする
d <- d[1:500,]
head(d)
##   Loser Winner
## 1    22     83
## 2    39     27
## 3    47    105
## 4     1      7
## 5    45     81
## 6    19     77

モデルのメカニズムを考える。ウサギとカメのモデルとあまり変わらないが、各騎士の強さを\(\mu[n]\)、勝負ムラを\(\sigma[n]\)として、1回の勝負で発揮する力は、平均\(\mu[n]\)、標準偏差\(\sigma[n]\)の正規分布から生成されると考える。勝敗はそのパフォーマンスの大小で決まる。

問題はウサギとカメのときのように、いずれかを0に固定するということができない。プレイヤーは166人おり、すべての棋士と対戦している棋士がいない。そのため、そのような棋士を基準にする方法はとれない。その代わりに、階層モデルを適用することで「各騎士の強さは\(\mu[n]\)は特定の分布に従う」という仮定をたてる。つまり、各騎士の強さ\(\mu[n]\)は平均0、標準偏差\(\sigma_{\mu}\)に従うと考える。そして、勝負ムラ\(\sigma[n]\)には弱情報事前分布(ガンマ分布(10,10))を利用する。勝負ムラの大きさは1前後に固定され、パフォーマンスのスケールが決まる。

メカニズムに関して、こちらのQiitaの記事でわかりやすく説明されている図があったのでお借りする。

モデル10-4

\[ \begin{eqnarray} performance[g,1] &\sim& Normal(\color{red}{\mu[}Loser[g]\color{red}{]},\color{blue}{\sigma[}Loser[g]\color{blue}{]})\\ performance[g,2] &\sim& Normal(\color{red}{\mu[}Winner[g]\color{red}{]},\color{blue}{\sigma[}Winner[g]\color{blue}{]})\\ performance[g,1] &\lt& performance[g,2] \\ \color{red}{\mu[n]} &\sim& Normal(0, \sigma_{\mu}) \\ \color{blue}{\sigma[n]} &\sim& Gamma(10, 10) \\ \end{eqnarray} \]

モデルは下記の通り。

data {
  int N;  // num of players
  int G;  // num of games
  int<lower=1, upper=N> LW[G,2];  // loser and winner of each game
}

parameters {
  ordered[2] performance[G];
  vector[N] mu;
  real<lower=0> s_mu;
  vector<lower=0>[N] s_pf;
}

model {
  mu ~ normal(0, s_mu);
  s_pf ~ gamma(10, 10);

  for (g in 1:G){
    for (i in 1:2){
      performance[g,i] ~ normal(mu[LW[g,i]], s_pf[LW[g,i]]);
    }
  }
}

この部分の動きを確認しておく。

model {
  mu ~ normal(0, s_mu);
  s_pf ~ gamma(10, 10);

  for (g in 1:G){
    for (i in 1:2){
      performance[g,i] ~ normal(mu[LW[g,i]], s_pf[LW[g,i]]);
    }
  }
}

// ここでは試合数を減らしている
// G=500, N=166
// g=1, i=1, Loser
// performance[1,1] ~ normal(mu[LW[1,1]], s_pf[LW[1,1]]);
// performance[1,1] ~ normal(mu[22], s_pf[22]);
// g=1, i=2, Wwinner
// performance[1,2] ~ normal(mu[LW[1,2]], s_pf[LW[1,2]]);
// performance[1,2] ~ normal(mu[83], s_pf[83]);
// ...
// g=500, i=1, Loser
// performance[500,1] ~ normal(mu[LW[500,1]], s_pf[LW[500,1]]);
// performance[500,1] ~ normal(mu[113], s_pf[113]);
// g=500, i=2, Winner
// performance[500,2] ~ normal(mu[LW[500,2]], s_pf[LW[500,2]]);
// performance[500,2] ~ normal(mu[4], s_pf[4]);

ここでは、stan_model()関数で最初にコンパイルしておいてから、

model104 <- stan_model('note_ahirubayes12-104.stan')

sampling()関数でサンプリングする。

N <- max(d)
G <- nrow(d)
data <- list(N = N, G = G, LW = d)

fit <- sampling(object = model104, data = data, seed = 1989)

推定結果は下記の通り。

print(fit, prob = c(0.025, 0.5, 0.975), digits_summary = 2)
## Inference for Stan model: anon_model.
## 4 chains, each with iter=2000; warmup=1000; thin=1; 
## post-warmup draws per chain=1000, total post-warmup draws=4000.
## 
##                        mean se_mean    sd     2.5%      50%    97.5% n_eff Rhat
## performance[1,1]      -0.68    0.01  0.94    -2.75    -0.62     1.05  4151 1.00
## performance[1,2]       0.56    0.02  0.96    -1.18     0.50     2.71  3961 1.00
## performance[2,1]      -0.57    0.02  0.92    -2.62    -0.49     1.02  3186 1.00
## performance[2,2]       0.55    0.01  0.93    -1.12     0.49     2.56  3939 1.00
## performance[3,1]      -0.18    0.02  0.97    -2.32    -0.11     1.59  2941 1.00
## performance[3,2]       1.15    0.03  0.95    -0.52     1.07     3.21  1391 1.00
## performance[4,1]      -0.84    0.02  0.94    -2.91    -0.77     0.78  2849 1.00
## performance[4,2]       0.41    0.02  0.93    -1.28     0.35     2.35  3633 1.00
## performance[5,1]      -0.69    0.02  0.96    -2.77    -0.64     0.98  3468 1.00
## performance[5,2]       0.76    0.01  0.95    -0.94     0.69     2.79  4262 1.00
## performance[6,1]      -0.46    0.02  0.96    -2.52    -0.39     1.30  2746 1.00
## performance[6,2]       0.81    0.02  0.96    -0.87     0.73     2.92  3838 1.00
## performance[7,1]      -0.47    0.02  0.98    -2.59    -0.38     1.24  3308 1.00
## performance[7,2]       0.71    0.02  0.97    -0.98     0.62     2.81  4113 1.00
## performance[8,1]      -0.77    0.02  0.95    -2.82    -0.69     0.91  3197 1.00
## performance[8,2]       0.37    0.02  0.94    -1.29     0.33     2.45  3831 1.00
## performance[9,1]      -0.55    0.01  0.90    -2.46    -0.50     1.09  4199 1.00
## performance[9,2]       0.63    0.01  0.93    -1.02     0.57     2.65  4608 1.00
## performance[10,1]     -0.68    0.02  0.92    -2.74    -0.62     0.93  3538 1.00
## performance[10,2]      0.51    0.01  0.95    -1.18     0.45     2.64  4564 1.00
## performance[11,1]     -0.82    0.02  0.95    -2.93    -0.73     0.83  2219 1.00
## performance[11,2]      0.53    0.01  0.94    -1.12     0.44     2.61  4639 1.00
## performance[12,1]     -0.70    0.02  0.96    -2.81    -0.63     1.03  4018 1.00
## performance[12,2]      0.57    0.01  0.97    -1.12     0.50     2.74  4900 1.00
## performance[13,1]     -0.43    0.02  0.94    -2.46    -0.35     1.29  3409 1.00
## performance[13,2]      0.74    0.01  0.93    -0.93     0.66     2.76  4158 1.00
## performance[14,1]     -0.75    0.02  0.96    -2.87    -0.68     1.01  2756 1.00
## performance[14,2]      0.40    0.02  0.96    -1.34     0.33     2.50  3764 1.00
## performance[15,1]     -0.69    0.02  0.93    -2.69    -0.64     1.03  3478 1.00
## performance[15,2]      0.42    0.01  0.93    -1.22     0.35     2.44  4220 1.00
## performance[16,1]     -0.35    0.02  0.95    -2.46    -0.31     1.34  2934 1.00
## performance[16,2]      0.76    0.02  0.94    -0.90     0.69     2.80  3657 1.00
## performance[17,1]     -0.68    0.02  0.95    -2.74    -0.59     0.99  3130 1.00
## performance[17,2]      0.53    0.01  0.96    -1.20     0.46     2.63  4439 1.00
## performance[18,1]     -0.45    0.02  0.95    -2.51    -0.40     1.22  3332 1.00
## performance[18,2]      0.81    0.01  0.94    -0.88     0.75     2.76  4041 1.00
## performance[19,1]     -0.75    0.02  0.91    -2.72    -0.68     0.87  3660 1.00
## performance[19,2]      0.55    0.01  0.93    -1.07     0.50     2.58  4657 1.00
## performance[20,1]     -0.53    0.02  0.95    -2.65    -0.47     1.13  2707 1.00
## performance[20,2]      0.84    0.02  0.97    -0.83     0.76     2.96  4208 1.00
## performance[21,1]     -0.50    0.01  0.93    -2.54    -0.45     1.15  4045 1.00
## performance[21,2]      0.88    0.02  0.97    -0.89     0.81     3.01  3699 1.00
## performance[22,1]     -0.66    0.02  0.96    -2.74    -0.59     1.00  2863 1.00
## performance[22,2]      0.95    0.02  0.93    -0.71     0.87     2.98  2808 1.00
## performance[23,1]     -0.60    0.02  0.92    -2.64    -0.53     1.03  3204 1.00
## performance[23,2]      0.85    0.01  0.91    -0.77     0.78     2.81  3815 1.00
## performance[24,1]     -0.44    0.02  0.92    -2.41    -0.38     1.19  3283 1.00
## performance[24,2]      0.62    0.01  0.93    -1.04     0.54     2.62  4128 1.00
## performance[25,1]     -0.45    0.02  0.93    -2.55    -0.38     1.22  3151 1.00
## performance[25,2]      0.80    0.02  0.92    -0.87     0.74     2.75  3507 1.00
## performance[26,1]     -0.70    0.02  0.94    -2.77    -0.63     0.98  3391 1.00
## performance[26,2]      0.52    0.01  0.92    -1.16     0.43     2.58  3927 1.00
## performance[27,1]     -0.47    0.02  0.94    -2.49    -0.41     1.22  3530 1.00
## performance[27,2]      0.80    0.02  0.93    -0.83     0.76     2.87  3321 1.00
## performance[28,1]     -0.48    0.02  0.93    -2.49    -0.41     1.20  3351 1.00
## performance[28,2]      0.73    0.01  0.92    -0.91     0.64     2.74  3846 1.00
## performance[29,1]     -0.42    0.02  0.94    -2.49    -0.36     1.24  3237 1.00
## performance[29,2]      0.95    0.02  0.94    -0.73     0.88     3.02  2827 1.00
## performance[30,1]     -0.67    0.02  0.95    -2.80    -0.60     1.04  3202 1.00
## performance[30,2]      0.53    0.01  0.96    -1.22     0.45     2.63  4367 1.00
## performance[31,1]     -0.80    0.02  0.93    -2.81    -0.72     0.90  2782 1.00
## performance[31,2]      0.49    0.01  0.94    -1.22     0.43     2.56  4426 1.00
## performance[32,1]     -0.56    0.02  0.96    -2.72    -0.48     1.12  3428 1.00
## performance[32,2]      0.91    0.01  0.92    -0.75     0.84     2.88  4102 1.00
## performance[33,1]     -0.52    0.02  0.97    -2.63    -0.45     1.22  3255 1.00
## performance[33,2]      0.80    0.02  0.93    -0.82     0.73     2.83  3653 1.00
## performance[34,1]     -0.14    0.02  0.92    -2.20    -0.09     1.52  1845 1.00
## performance[34,2]      1.14    0.02  0.91    -0.50     1.07     3.12  1356 1.00
## performance[35,1]     -0.54    0.02  0.97    -2.63    -0.45     1.17  3377 1.00
## performance[35,2]      0.58    0.01  0.97    -1.18     0.50     2.63  4563 1.00
## performance[36,1]     -0.72    0.02  0.94    -2.73    -0.66     0.95  3513 1.00
## performance[36,2]      0.65    0.01  0.96    -1.06     0.58     2.76  4434 1.00
## performance[37,1]     -0.88    0.02  0.96    -3.01    -0.81     0.80  3727 1.00
## performance[37,2]      0.33    0.01  0.93    -1.33     0.26     2.27  4662 1.00
## performance[38,1]     -0.36    0.02  0.97    -2.45    -0.28     1.35  3086 1.00
## performance[38,2]      0.72    0.01  0.98    -1.06     0.65     2.90  4251 1.00
## performance[39,1]     -0.81    0.02  0.92    -2.80    -0.74     0.85  3222 1.00
## performance[39,2]      0.47    0.01  0.97    -1.28     0.40     2.54  4529 1.00
## performance[40,1]     -0.60    0.02  0.95    -2.69    -0.53     1.09  2896 1.00
## performance[40,2]      0.72    0.01  0.93    -0.99     0.65     2.77  4306 1.00
## performance[41,1]     -0.47    0.02  0.95    -2.51    -0.39     1.24  3272 1.00
## performance[41,2]      0.79    0.02  0.94    -0.84     0.72     2.87  3715 1.00
## performance[42,1]     -0.47    0.02  0.94    -2.52    -0.40     1.23  3654 1.00
## performance[42,2]      0.70    0.01  0.91    -0.94     0.66     2.66  3893 1.00
## performance[43,1]     -0.68    0.02  0.97    -2.73    -0.62     1.11  3492 1.00
## performance[43,2]      0.46    0.02  0.99    -1.26     0.38     2.68  4115 1.00
## performance[44,1]     -0.70    0.02  0.97    -2.87    -0.61     1.03  3175 1.00
## performance[44,2]      0.80    0.01  0.94    -0.88     0.73     2.82  4202 1.00
## performance[45,1]     -0.68    0.02  0.95    -2.77    -0.59     1.02  3450 1.00
## performance[45,2]      0.66    0.01  0.92    -1.00     0.59     2.64  4442 1.00
## performance[46,1]     -0.56    0.02  0.95    -2.63    -0.49     1.12  3750 1.00
## performance[46,2]      0.79    0.02  0.92    -0.90     0.72     2.76  3170 1.00
## performance[47,1]     -0.82    0.02  0.95    -2.91    -0.76     0.86  3162 1.00
## performance[47,2]      0.51    0.02  0.95    -1.15     0.42     2.66  3991 1.00
## performance[48,1]     -0.64    0.01  0.94    -2.77    -0.57     0.97  3922 1.00
## performance[48,2]      0.46    0.01  0.92    -1.17     0.41     2.54  4276 1.00
## performance[49,1]     -0.38    0.02  0.99    -2.63    -0.29     1.28  2482 1.00
## performance[49,2]      0.80    0.02  0.93    -0.84     0.71     2.89  3769 1.00
## performance[50,1]     -0.68    0.02  0.95    -2.92    -0.59     1.01  3277 1.00
## performance[50,2]      0.57    0.01  0.94    -1.08     0.50     2.67  4156 1.00
## performance[51,1]     -0.74    0.02  0.96    -2.85    -0.69     1.02  3557 1.00
## performance[51,2]      0.87    0.02  0.95    -0.84     0.81     2.94  3946 1.00
## performance[52,1]     -0.64    0.02  0.92    -2.64    -0.59     0.99  3580 1.00
## performance[52,2]      0.42    0.01  0.94    -1.25     0.35     2.51  4280 1.00
## performance[53,1]     -0.36    0.02  0.95    -2.40    -0.30     1.31  2904 1.00
## performance[53,2]      0.89    0.01  0.94    -0.76     0.84     2.93  4195 1.00
## performance[54,1]     -0.88    0.02  0.97    -3.00    -0.82     0.84  3233 1.00
## performance[54,2]      0.25    0.02  0.95    -1.43     0.20     2.28  2892 1.00
## performance[55,1]     -0.67    0.01  0.91    -2.63    -0.62     0.96  4033 1.00
## performance[55,2]      0.47    0.02  0.94    -1.20     0.41     2.49  3744 1.00
## performance[56,1]     -0.75    0.02  0.93    -2.82    -0.68     0.89  3039 1.00
## performance[56,2]      0.58    0.01  0.91    -1.03     0.52     2.57  4415 1.00
## performance[57,1]     -0.57    0.02  0.90    -2.52    -0.50     1.06  3520 1.00
## performance[57,2]      0.51    0.01  0.93    -1.11     0.43     2.53  4044 1.00
## performance[58,1]     -0.42    0.02  0.95    -2.46    -0.33     1.23  3350 1.00
## performance[58,2]      0.78    0.02  0.93    -0.90     0.73     2.78  3328 1.00
## performance[59,1]     -0.55    0.02  0.96    -2.65    -0.46     1.19  3565 1.00
## performance[59,2]      0.56    0.01  0.95    -1.11     0.48     2.63  4121 1.00
## performance[60,1]     -0.72    0.02  0.91    -2.81    -0.66     0.95  3128 1.00
## performance[60,2]      0.57    0.02  0.95    -1.13     0.50     2.67  3849 1.00
## performance[61,1]     -0.50    0.02  0.93    -2.52    -0.43     1.17  3150 1.00
## performance[61,2]      0.61    0.01  0.94    -1.06     0.54     2.59  4344 1.00
## performance[62,1]     -0.93    0.02  0.93    -3.07    -0.87     0.71  2964 1.00
## performance[62,2]      0.40    0.01  0.95    -1.30     0.31     2.50  4382 1.00
## performance[63,1]     -0.53    0.02  0.92    -2.68    -0.45     1.06  3439 1.00
## performance[63,2]      0.63    0.01  0.93    -1.06     0.58     2.62  4680 1.00
## performance[64,1]     -0.38    0.02  0.93    -2.38    -0.33     1.30  3186 1.00
## performance[64,2]      0.70    0.01  0.95    -1.00     0.64     2.76  4179 1.00
## performance[65,1]     -0.61    0.02  0.96    -2.75    -0.55     1.10  3134 1.00
## performance[65,2]      0.47    0.02  0.95    -1.26     0.42     2.47  3566 1.00
## performance[66,1]     -0.41    0.02  0.93    -2.40    -0.38     1.29  3119 1.00
## performance[66,2]      0.95    0.02  0.95    -0.75     0.89     3.04  2476 1.00
## performance[67,1]     -0.44    0.02  0.95    -2.50    -0.35     1.23  3343 1.00
## performance[67,2]      1.06    0.02  0.94    -0.65     0.99     3.09  1998 1.00
## performance[68,1]     -0.16    0.02  0.95    -2.18    -0.08     1.55  2282 1.00
## performance[68,2]      1.14    0.02  0.94    -0.52     1.07     3.20  1506 1.00
## performance[69,1]     -0.71    0.02  0.96    -2.85    -0.63     0.96  3910 1.00
## performance[69,2]      0.57    0.01  0.94    -1.10     0.52     2.57  4133 1.00
## performance[70,1]     -0.67    0.02  0.96    -2.81    -0.61     1.06  3663 1.00
## performance[70,2]      0.64    0.01  0.93    -1.05     0.58     2.70  3992 1.00
## performance[71,1]     -0.68    0.02  0.96    -2.79    -0.59     0.97  2940 1.00
## performance[71,2]      0.53    0.01  0.90    -1.14     0.47     2.49  4315 1.00
## performance[72,1]     -0.89    0.02  0.95    -3.02    -0.82     0.80  2912 1.00
## performance[72,2]      0.50    0.01  0.94    -1.20     0.42     2.56  4210 1.00
## performance[73,1]     -0.65    0.02  0.96    -2.81    -0.57     1.11  3034 1.00
## performance[73,2]      0.56    0.01  0.97    -1.15     0.46     2.68  4358 1.00
## performance[74,1]     -0.76    0.02  0.92    -2.80    -0.68     0.87  3298 1.00
## performance[74,2]      0.44    0.01  0.92    -1.18     0.37     2.48  4094 1.00
## performance[75,1]     -0.51    0.02  0.96    -2.61    -0.44     1.24  3480 1.00
## performance[75,2]      0.77    0.01  0.93    -0.89     0.71     2.78  4227 1.00
## performance[76,1]     -0.75    0.02  0.95    -2.86    -0.69     0.92  3124 1.00
## performance[76,2]      0.57    0.01  0.96    -1.12     0.51     2.64  4448 1.00
## performance[77,1]     -0.81    0.02  0.94    -2.84    -0.74     0.85  3024 1.00
## performance[77,2]      0.45    0.02  0.95    -1.21     0.37     2.55  3710 1.00
## performance[78,1]     -0.67    0.02  0.94    -2.70    -0.61     0.98  2809 1.00
## performance[78,2]      0.74    0.01  0.92    -0.93     0.66     2.80  3802 1.00
## performance[79,1]     -0.70    0.02  0.94    -2.74    -0.64     0.97  2845 1.00
## performance[79,2]      0.65    0.01  0.97    -1.04     0.56     2.81  4542 1.00
## performance[80,1]     -0.62    0.02  0.97    -2.68    -0.55     1.11  3390 1.00
## performance[80,2]      0.63    0.01  0.94    -1.02     0.56     2.70  4418 1.00
## performance[81,1]     -0.43    0.02  0.96    -2.53    -0.37     1.24  3145 1.00
## performance[81,2]      0.84    0.01  0.92    -0.79     0.76     2.89  4221 1.00
## performance[82,1]     -0.85    0.02  0.94    -2.83    -0.80     0.91  2726 1.00
## performance[82,2]      0.65    0.01  0.95    -1.03     0.58     2.71  4267 1.00
## performance[83,1]     -0.48    0.02  0.97    -2.67    -0.40     1.20  3928 1.00
## performance[83,2]      0.75    0.02  0.92    -0.92     0.68     2.74  3680 1.00
## performance[84,1]     -0.69    0.02  1.00    -2.83    -0.59     1.09  2517 1.00
## performance[84,2]      0.80    0.01  0.94    -0.93     0.72     2.86  3968 1.00
## performance[85,1]     -0.44    0.02  0.94    -2.43    -0.39     1.22  2893 1.00
## performance[85,2]      0.85    0.02  0.95    -0.79     0.77     3.00  3299 1.00
## performance[86,1]     -0.65    0.02  0.94    -2.72    -0.58     1.05  3744 1.00
## performance[86,2]      0.56    0.01  0.92    -1.15     0.49     2.54  4132 1.00
## performance[87,1]     -0.64    0.02  0.90    -2.59    -0.59     0.98  3547 1.00
## performance[87,2]      0.89    0.01  0.91    -0.76     0.84     2.85  3901 1.00
## performance[88,1]     -0.54    0.02  0.93    -2.60    -0.47     1.10  3783 1.00
## performance[88,2]      0.87    0.02  0.98    -0.88     0.80     3.02  2821 1.00
## performance[89,1]     -0.80    0.02  0.97    -2.84    -0.74     0.92  3243 1.00
## performance[89,2]      0.37    0.01  0.92    -1.33     0.33     2.37  3819 1.00
## performance[90,1]     -0.76    0.02  0.96    -2.82    -0.72     1.03  3336 1.00
## performance[90,2]      0.72    0.01  0.96    -1.00     0.67     2.80  4698 1.00
## performance[91,1]     -0.17    0.02  0.92    -2.12    -0.11     1.52  2569 1.00
## performance[91,2]      0.87    0.02  0.95    -0.78     0.79     2.94  3834 1.00
## performance[92,1]     -0.82    0.02  0.93    -2.86    -0.76     0.85  2968 1.00
## performance[92,2]      0.42    0.01  0.93    -1.26     0.37     2.36  4279 1.00
## performance[93,1]     -0.73    0.02  0.95    -2.81    -0.67     0.93  2948 1.00
## performance[93,2]      0.64    0.01  0.93    -0.98     0.57     2.69  4011 1.00
## performance[94,1]     -0.81    0.02  0.93    -2.83    -0.75     0.83  3342 1.00
## performance[94,2]      0.42    0.01  0.92    -1.26     0.37     2.40  4525 1.00
## performance[95,1]     -0.58    0.02  0.96    -2.70    -0.53     1.16  3455 1.00
## performance[95,2]      0.81    0.02  0.95    -0.93     0.76     2.93  3728 1.00
## performance[96,1]     -0.65    0.02  0.95    -2.72    -0.58     1.00  3602 1.00
## performance[96,2]      0.58    0.01  0.94    -1.11     0.51     2.66  4147 1.00
## performance[97,1]     -0.68    0.02  0.95    -2.76    -0.61     1.09  3751 1.00
## performance[97,2]      0.55    0.01  0.93    -1.12     0.47     2.55  4268 1.00
## performance[98,1]     -0.77    0.02  0.97    -2.89    -0.70     0.94  2621 1.00
## performance[98,2]      0.47    0.02  0.96    -1.23     0.42     2.56  3342 1.00
## performance[99,1]     -0.67    0.01  0.95    -2.70    -0.61     1.04  4371 1.00
## performance[99,2]      0.71    0.02  0.96    -1.05     0.65     2.79  4018 1.00
## performance[100,1]    -0.84    0.02  0.94    -2.96    -0.78     0.81  3052 1.00
## performance[100,2]     0.41    0.01  0.93    -1.25     0.33     2.49  4478 1.00
## performance[101,1]    -0.57    0.02  0.97    -2.69    -0.51     1.19  3630 1.00
## performance[101,2]     0.90    0.02  0.93    -0.77     0.84     2.87  3266 1.00
## performance[102,1]    -0.80    0.02  0.94    -2.92    -0.73     0.86  2822 1.00
## performance[102,2]     0.44    0.01  0.93    -1.18     0.38     2.43  4663 1.00
## performance[103,1]    -0.47    0.02  0.91    -2.42    -0.40     1.15  3270 1.00
## performance[103,2]     0.64    0.01  0.91    -1.01     0.58     2.62  4380 1.00
## performance[104,1]    -0.78    0.02  0.95    -2.89    -0.70     0.90  2583 1.00
## performance[104,2]     0.57    0.01  0.95    -1.08     0.49     2.69  4757 1.00
## performance[105,1]    -0.67    0.01  0.91    -2.62    -0.60     0.97  3814 1.00
## performance[105,2]     0.49    0.01  0.94    -1.11     0.41     2.60  4652 1.00
## performance[106,1]    -0.60    0.02  0.93    -2.57    -0.51     1.07  3202 1.00
## performance[106,2]     0.61    0.01  0.96    -1.08     0.53     2.76  4508 1.00
## performance[107,1]    -0.43    0.02  0.91    -2.43    -0.36     1.23  3463 1.00
## performance[107,2]     0.71    0.01  0.94    -0.93     0.64     2.81  4232 1.00
## performance[108,1]    -0.40    0.02  0.93    -2.50    -0.33     1.23  2745 1.00
## performance[108,2]     0.83    0.02  0.92    -0.85     0.77     2.87  3032 1.00
## performance[109,1]    -0.44    0.02  0.93    -2.46    -0.37     1.25  3574 1.00
## performance[109,2]     0.85    0.02  0.94    -0.84     0.77     2.92  3152 1.00
## performance[110,1]    -0.43    0.02  0.94    -2.48    -0.36     1.25  3094 1.00
## performance[110,2]     0.84    0.02  0.94    -0.83     0.79     2.84  3564 1.00
## performance[111,1]    -0.47    0.01  0.92    -2.45    -0.41     1.20  3786 1.00
## performance[111,2]     0.72    0.01  0.96    -1.05     0.64     2.83  4371 1.00
## performance[112,1]    -0.27    0.02  0.96    -2.33    -0.21     1.46  2437 1.00
## performance[112,2]     0.89    0.02  0.97    -0.83     0.82     3.00  3254 1.00
## performance[113,1]    -0.30    0.02  0.94    -2.37    -0.23     1.38  3438 1.00
## performance[113,2]     0.80    0.01  0.96    -0.94     0.74     2.88  4191 1.00
## performance[114,1]    -0.85    0.02  0.93    -2.81    -0.79     0.79  1897 1.00
## performance[114,2]     0.41    0.01  0.92    -1.25     0.35     2.49  4723 1.00
## performance[115,1]    -0.22    0.02  0.97    -2.38    -0.14     1.57  2281 1.00
## performance[115,2]     1.08    0.02  0.93    -0.56     1.01     3.15  1896 1.00
## performance[116,1]    -0.66    0.02  0.94    -2.71    -0.59     1.00  3014 1.00
## performance[116,2]     0.62    0.01  0.94    -1.05     0.57     2.62  4359 1.00
## performance[117,1]    -0.80    0.02  0.93    -2.82    -0.74     0.88  3574 1.00
## performance[117,2]     0.61    0.01  0.95    -1.15     0.55     2.68  4043 1.00
## performance[118,1]    -0.40    0.02  0.92    -2.48    -0.34     1.25  3703 1.00
## performance[118,2]     0.81    0.01  0.91    -0.79     0.74     2.84  4530 1.00
## performance[119,1]    -0.50    0.02  0.96    -2.58    -0.44     1.26  3451 1.00
## performance[119,2]     0.78    0.02  0.94    -0.91     0.72     2.82  3633 1.00
## performance[120,1]    -0.86    0.02  0.96    -2.92    -0.78     0.89  2885 1.00
## performance[120,2]     0.63    0.02  0.96    -1.05     0.57     2.72  3960 1.00
## performance[121,1]    -0.69    0.02  0.93    -2.72    -0.63     0.96  3067 1.00
## performance[121,2]     0.46    0.01  0.92    -1.12     0.38     2.49  4229 1.00
## performance[122,1]    -0.78    0.02  0.96    -2.91    -0.71     0.93  2757 1.00
## performance[122,2]     0.39    0.02  0.93    -1.25     0.33     2.44  3279 1.00
## performance[123,1]    -0.85    0.02  0.95    -2.84    -0.80     0.83  3637 1.00
## performance[123,2]     0.27    0.02  0.94    -1.44     0.21     2.31  3221 1.00
## performance[124,1]    -0.63    0.02  0.97    -2.71    -0.55     1.09  3588 1.00
## performance[124,2]     0.59    0.01  0.94    -1.17     0.52     2.67  4295 1.00
## performance[125,1]    -0.43    0.02  0.95    -2.51    -0.36     1.29  3507 1.00
## performance[125,2]     0.87    0.02  0.92    -0.83     0.81     2.83  3396 1.00
## performance[126,1]    -0.35    0.02  0.94    -2.42    -0.28     1.32  3061 1.00
## performance[126,2]     0.80    0.01  0.94    -0.89     0.73     2.90  4060 1.00
## performance[127,1]    -0.25    0.02  0.97    -2.40    -0.16     1.43  2544 1.00
## performance[127,2]     1.03    0.02  0.94    -0.63     0.97     3.13  2187 1.00
## performance[128,1]    -0.60    0.02  0.96    -2.76    -0.55     1.14  3852 1.00
## performance[128,2]     0.65    0.01  0.94    -1.04     0.56     2.66  4185 1.00
## performance[129,1]    -0.61    0.02  0.95    -2.66    -0.53     1.04  3057 1.00
## performance[129,2]     1.01    0.02  0.95    -0.67     0.92     3.09  2070 1.00
## performance[130,1]    -0.39    0.02  0.95    -2.47    -0.32     1.28  2744 1.00
## performance[130,2]     0.90    0.02  0.89    -0.68     0.86     2.84  2556 1.00
## performance[131,1]    -0.01    0.03  0.97    -2.18     0.07     1.72  1275 1.00
## performance[131,2]     1.21    0.03  0.92    -0.44     1.16     3.17  1198 1.00
## performance[132,1]    -0.40    0.02  0.98    -2.53    -0.35     1.36  3442 1.00
## performance[132,2]     0.90    0.02  0.92    -0.75     0.82     2.93  3126 1.00
## performance[133,1]    -0.45    0.02  0.93    -2.55    -0.38     1.21  3565 1.00
## performance[133,2]     0.84    0.02  0.93    -0.82     0.77     2.84  3034 1.00
## performance[134,1]    -0.33    0.02  0.95    -2.42    -0.26     1.37  3262 1.00
## performance[134,2]     0.75    0.02  0.95    -1.00     0.68     2.84  3380 1.00
## performance[135,1]    -0.79    0.02  0.93    -2.89    -0.73     0.90  2847 1.00
## performance[135,2]     0.49    0.01  0.94    -1.16     0.41     2.53  4353 1.00
## performance[136,1]    -0.55    0.02  0.96    -2.65    -0.48     1.14  3069 1.00
## performance[136,2]     0.80    0.02  0.96    -0.98     0.73     2.89  3972 1.00
## performance[137,1]    -0.55    0.02  0.92    -2.54    -0.49     1.11  3307 1.00
## performance[137,2]     0.66    0.01  0.92    -1.01     0.60     2.67  4883 1.00
## performance[138,1]    -0.38    0.02  0.95    -2.52    -0.30     1.29  3410 1.00
## performance[138,2]     0.99    0.02  0.94    -0.67     0.93     3.02  3065 1.00
## performance[139,1]    -0.65    0.02  0.96    -2.75    -0.57     1.11  3674 1.00
## performance[139,2]     0.61    0.01  0.96    -1.08     0.54     2.74  4673 1.00
## performance[140,1]    -0.60    0.02  0.94    -2.59    -0.52     1.04  3173 1.00
## performance[140,2]     0.55    0.02  0.95    -1.17     0.49     2.68  3775 1.00
## performance[141,1]    -0.60    0.02  0.95    -2.72    -0.53     1.05  3344 1.00
## performance[141,2]     0.73    0.01  0.91    -0.96     0.68     2.77  4103 1.00
## performance[142,1]    -0.39    0.02  0.94    -2.49    -0.33     1.28  3614 1.00
## performance[142,2]     0.83    0.01  0.92    -0.85     0.77     2.85  4012 1.00
## performance[143,1]    -0.36    0.02  0.93    -2.39    -0.29     1.29  2917 1.00
## performance[143,2]     0.96    0.02  0.92    -0.69     0.89     2.96  2067 1.00
## performance[144,1]    -0.72    0.02  0.93    -2.76    -0.67     0.94  2794 1.00
## performance[144,2]     0.56    0.01  0.93    -1.12     0.50     2.57  4795 1.00
## performance[145,1]    -0.62    0.02  0.95    -2.73    -0.55     1.08  3397 1.00
## performance[145,2]     0.61    0.02  0.95    -1.14     0.55     2.68  4047 1.00
## performance[146,1]    -0.53    0.02  0.96    -2.68    -0.47     1.16  2513 1.00
## performance[146,2]     0.65    0.02  0.94    -1.05     0.60     2.75  3650 1.00
## performance[147,1]    -0.74    0.02  0.94    -2.70    -0.67     0.91  3314 1.00
## performance[147,2]     0.65    0.01  0.92    -1.06     0.60     2.63  4751 1.00
## performance[148,1]    -0.65    0.02  0.94    -2.71    -0.58     1.04  3422 1.00
## performance[148,2]     0.59    0.01  0.95    -1.12     0.52     2.65  4221 1.00
## performance[149,1]    -0.70    0.02  0.96    -2.73    -0.64     1.01  3224 1.00
## performance[149,2]     0.53    0.01  0.94    -1.16     0.45     2.57  4228 1.00
## performance[150,1]    -0.80    0.02  0.93    -2.82    -0.74     0.90  2613 1.00
## performance[150,2]     0.45    0.02  0.93    -1.23     0.40     2.46  3712 1.00
## performance[151,1]    -0.75    0.02  0.97    -2.93    -0.68     1.00  3629 1.00
## performance[151,2]     0.65    0.01  0.95    -1.08     0.58     2.72  4446 1.00
## performance[152,1]    -0.74    0.02  0.94    -2.84    -0.67     0.92  2970 1.00
## performance[152,2]     0.51    0.01  0.95    -1.19     0.44     2.60  4367 1.00
## performance[153,1]    -0.63    0.02  0.94    -2.69    -0.57     1.06  3786 1.00
## performance[153,2]     0.90    0.02  0.92    -0.74     0.83     2.92  3650 1.00
## performance[154,1]    -0.72    0.02  0.94    -2.87    -0.64     0.95  3559 1.00
## performance[154,2]     0.57    0.01  0.91    -1.08     0.51     2.59  4062 1.00
## performance[155,1]    -0.64    0.01  0.93    -2.71    -0.58     1.06  4405 1.00
## performance[155,2]     0.54    0.01  0.94    -1.23     0.47     2.60  4164 1.00
## performance[156,1]    -0.66    0.02  0.92    -2.61    -0.62     1.04  3689 1.00
## performance[156,2]     0.52    0.01  0.95    -1.19     0.46     2.67  4198 1.00
## performance[157,1]    -0.63    0.02  0.98    -2.93    -0.54     1.04  3239 1.00
## performance[157,2]     0.73    0.02  0.98    -1.02     0.67     2.90  3736 1.00
## performance[158,1]    -0.79    0.02  0.94    -2.86    -0.73     0.85  3319 1.00
## performance[158,2]     0.52    0.01  0.95    -1.25     0.47     2.59  4341 1.00
## performance[159,1]    -0.81    0.02  0.97    -3.00    -0.73     0.88  2579 1.00
## performance[159,2]     0.50    0.01  0.94    -1.20     0.44     2.52  4231 1.00
## performance[160,1]    -0.51    0.02  0.95    -2.56    -0.45     1.20  3881 1.00
## performance[160,2]     0.87    0.02  0.94    -0.81     0.81     2.94  3224 1.00
## performance[161,1]    -0.76    0.02  0.95    -2.87    -0.68     0.98  3055 1.00
## performance[161,2]     0.57    0.01  0.94    -1.09     0.52     2.61  4423 1.00
## performance[162,1]    -0.79    0.02  0.89    -2.69    -0.73     0.83  3329 1.00
## performance[162,2]     0.59    0.01  0.92    -1.00     0.51     2.57  4505 1.00
## performance[163,1]    -0.16    0.02  0.97    -2.30    -0.09     1.58  1912 1.00
## performance[163,2]     1.14    0.02  0.93    -0.52     1.07     3.19  1452 1.00
## performance[164,1]    -0.41    0.02  0.96    -2.49    -0.36     1.33  2944 1.00
## performance[164,2]     0.73    0.01  0.92    -0.95     0.66     2.76  3991 1.00
## performance[165,1]    -0.51    0.02  0.97    -2.66    -0.45     1.23  3228 1.00
## performance[165,2]     0.86    0.02  0.95    -0.87     0.80     2.92  3239 1.00
## performance[166,1]    -0.40    0.02  0.93    -2.39    -0.34     1.30  3729 1.00
## performance[166,2]     0.64    0.01  0.94    -1.08     0.57     2.63  4314 1.00
## performance[167,1]    -0.50    0.02  0.92    -2.49    -0.43     1.14  3149 1.00
## performance[167,2]     0.66    0.02  0.95    -1.02     0.58     2.75  3743 1.00
## performance[168,1]    -0.59    0.02  0.94    -2.66    -0.53     1.08  3318 1.00
## performance[168,2]     0.79    0.02  0.97    -0.97     0.73     2.96  3734 1.00
## performance[169,1]    -0.88    0.02  0.94    -2.87    -0.84     0.80  3017 1.00
## performance[169,2]     0.47    0.01  0.94    -1.21     0.40     2.59  4460 1.00
## performance[170,1]    -0.86    0.02  0.94    -2.91    -0.81     0.82  3517 1.00
## performance[170,2]     0.58    0.01  0.96    -1.19     0.53     2.69  4209 1.00
## performance[171,1]    -0.48    0.02  0.94    -2.55    -0.39     1.19  3697 1.00
## performance[171,2]     0.80    0.01  0.93    -0.88     0.73     2.77  3932 1.00
## performance[172,1]    -0.62    0.02  0.95    -2.70    -0.54     1.05  3851 1.00
## performance[172,2]     0.63    0.01  0.94    -1.09     0.56     2.66  4633 1.00
## performance[173,1]    -0.78    0.02  0.95    -2.78    -0.71     0.94  3163 1.00
## performance[173,2]     0.59    0.01  0.95    -1.08     0.52     2.71  4269 1.00
## performance[174,1]    -0.76    0.02  0.93    -2.81    -0.69     0.91  2950 1.00
## performance[174,2]     0.35    0.01  0.92    -1.30     0.29     2.33  4224 1.00
## performance[175,1]    -0.65    0.02  0.95    -2.80    -0.57     1.02  3533 1.00
## performance[175,2]     0.68    0.02  0.93    -0.97     0.61     2.70  3622 1.00
## performance[176,1]    -0.61    0.01  0.90    -2.56    -0.54     1.01  3646 1.00
## performance[176,2]     0.68    0.01  0.92    -0.98     0.61     2.72  4063 1.00
## performance[177,1]    -0.67    0.02  0.92    -2.68    -0.62     1.00  3147 1.00
## performance[177,2]     0.44    0.01  0.95    -1.27     0.35     2.56  4563 1.00
## performance[178,1]    -0.86    0.02  0.93    -2.91    -0.77     0.79  2521 1.00
## performance[178,2]     0.36    0.02  0.93    -1.28     0.31     2.44  3354 1.00
## performance[179,1]    -0.66    0.02  0.95    -2.74    -0.62     1.06  3240 1.00
## performance[179,2]     0.76    0.02  0.96    -0.98     0.69     2.87  3467 1.00
## performance[180,1]    -0.62    0.02  0.93    -2.63    -0.55     1.01  3268 1.00
## performance[180,2]     0.77    0.01  0.94    -0.92     0.70     2.84  4445 1.00
## performance[181,1]    -0.33    0.02  0.94    -2.44    -0.26     1.29  2885 1.00
## performance[181,2]     0.82    0.02  0.93    -0.83     0.77     2.95  3687 1.00
## performance[182,1]    -0.71    0.02  0.92    -2.72    -0.65     0.97  3533 1.00
## performance[182,2]     0.57    0.01  0.94    -1.10     0.51     2.66  4756 1.00
## performance[183,1]    -0.91    0.02  0.95    -2.97    -0.85     0.83  2479 1.00
## performance[183,2]     0.46    0.01  0.95    -1.21     0.38     2.53  4138 1.00
## performance[184,1]    -0.51    0.02  0.93    -2.48    -0.44     1.16  3607 1.00
## performance[184,2]     0.66    0.01  0.92    -0.99     0.59     2.74  4019 1.00
## performance[185,1]    -0.73    0.02  0.97    -2.83    -0.66     0.97  3491 1.00
## performance[185,2]     0.64    0.01  0.95    -1.10     0.58     2.77  4362 1.00
## performance[186,1]    -0.69    0.02  0.96    -2.82    -0.61     1.01  3136 1.00
## performance[186,2]     0.58    0.01  0.96    -1.15     0.49     2.72  4219 1.00
## performance[187,1]    -0.47    0.02  0.96    -2.63    -0.40     1.22  3358 1.00
## performance[187,2]     0.73    0.01  0.93    -0.95     0.67     2.70  4049 1.00
## performance[188,1]    -0.60    0.02  0.92    -2.73    -0.53     1.08  3433 1.00
## performance[188,2]     0.95    0.02  0.90    -0.61     0.87     2.93  1730 1.00
## performance[189,1]    -0.60    0.02  0.96    -2.73    -0.52     1.10  3153 1.00
## performance[189,2]     0.59    0.01  0.95    -1.13     0.54     2.69  4533 1.00
## performance[190,1]    -0.29    0.02  0.93    -2.31    -0.23     1.40  3215 1.00
## performance[190,2]     0.82    0.01  0.95    -0.84     0.74     2.94  4228 1.00
## performance[191,1]    -0.49    0.02  0.92    -2.53    -0.43     1.15  3631 1.00
## performance[191,2]     0.58    0.01  0.96    -1.08     0.49     2.73  5208 1.00
## performance[192,1]    -0.58    0.02  0.93    -2.53    -0.51     1.08  3334 1.00
## performance[192,2]     0.56    0.01  0.93    -1.10     0.50     2.54  4007 1.00
## performance[193,1]    -0.74    0.02  0.94    -2.76    -0.66     0.91  3130 1.00
## performance[193,2]     0.32    0.02  0.94    -1.38     0.26     2.40  3848 1.00
## performance[194,1]    -0.34    0.02  0.92    -2.36    -0.28     1.30  3154 1.00
## performance[194,2]     0.98    0.02  0.93    -0.66     0.91     3.01  2210 1.00
## performance[195,1]    -0.79    0.02  0.93    -2.77    -0.74     0.90  3442 1.00
## performance[195,2]     0.60    0.02  0.97    -1.10     0.53     2.78  3999 1.00
## performance[196,1]    -0.83    0.02  0.93    -2.83    -0.78     0.88  3711 1.00
## performance[196,2]     0.69    0.02  0.98    -1.09     0.62     2.84  4266 1.00
## performance[197,1]    -0.78    0.02  0.95    -2.83    -0.69     0.89  3788 1.00
## performance[197,2]     0.35    0.01  0.93    -1.30     0.27     2.37  4394 1.00
## performance[198,1]    -0.71    0.02  0.94    -2.83    -0.63     0.95  2383 1.00
## performance[198,2]     0.45    0.01  0.93    -1.21     0.40     2.50  4354 1.00
## performance[199,1]    -0.78    0.02  0.95    -2.94    -0.71     0.85  2873 1.00
## performance[199,2]     0.50    0.02  0.95    -1.22     0.45     2.57  3752 1.00
## performance[200,1]    -0.33    0.02  0.96    -2.44    -0.26     1.43  2725 1.00
## performance[200,2]     0.91    0.02  0.93    -0.78     0.84     2.93  2956 1.00
## performance[201,1]    -0.34    0.02  0.93    -2.36    -0.28     1.30  3024 1.00
## performance[201,2]     0.75    0.02  0.93    -0.93     0.68     2.81  3363 1.00
## performance[202,1]    -0.68    0.02  0.95    -2.81    -0.62     0.97  3919 1.00
## performance[202,2]     0.61    0.01  0.92    -1.02     0.56     2.66  4122 1.00
## performance[203,1]    -0.26    0.01  0.92    -2.26    -0.20     1.45  3922 1.00
## performance[203,2]     1.04    0.02  0.93    -0.61     0.97     3.03  2501 1.00
## performance[204,1]    -0.22    0.02  0.91    -2.20    -0.14     1.44  2545 1.00
## performance[204,2]     0.96    0.02  0.94    -0.73     0.89     3.00  3325 1.00
## performance[205,1]    -0.52    0.02  0.94    -2.59    -0.45     1.16  3254 1.00
## performance[205,2]     0.78    0.02  0.95    -0.95     0.72     2.81  3954 1.00
## performance[206,1]    -0.63    0.02  0.95    -2.78    -0.55     1.07  2967 1.00
## performance[206,2]     0.57    0.01  0.93    -1.08     0.48     2.64  4157 1.00
## performance[207,1]    -0.56    0.02  0.97    -2.67    -0.49     1.13  3673 1.00
## performance[207,2]     0.71    0.01  0.95    -0.94     0.64     2.79  4143 1.00
## performance[208,1]    -0.77    0.02  0.93    -2.78    -0.71     0.88  3283 1.00
## performance[208,2]     0.55    0.01  0.93    -1.11     0.48     2.62  4505 1.00
## performance[209,1]    -0.63    0.02  0.95    -2.75    -0.59     1.08  3609 1.00
## performance[209,2]     0.58    0.02  0.95    -1.12     0.52     2.66  3865 1.00
## performance[210,1]    -0.57    0.02  0.97    -2.67    -0.54     1.16  3325 1.00
## performance[210,2]     0.65    0.01  0.98    -1.14     0.57     2.76  4668 1.00
## performance[211,1]    -0.67    0.01  0.93    -2.65    -0.63     0.98  3972 1.00
## performance[211,2]     0.75    0.01  0.95    -0.96     0.68     2.85  4457 1.00
## performance[212,1]    -0.69    0.02  0.96    -2.75    -0.64     1.07  3130 1.00
## performance[212,2]     0.50    0.02  0.95    -1.19     0.42     2.59  3708 1.00
## performance[213,1]    -0.82    0.02  0.95    -2.89    -0.76     0.86  2975 1.00
## performance[213,2]     0.37    0.01  0.94    -1.31     0.31     2.38  4392 1.00
## performance[214,1]    -0.45    0.02  0.95    -2.51    -0.39     1.27  3210 1.00
## performance[214,2]     0.99    0.02  0.94    -0.67     0.92     3.03  2315 1.00
## performance[215,1]    -0.42    0.02  0.92    -2.44    -0.36     1.23  3257 1.00
## performance[215,2]     0.85    0.02  0.93    -0.85     0.80     2.84  3781 1.00
## performance[216,1]    -0.77    0.02  0.94    -2.78    -0.72     0.98  2668 1.00
## performance[216,2]     0.54    0.01  0.92    -1.16     0.49     2.51  4391 1.00
## performance[217,1]    -0.74    0.02  0.93    -2.77    -0.64     0.87  3572 1.00
## performance[217,2]     0.58    0.01  0.92    -1.05     0.51     2.54  3827 1.00
## performance[218,1]    -0.46    0.02  0.95    -2.60    -0.38     1.25  3344 1.00
## performance[218,2]     0.90    0.02  0.96    -0.78     0.83     3.02  2605 1.00
## performance[219,1]    -0.46    0.02  0.97    -2.59    -0.38     1.32  3518 1.00
## performance[219,2]     0.75    0.02  0.95    -0.92     0.66     2.89  3550 1.00
## performance[220,1]    -0.57    0.02  0.98    -2.69    -0.51     1.17  3244 1.00
## performance[220,2]     0.66    0.01  0.96    -1.02     0.59     2.80  4163 1.00
## performance[221,1]    -0.65    0.02  0.93    -2.70    -0.57     1.06  3542 1.00
## performance[221,2]     0.58    0.01  0.94    -1.09     0.50     2.65  4694 1.00
## performance[222,1]    -0.68    0.01  0.92    -2.73    -0.61     0.97  4018 1.00
## performance[222,2]     0.50    0.01  0.95    -1.19     0.43     2.62  4019 1.00
## performance[223,1]    -0.66    0.02  0.94    -2.70    -0.61     1.03  3022 1.00
## performance[223,2]     0.84    0.02  0.95    -0.85     0.75     3.02  3574 1.00
## performance[224,1]    -0.82    0.02  0.95    -2.87    -0.75     0.81  2584 1.00
## performance[224,2]     0.43    0.02  0.96    -1.29     0.36     2.52  4034 1.00
## performance[225,1]    -0.61    0.02  0.97    -2.76    -0.52     1.07  3328 1.00
## performance[225,2]     0.56    0.01  0.93    -1.16     0.48     2.57  4296 1.00
## performance[226,1]    -0.64    0.02  0.92    -2.66    -0.57     0.98  3126 1.00
## performance[226,2]     0.61    0.01  0.92    -0.98     0.52     2.65  4161 1.00
## performance[227,1]    -0.49    0.02  0.94    -2.50    -0.42     1.23  3045 1.00
## performance[227,2]     0.81    0.02  0.93    -0.83     0.74     2.86  3778 1.00
## performance[228,1]    -0.76    0.02  0.92    -2.80    -0.67     0.91  3348 1.00
## performance[228,2]     0.51    0.01  0.95    -1.18     0.44     2.55  4486 1.00
## performance[229,1]    -0.20    0.02  0.90    -2.15    -0.15     1.44  2390 1.00
## performance[229,2]     0.84    0.01  0.90    -0.81     0.79     2.77  3681 1.00
## performance[230,1]    -0.83    0.02  0.96    -2.97    -0.77     0.88  2835 1.00
## performance[230,2]     0.63    0.01  0.92    -1.01     0.57     2.62  4967 1.00
## performance[231,1]    -0.63    0.02  0.91    -2.59    -0.58     1.05  3467 1.00
## performance[231,2]     0.60    0.01  0.91    -1.00     0.53     2.65  4176 1.00
## performance[232,1]    -0.91    0.02  0.93    -2.91    -0.85     0.75  3363 1.00
## performance[232,2]     0.38    0.02  0.95    -1.33     0.32     2.38  3396 1.00
## performance[233,1]    -0.70    0.02  0.97    -2.78    -0.62     0.97  2892 1.00
## performance[233,2]     0.59    0.01  0.94    -1.10     0.53     2.65  4638 1.00
## performance[234,1]    -0.24    0.02  0.95    -2.31    -0.17     1.47  2981 1.00
## performance[234,2]     1.03    0.02  0.96    -0.70     0.95     3.11  2427 1.00
## performance[235,1]    -0.79    0.02  0.93    -2.87    -0.73     0.87  3204 1.00
## performance[235,2]     0.50    0.01  0.94    -1.15     0.44     2.54  4421 1.00
## performance[236,1]    -0.82    0.02  0.94    -2.87    -0.77     0.86  2642 1.00
## performance[236,2]     0.42    0.02  0.96    -1.31     0.35     2.57  3419 1.00
## performance[237,1]    -0.79    0.02  0.94    -2.88    -0.73     0.89  2437 1.00
## performance[237,2]     0.63    0.02  0.92    -1.01     0.58     2.69  3678 1.00
## performance[238,1]    -0.66    0.02  0.93    -2.75    -0.58     1.00  3490 1.00
## performance[238,2]     0.67    0.01  0.94    -1.08     0.60     2.70  4197 1.00
## performance[239,1]    -0.75    0.02  0.93    -2.75    -0.68     0.93  3414 1.00
## performance[239,2]     0.61    0.01  0.96    -1.19     0.55     2.64  4327 1.00
## performance[240,1]    -0.44    0.01  0.90    -2.34    -0.37     1.17  3664 1.00
## performance[240,2]     0.95    0.02  0.95    -0.72     0.88     3.09  2969 1.00
## performance[241,1]    -0.16    0.02  0.96    -2.34    -0.09     1.54  2265 1.00
## performance[241,2]     1.05    0.02  0.94    -0.61     0.98     3.14  2171 1.00
## performance[242,1]    -0.58    0.02  0.96    -2.67    -0.51     1.12  3627 1.00
## performance[242,2]     0.67    0.01  0.91    -0.99     0.62     2.66  3866 1.00
## performance[243,1]    -0.30    0.02  0.92    -2.31    -0.26     1.38  3509 1.00
## performance[243,2]     0.76    0.02  0.92    -0.90     0.69     2.76  3620 1.00
## performance[244,1]    -0.45    0.02  0.93    -2.47    -0.39     1.26  3112 1.00
## performance[244,2]     0.74    0.01  0.93    -0.96     0.67     2.82  3875 1.00
## performance[245,1]    -0.96    0.02  0.97    -3.10    -0.86     0.75  2557 1.00
## performance[245,2]     0.33    0.02  0.95    -1.38     0.27     2.43  3835 1.00
## performance[246,1]    -0.90    0.02  0.99    -3.09    -0.84     0.85  2860 1.00
## performance[246,2]     0.32    0.02  0.95    -1.35     0.26     2.42  3257 1.00
## performance[247,1]    -0.62    0.02  0.98    -2.77    -0.57     1.18  3240 1.00
## performance[247,2]     0.96    0.02  0.92    -0.71     0.91     2.99  2438 1.00
## performance[248,1]    -0.71    0.02  0.94    -2.78    -0.64     0.97  3609 1.00
## performance[248,2]     0.57    0.01  0.94    -1.11     0.50     2.57  4485 1.00
## performance[249,1]    -0.49    0.02  0.96    -2.55    -0.43     1.22  3418 1.00
## performance[249,2]     0.84    0.02  0.93    -0.80     0.77     2.87  3382 1.00
## performance[250,1]     0.00    0.02  0.91    -1.97     0.05     1.67  1599 1.00
## performance[250,2]     1.04    0.02  0.95    -0.65     0.97     3.23  2766 1.00
## performance[251,1]    -0.50    0.02  0.95    -2.68    -0.41     1.16  2470 1.00
## performance[251,2]     0.72    0.01  0.94    -0.98     0.65     2.82  4398 1.00
## performance[252,1]    -0.54    0.02  0.96    -2.66    -0.49     1.17  3353 1.00
## performance[252,2]     0.93    0.02  0.94    -0.73     0.88     2.98  2567 1.00
## performance[253,1]     0.06    0.03  0.97    -2.02     0.12     1.71  1181 1.00
## performance[253,2]     1.16    0.02  0.91    -0.47     1.11     3.15  1440 1.00
## performance[254,1]    -0.46    0.02  0.94    -2.47    -0.39     1.23  3562 1.00
## performance[254,2]     0.83    0.02  0.93    -0.87     0.78     2.83  3140 1.00
## performance[255,1]    -0.61    0.02  0.93    -2.62    -0.54     1.05  3214 1.00
## performance[255,2]     0.69    0.02  0.93    -0.96     0.64     2.71  3709 1.00
## performance[256,1]    -0.57    0.01  0.91    -2.50    -0.49     1.03  3976 1.00
## performance[256,2]     0.57    0.01  0.95    -1.14     0.51     2.71  4498 1.00
## performance[257,1]    -0.84    0.02  0.92    -2.85    -0.77     0.83  2554 1.00
## performance[257,2]     0.47    0.02  0.96    -1.23     0.37     2.55  3545 1.00
## performance[258,1]    -0.65    0.02  0.95    -2.66    -0.58     1.03  3360 1.00
## performance[258,2]     0.50    0.01  0.92    -1.17     0.44     2.56  4508 1.00
## performance[259,1]    -0.61    0.01  0.94    -2.74    -0.53     1.06  4040 1.00
## performance[259,2]     0.67    0.01  0.93    -0.98     0.60     2.73  4669 1.00
## performance[260,1]    -0.40    0.01  0.92    -2.40    -0.36     1.22  3765 1.00
## performance[260,2]     0.86    0.02  0.96    -0.80     0.77     2.93  3270 1.00
## performance[261,1]    -0.84    0.02  0.95    -2.95    -0.78     0.87  3760 1.00
## performance[261,2]     0.50    0.01  0.95    -1.21     0.42     2.55  4391 1.00
## performance[262,1]    -0.58    0.02  0.93    -2.66    -0.51     1.13  3386 1.00
## performance[262,2]     0.64    0.02  0.94    -1.08     0.56     2.75  3812 1.00
## performance[263,1]    -0.65    0.02  0.95    -2.71    -0.60     1.01  3505 1.00
## performance[263,2]     0.53    0.01  0.93    -1.12     0.46     2.64  3955 1.00
## performance[264,1]    -0.80    0.02  0.95    -2.95    -0.71     0.89  3339 1.00
## performance[264,2]     0.51    0.01  0.92    -1.14     0.45     2.62  4221 1.00
## performance[265,1]    -0.63    0.02  0.94    -2.67    -0.57     1.04  2963 1.00
## performance[265,2]     0.74    0.01  0.92    -0.86     0.66     2.73  4708 1.00
## performance[266,1]    -0.45    0.02  0.97    -2.67    -0.38     1.29  3624 1.00
## performance[266,2]     0.71    0.01  0.95    -1.00     0.65     2.72  4391 1.00
## performance[267,1]    -0.61    0.02  0.96    -2.73    -0.56     1.15  3551 1.00
## performance[267,2]     0.63    0.01  0.93    -1.01     0.55     2.69  4499 1.00
## performance[268,1]    -1.02    0.02  0.94    -3.11    -0.94     0.67  2301 1.00
## performance[268,2]     0.20    0.02  0.92    -1.42     0.13     2.21  3044 1.00
## performance[269,1]    -0.79    0.02  0.92    -2.85    -0.70     0.87  3395 1.00
## performance[269,2]     0.44    0.01  0.92    -1.19     0.38     2.49  4210 1.00
## performance[270,1]    -0.74    0.02  0.95    -2.69    -0.68     0.92  2831 1.00
## performance[270,2]     0.56    0.02  0.96    -1.22     0.51     2.68  3768 1.00
## performance[271,1]    -0.42    0.02  0.92    -2.49    -0.36     1.28  3077 1.00
## performance[271,2]     0.81    0.02  0.93    -0.91     0.73     2.83  3456 1.00
## performance[272,1]    -0.93    0.02  0.94    -2.97    -0.86     0.80  2229 1.00
## performance[272,2]     0.42    0.02  0.94    -1.24     0.35     2.43  3775 1.00
## performance[273,1]    -0.57    0.02  0.92    -2.60    -0.49     1.09  3424 1.00
## performance[273,2]     0.71    0.02  0.94    -0.96     0.62     2.83  3600 1.00
## performance[274,1]    -0.56    0.02  0.96    -2.79    -0.48     1.13  2650 1.00
## performance[274,2]     0.77    0.01  0.91    -0.89     0.71     2.77  4113 1.00
## performance[275,1]    -0.82    0.02  0.93    -2.85    -0.77     0.87  3237 1.00
## performance[275,2]     0.34    0.01  0.94    -1.32     0.30     2.39  4759 1.00
## performance[276,1]    -0.32    0.02  0.92    -2.27    -0.27     1.33  3030 1.00
## performance[276,2]     0.99    0.02  0.92    -0.65     0.94     3.05  2310 1.00
## performance[277,1]    -0.51    0.02  0.95    -2.56    -0.46     1.24  3334 1.00
## performance[277,2]     0.88    0.01  0.93    -0.75     0.81     2.90  4004 1.00
## performance[278,1]    -0.27    0.02  0.92    -2.36    -0.21     1.36  2768 1.00
## performance[278,2]     0.90    0.02  0.95    -0.79     0.83     3.04  3215 1.00
## performance[279,1]    -0.60    0.02  0.94    -2.66    -0.51     1.10  3163 1.00
## performance[279,2]     0.67    0.01  0.94    -1.00     0.61     2.75  4405 1.00
## performance[280,1]    -0.26    0.02  0.99    -2.46    -0.18     1.45  2688 1.00
## performance[280,2]     1.06    0.02  0.93    -0.55     0.99     3.11  1409 1.00
## performance[281,1]     0.03    0.03  0.91    -1.97     0.06     1.71  1169 1.01
## performance[281,2]     1.06    0.02  0.95    -0.62     0.99     3.09  1692 1.00
## performance[282,1]    -0.80    0.02  0.93    -2.75    -0.73     0.84  3052 1.00
## performance[282,2]     0.47    0.02  0.95    -1.24     0.41     2.56  3975 1.00
## performance[283,1]    -0.67    0.01  0.94    -2.75    -0.61     1.03  4054 1.00
## performance[283,2]     0.64    0.01  0.95    -1.04     0.55     2.75  4256 1.00
## performance[284,1]    -0.77    0.02  0.94    -2.79    -0.69     0.91  3473 1.00
## performance[284,2]     0.41    0.01  0.91    -1.23     0.35     2.40  4645 1.00
## performance[285,1]    -0.57    0.02  0.94    -2.60    -0.52     1.09  3417 1.00
## performance[285,2]     0.83    0.01  0.91    -0.81     0.79     2.88  3842 1.00
## performance[286,1]    -0.24    0.02  0.95    -2.25    -0.18     1.42  2610 1.00
## performance[286,2]     1.02    0.02  0.91    -0.61     0.98     2.99  2238 1.00
## performance[287,1]    -0.57    0.02  0.92    -2.65    -0.50     1.11  3600 1.00
## performance[287,2]     0.82    0.02  0.97    -0.92     0.75     2.94  3696 1.00
## performance[288,1]    -0.72    0.02  0.95    -2.76    -0.63     0.94  3222 1.00
## performance[288,2]     0.48    0.01  0.95    -1.19     0.43     2.59  4425 1.00
## performance[289,1]    -0.18    0.02  0.95    -2.18    -0.12     1.56  2503 1.00
## performance[289,2]     1.05    0.02  0.93    -0.62     0.99     3.09  2435 1.00
## performance[290,1]    -0.51    0.02  0.93    -2.56    -0.43     1.12  3700 1.00
## performance[290,2]     0.69    0.02  0.93    -0.97     0.62     2.72  3487 1.00
## performance[291,1]    -0.47    0.02  0.93    -2.40    -0.41     1.18  3147 1.00
## performance[291,2]     0.67    0.02  0.93    -0.97     0.63     2.69  3755 1.00
## performance[292,1]    -0.75    0.02  0.93    -2.83    -0.67     0.87  3154 1.00
## performance[292,2]     0.52    0.01  0.94    -1.16     0.45     2.63  4051 1.00
## performance[293,1]    -0.90    0.02  0.93    -2.97    -0.83     0.71  2869 1.00
## performance[293,2]     0.21    0.02  0.89    -1.43     0.15     2.16  3300 1.00
## performance[294,1]    -0.91    0.02  0.95    -2.96    -0.85     0.80  2526 1.00
## performance[294,2]     0.29    0.02  0.97    -1.42     0.24     2.49  3192 1.00
## performance[295,1]    -0.91    0.02  0.94    -2.96    -0.85     0.74  3307 1.00
## performance[295,2]     0.39    0.01  0.94    -1.24     0.31     2.46  3983 1.00
## performance[296,1]    -0.43    0.01  0.91    -2.36    -0.39     1.22  3897 1.00
## performance[296,2]     0.85    0.01  0.93    -0.83     0.79     2.84  3987 1.00
## performance[297,1]    -0.36    0.02  0.94    -2.47    -0.28     1.30  3103 1.00
## performance[297,2]     0.82    0.02  0.92    -0.80     0.75     2.83  3722 1.00
## performance[298,1]    -0.75    0.02  0.96    -2.93    -0.68     0.98  2858 1.00
## performance[298,2]     0.49    0.02  0.96    -1.19     0.43     2.59  4017 1.00
## performance[299,1]    -0.54    0.02  0.93    -2.57    -0.46     1.19  3100 1.00
## performance[299,2]     0.63    0.01  0.92    -1.02     0.55     2.62  4161 1.00
## performance[300,1]    -0.65    0.02  0.93    -2.73    -0.60     1.00  2855 1.00
## performance[300,2]     0.62    0.01  0.93    -0.98     0.54     2.76  3978 1.00
## performance[301,1]    -0.49    0.02  0.92    -2.51    -0.45     1.16  3555 1.00
## performance[301,2]     0.68    0.02  0.95    -1.03     0.61     2.75  3782 1.00
## performance[302,1]    -0.56    0.02  0.92    -2.62    -0.51     1.10  3704 1.00
## performance[302,2]     0.56    0.01  0.93    -1.15     0.49     2.55  4675 1.00
## performance[303,1]    -0.89    0.02  0.95    -2.98    -0.81     0.76  3520 1.00
## performance[303,2]     0.26    0.01  0.92    -1.46     0.21     2.23  4030 1.00
## performance[304,1]    -0.66    0.01  0.90    -2.64    -0.60     0.99  3705 1.00
## performance[304,2]     0.73    0.01  0.91    -0.95     0.67     2.72  4274 1.00
## performance[305,1]    -0.87    0.02  0.96    -2.90    -0.80     0.88  2800 1.00
## performance[305,2]     0.42    0.02  0.96    -1.35     0.37     2.46  4051 1.00
## performance[306,1]    -0.63    0.02  0.96    -2.70    -0.56     1.13  3362 1.00
## performance[306,2]     0.78    0.01  0.94    -0.90     0.72     2.72  4051 1.00
## performance[307,1]    -0.04    0.02  0.93    -2.11     0.03     1.64  1907 1.00
## performance[307,2]     1.20    0.02  0.93    -0.42     1.12     3.24  1526 1.00
## performance[308,1]    -0.20    0.02  0.94    -2.27    -0.13     1.48  2354 1.00
## performance[308,2]     1.12    0.02  0.92    -0.52     1.08     3.09  1852 1.00
## performance[309,1]    -0.39    0.02  0.98    -2.60    -0.31     1.32  3009 1.00
## performance[309,2]     0.92    0.01  0.93    -0.77     0.85     3.01  4059 1.00
## performance[310,1]    -0.30    0.02  0.94    -2.32    -0.23     1.35  3003 1.00
## performance[310,2]     1.09    0.02  0.93    -0.56     1.01     3.12  1476 1.00
## performance[311,1]    -0.31    0.02  0.96    -2.44    -0.23     1.42  3255 1.00
## performance[311,2]     1.09    0.03  0.93    -0.53     1.02     3.15  1390 1.00
## performance[312,1]    -0.56    0.02  0.97    -2.71    -0.47     1.11  3338 1.00
## performance[312,2]     0.75    0.02  0.95    -0.98     0.68     2.89  3923 1.00
## performance[313,1]    -0.76    0.02  0.90    -2.71    -0.72     0.94  3212 1.00
## performance[313,2]     0.59    0.01  0.92    -1.05     0.52     2.65  3960 1.00
## performance[314,1]    -0.50    0.02  0.90    -2.49    -0.45     1.08  3077 1.00
## performance[314,2]     0.64    0.01  0.91    -0.95     0.57     2.69  3903 1.00
## performance[315,1]    -0.46    0.02  0.94    -2.51    -0.40     1.20  2873 1.00
## performance[315,2]     0.63    0.02  0.96    -1.09     0.57     2.75  3917 1.00
## performance[316,1]    -0.48    0.02  0.95    -2.58    -0.42     1.25  3753 1.00
## performance[316,2]     0.69    0.01  0.94    -1.02     0.62     2.73  3947 1.00
## performance[317,1]    -0.69    0.01  0.92    -2.62    -0.64     1.00  4213 1.00
## performance[317,2]     0.45    0.01  0.91    -1.19     0.38     2.40  4252 1.00
## performance[318,1]    -0.66    0.02  0.93    -2.65    -0.58     1.04  3347 1.00
## performance[318,2]     0.60    0.01  0.90    -1.04     0.54     2.52  3990 1.00
## performance[319,1]    -0.61    0.02  0.92    -2.66    -0.55     1.01  3590 1.00
## performance[319,2]     0.53    0.01  0.93    -1.13     0.48     2.55  4315 1.00
## performance[320,1]    -0.52    0.02  0.95    -2.55    -0.45     1.17  3365 1.00
## performance[320,2]     0.82    0.01  0.93    -0.86     0.74     2.87  4545 1.00
## performance[321,1]    -0.45    0.02  0.96    -2.55    -0.36     1.22  2206 1.00
## performance[321,2]     0.88    0.02  0.91    -0.80     0.82     2.89  2718 1.00
## performance[322,1]    -0.50    0.02  0.98    -2.62    -0.44     1.24  3614 1.00
## performance[322,2]     1.00    0.02  0.94    -0.69     0.92     3.02  1874 1.00
## performance[323,1]    -0.20    0.02  0.95    -2.21    -0.14     1.53  3115 1.00
## performance[323,2]     0.91    0.02  0.96    -0.82     0.84     3.14  3632 1.00
## performance[324,1]    -0.68    0.02  0.96    -2.90    -0.60     1.02  3177 1.00
## performance[324,2]     0.56    0.01  0.94    -1.12     0.48     2.60  4523 1.00
## performance[325,1]    -0.56    0.02  0.98    -2.76    -0.45     1.17  3233 1.00
## performance[325,2]     0.65    0.01  0.95    -1.11     0.59     2.69  4809 1.00
## performance[326,1]    -0.38    0.02  0.96    -2.53    -0.31     1.31  3402 1.00
## performance[326,2]     0.97    0.02  0.95    -0.71     0.89     3.06  3068 1.00
## performance[327,1]    -0.60    0.01  0.92    -2.61    -0.53     1.03  4061 1.00
## performance[327,2]     0.67    0.02  0.95    -1.10     0.61     2.79  3855 1.00
## performance[328,1]    -0.81    0.02  0.94    -2.88    -0.73     0.87  2886 1.00
## performance[328,2]     0.50    0.01  0.92    -1.17     0.43     2.49  4232 1.00
## performance[329,1]    -0.77    0.02  0.93    -2.78    -0.71     0.87  3749 1.00
## performance[329,2]     0.63    0.02  0.93    -1.02     0.56     2.66  3468 1.00
## performance[330,1]    -0.74    0.02  0.94    -2.78    -0.67     0.87  3223 1.00
## performance[330,2]     0.39    0.02  0.95    -1.28     0.32     2.56  3571 1.00
## performance[331,1]    -0.81    0.02  0.94    -2.87    -0.74     0.88  3394 1.00
## performance[331,2]     0.32    0.02  0.95    -1.35     0.25     2.36  3587 1.00
## performance[332,1]    -0.66    0.02  0.93    -2.81    -0.57     0.96  3389 1.00
## performance[332,2]     0.56    0.01  0.93    -1.06     0.49     2.55  4096 1.00
## performance[333,1]    -0.46    0.01  0.93    -2.48    -0.40     1.20  4225 1.00
## performance[333,2]     0.74    0.02  0.93    -0.97     0.68     2.82  3675 1.00
## performance[334,1]    -0.55    0.02  0.95    -2.66    -0.50     1.14  2708 1.00
## performance[334,2]     0.92    0.02  0.94    -0.72     0.86     2.97  3157 1.00
## performance[335,1]    -0.70    0.02  0.99    -2.80    -0.61     1.08  2897 1.00
## performance[335,2]     0.65    0.02  0.95    -1.07     0.58     2.67  3996 1.00
## performance[336,1]    -0.76    0.02  0.93    -2.79    -0.70     0.93  3111 1.00
## performance[336,2]     0.52    0.01  0.95    -1.21     0.45     2.61  4120 1.00
## performance[337,1]     0.02    0.03  0.93    -2.05     0.09     1.63  1237 1.00
## performance[337,2]     1.07    0.02  0.92    -0.54     1.00     3.06  2109 1.00
## performance[338,1]    -0.69    0.02  0.93    -2.73    -0.60     1.02  3392 1.00
## performance[338,2]     0.55    0.01  0.93    -1.11     0.48     2.62  4185 1.00
## performance[339,1]    -0.66    0.02  0.96    -2.75    -0.60     1.06  3167 1.00
## performance[339,2]     0.60    0.01  0.94    -1.05     0.53     2.67  4275 1.00
## performance[340,1]    -0.61    0.02  0.94    -2.61    -0.55     1.08  3598 1.00
## performance[340,2]     0.76    0.01  0.97    -0.95     0.68     2.82  4302 1.00
## performance[341,1]    -0.71    0.02  0.92    -2.74    -0.66     0.91  2740 1.00
## performance[341,2]     0.86    0.02  0.92    -0.79     0.81     2.88  2900 1.00
## performance[342,1]    -0.32    0.02  0.97    -2.46    -0.23     1.38  2532 1.00
## performance[342,2]     0.98    0.02  0.93    -0.67     0.91     3.06  3198 1.00
## performance[343,1]    -0.93    0.02  0.94    -2.96    -0.88     0.75  2964 1.00
## performance[343,2]     0.36    0.02  0.94    -1.29     0.28     2.42  3797 1.00
## performance[344,1]    -0.73    0.02  0.96    -2.84    -0.66     0.90  2859 1.00
## performance[344,2]     0.74    0.01  0.95    -0.96     0.69     2.79  4121 1.00
## performance[345,1]    -0.35    0.02  0.95    -2.42    -0.31     1.38  2950 1.00
## performance[345,2]     0.84    0.02  0.95    -0.86     0.77     2.90  3742 1.00
## performance[346,1]    -0.46    0.02  0.96    -2.64    -0.37     1.23  3409 1.00
## performance[346,2]     0.84    0.02  0.92    -0.78     0.78     2.81  2856 1.00
## performance[347,1]    -0.51    0.02  0.95    -2.62    -0.45     1.19  4012 1.00
## performance[347,2]     0.70    0.01  0.92    -0.92     0.63     2.81  4429 1.00
## performance[348,1]    -0.77    0.02  0.96    -2.80    -0.69     0.92  3160 1.00
## performance[348,2]     0.61    0.01  0.96    -1.10     0.55     2.72  4153 1.00
## performance[349,1]    -0.61    0.02  0.97    -2.78    -0.52     1.09  3373 1.00
## performance[349,2]     0.59    0.01  0.96    -1.16     0.52     2.66  4654 1.00
## performance[350,1]    -0.76    0.02  0.95    -2.74    -0.69     0.94  3708 1.00
## performance[350,2]     0.50    0.01  0.92    -1.22     0.44     2.51  4347 1.00
## performance[351,1]    -0.44    0.02  0.94    -2.60    -0.36     1.19  3344 1.00
## performance[351,2]     0.71    0.02  0.94    -0.99     0.65     2.75  3637 1.00
## performance[352,1]    -0.81    0.02  0.92    -2.81    -0.75     0.85  3023 1.00
## performance[352,2]     0.54    0.01  0.93    -1.15     0.45     2.54  4306 1.00
## performance[353,1]    -0.69    0.02  0.93    -2.79    -0.59     0.95  3789 1.00
## performance[353,2]     0.60    0.01  0.94    -1.08     0.53     2.78  4285 1.00
## performance[354,1]    -0.87    0.02  0.92    -2.89    -0.80     0.79  3168 1.00
## performance[354,2]     0.46    0.02  0.92    -1.22     0.41     2.52  3359 1.00
## performance[355,1]    -0.51    0.01  0.92    -2.51    -0.44     1.19  4032 1.00
## performance[355,2]     0.73    0.01  0.94    -1.00     0.66     2.83  4020 1.00
## performance[356,1]    -0.08    0.02  0.96    -2.08    -0.03     1.57  2442 1.00
## performance[356,2]     1.03    0.02  0.93    -0.62     0.98     3.06  2724 1.00
## performance[357,1]    -0.90    0.02  0.94    -3.01    -0.83     0.83  3278 1.00
## performance[357,2]     0.37    0.01  0.95    -1.30     0.29     2.42  4230 1.00
## performance[358,1]    -0.78    0.02  0.96    -3.02    -0.68     0.92  3203 1.00
## performance[358,2]     0.37    0.01  0.95    -1.36     0.31     2.39  4139 1.00
## performance[359,1]    -0.58    0.02  0.93    -2.67    -0.50     1.07  3399 1.00
## performance[359,2]     0.56    0.01  0.94    -1.11     0.51     2.60  3955 1.00
## performance[360,1]    -0.55    0.01  0.92    -2.62    -0.49     1.08  3994 1.00
## performance[360,2]     0.62    0.01  0.92    -1.04     0.56     2.65  4043 1.00
## performance[361,1]    -0.40    0.02  0.93    -2.34    -0.34     1.29  3505 1.00
## performance[361,2]     0.83    0.02  0.95    -0.86     0.78     2.89  2770 1.00
## performance[362,1]    -0.81    0.02  0.95    -2.92    -0.73     0.86  3277 1.00
## performance[362,2]     0.32    0.02  0.95    -1.38     0.26     2.37  3373 1.00
## performance[363,1]    -0.69    0.02  0.94    -2.75    -0.64     0.97  3825 1.00
## performance[363,2]     0.58    0.01  0.94    -1.11     0.55     2.65  4367 1.00
## performance[364,1]    -0.76    0.02  0.96    -2.85    -0.69     0.90  3082 1.00
## performance[364,2]     0.60    0.01  0.95    -1.06     0.51     2.67  4435 1.00
## performance[365,1]    -0.77    0.01  0.93    -2.82    -0.69     0.88  3881 1.00
## performance[365,2]     0.60    0.01  0.95    -1.09     0.52     2.65  4311 1.00
## performance[366,1]    -0.74    0.02  0.97    -2.86    -0.67     0.99  3282 1.00
## performance[366,2]     0.66    0.01  0.96    -1.05     0.58     2.77  4708 1.00
## performance[367,1]    -0.51    0.02  0.94    -2.54    -0.43     1.16  3892 1.00
## performance[367,2]     0.67    0.01  0.94    -1.03     0.60     2.74  4247 1.00
## performance[368,1]    -0.66    0.02  0.95    -2.78    -0.57     0.97  2314 1.00
## performance[368,2]     0.68    0.01  0.93    -0.98     0.61     2.68  4149 1.00
## performance[369,1]    -0.45    0.02  0.98    -2.52    -0.37     1.29  3131 1.00
## performance[369,2]     0.85    0.02  0.95    -0.86     0.79     2.90  3125 1.00
## performance[370,1]    -0.42    0.02  0.95    -2.48    -0.36     1.27  3379 1.00
## performance[370,2]     0.72    0.01  0.91    -0.95     0.67     2.71  3937 1.00
## performance[371,1]    -0.38    0.02  0.97    -2.50    -0.31     1.32  2863 1.00
## performance[371,2]     0.77    0.01  0.95    -0.94     0.70     2.86  4152 1.00
## performance[372,1]    -0.39    0.01  0.91    -2.37    -0.33     1.22  3792 1.00
## performance[372,2]     0.86    0.02  0.93    -0.84     0.78     2.88  3556 1.00
## performance[373,1]    -0.51    0.02  0.95    -2.62    -0.46     1.21  3319 1.00
## performance[373,2]     0.78    0.01  0.92    -0.85     0.70     2.80  3772 1.00
## performance[374,1]    -0.65    0.02  0.93    -2.65    -0.58     1.01  2789 1.00
## performance[374,2]     0.62    0.01  0.93    -1.00     0.56     2.63  4322 1.00
## performance[375,1]    -0.18    0.02  0.97    -2.33    -0.10     1.52  1498 1.00
## performance[375,2]     1.17    0.02  0.94    -0.51     1.10     3.28  1901 1.00
## performance[376,1]    -0.61    0.02  0.94    -2.64    -0.55     1.07  3379 1.00
## performance[376,2]     0.54    0.02  0.95    -1.14     0.46     2.57  3931 1.00
## performance[377,1]    -0.78    0.01  0.93    -2.86    -0.71     0.89  3884 1.00
## performance[377,2]     0.52    0.01  0.96    -1.17     0.45     2.59  4353 1.00
## performance[378,1]    -0.86    0.02  0.94    -2.90    -0.79     0.76  2214 1.00
## performance[378,2]     0.46    0.02  0.99    -1.27     0.38     2.63  4369 1.00
## performance[379,1]    -0.69    0.02  0.92    -2.70    -0.62     0.96  3021 1.00
## performance[379,2]     0.49    0.01  0.94    -1.21     0.45     2.52  4725 1.00
## performance[380,1]    -0.79    0.02  0.96    -2.81    -0.72     0.90  3062 1.00
## performance[380,2]     0.59    0.01  0.93    -1.07     0.50     2.60  4217 1.00
## performance[381,1]    -0.90    0.02  0.92    -2.89    -0.83     0.70  2501 1.00
## performance[381,2]     0.25    0.02  0.90    -1.36     0.18     2.22  3343 1.00
## performance[382,1]    -0.80    0.02  0.93    -2.84    -0.74     0.89  3098 1.00
## performance[382,2]     0.50    0.01  0.91    -1.18     0.45     2.54  3819 1.00
## performance[383,1]    -0.72    0.02  0.93    -2.76    -0.67     0.98  3843 1.00
## performance[383,2]     0.65    0.01  0.97    -1.09     0.56     2.78  4874 1.00
## performance[384,1]    -0.31    0.02  0.96    -2.34    -0.24     1.46  3367 1.00
## performance[384,2]     0.90    0.02  0.97    -0.87     0.82     3.07  3771 1.00
## performance[385,1]    -0.64    0.02  0.95    -2.71    -0.58     1.02  2955 1.00
## performance[385,2]     0.74    0.01  0.91    -0.93     0.67     2.70  4682 1.00
## performance[386,1]    -0.51    0.02  0.97    -2.70    -0.44     1.18  3403 1.00
## performance[386,2]     0.92    0.02  0.94    -0.78     0.87     2.95  2913 1.00
## performance[387,1]    -0.60    0.02  0.94    -2.78    -0.52     1.05  3108 1.00
## performance[387,2]     0.68    0.02  0.98    -1.01     0.59     2.88  4175 1.00
## performance[388,1]    -0.79    0.02  0.94    -2.87    -0.71     0.83  3158 1.00
## performance[388,2]     0.57    0.01  0.91    -1.07     0.51     2.51  3892 1.00
## performance[389,1]    -0.93    0.02  0.95    -3.06    -0.85     0.74  2844 1.00
## performance[389,2]     0.42    0.02  0.98    -1.32     0.36     2.54  4210 1.00
## performance[390,1]    -0.23    0.02  0.93    -2.22    -0.17     1.46  3154 1.00
## performance[390,2]     0.92    0.02  0.93    -0.76     0.86     3.00  2513 1.00
## performance[391,1]    -0.65    0.02  0.92    -2.70    -0.58     1.01  3278 1.00
## performance[391,2]     0.57    0.01  0.94    -1.09     0.52     2.64  4107 1.00
## performance[392,1]    -0.44    0.02  0.92    -2.47    -0.37     1.25  3507 1.00
## performance[392,2]     0.96    0.02  0.91    -0.60     0.89     2.92  3046 1.00
## performance[393,1]    -0.60    0.02  0.95    -2.66    -0.53     1.04  3179 1.00
## performance[393,2]     0.64    0.01  0.91    -0.98     0.59     2.61  4145 1.00
## performance[394,1]    -0.34    0.02  0.93    -2.44    -0.26     1.34  3216 1.00
## performance[394,2]     0.89    0.02  0.94    -0.77     0.82     3.03  3384 1.00
## performance[395,1]    -0.44    0.02  0.95    -2.64    -0.37     1.26  3459 1.00
## performance[395,2]     0.97    0.02  0.91    -0.62     0.91     2.91  2120 1.00
## performance[396,1]    -0.58    0.02  0.94    -2.69    -0.50     1.10  3362 1.00
## performance[396,2]     0.72    0.01  0.92    -0.90     0.65     2.80  4039 1.00
## performance[397,1]    -0.58    0.02  0.94    -2.67    -0.52     1.09  3518 1.00
## performance[397,2]     0.71    0.01  0.93    -0.93     0.64     2.74  4537 1.00
## performance[398,1]    -0.58    0.02  0.97    -2.75    -0.51     1.14  3058 1.00
## performance[398,2]     0.62    0.01  0.96    -1.12     0.56     2.61  4615 1.00
## performance[399,1]    -0.48    0.02  0.91    -2.48    -0.42     1.15  3415 1.00
## performance[399,2]     0.68    0.01  0.91    -0.99     0.64     2.72  4049 1.00
## performance[400,1]    -0.66    0.02  0.95    -2.75    -0.59     1.04  3850 1.00
## performance[400,2]     0.67    0.02  0.97    -1.07     0.59     2.88  3884 1.00
## performance[401,1]    -0.62    0.02  0.92    -2.66    -0.56     1.02  2845 1.00
## performance[401,2]     0.83    0.01  0.91    -0.79     0.78     2.78  4279 1.00
## performance[402,1]    -0.69    0.01  0.94    -2.74    -0.63     1.02  4046 1.00
## performance[402,2]     0.49    0.01  0.93    -1.13     0.41     2.55  4152 1.00
## performance[403,1]    -0.40    0.02  0.95    -2.54    -0.31     1.27  3001 1.00
## performance[403,2]     0.81    0.01  0.92    -0.83     0.75     2.81  4123 1.00
## performance[404,1]    -0.74    0.01  0.95    -2.79    -0.67     0.95  4128 1.00
## performance[404,2]     0.48    0.01  0.95    -1.30     0.41     2.58  4386 1.00
## performance[405,1]    -0.80    0.02  0.94    -2.81    -0.73     0.90  3654 1.00
## performance[405,2]     0.72    0.02  0.95    -0.97     0.65     2.79  3974 1.00
## performance[406,1]    -0.70    0.02  0.95    -2.88    -0.64     1.03  3186 1.00
## performance[406,2]     0.60    0.02  0.93    -1.08     0.53     2.68  3811 1.00
## performance[407,1]    -0.33    0.02  0.94    -2.44    -0.26     1.39  3546 1.00
## performance[407,2]     0.75    0.01  0.94    -0.90     0.68     2.79  4212 1.00
## performance[408,1]    -0.44    0.02  0.95    -2.55    -0.36     1.20  3097 1.00
## performance[408,2]     0.84    0.02  0.97    -0.91     0.77     2.99  3258 1.00
## performance[409,1]    -0.48    0.02  0.98    -2.64    -0.40     1.25  3587 1.00
## performance[409,2]     0.79    0.01  0.91    -0.84     0.74     2.78  4058 1.00
## performance[410,1]    -0.53    0.02  0.90    -2.51    -0.49     1.09  3218 1.00
## performance[410,2]     0.65    0.01  0.93    -1.03     0.58     2.69  4106 1.00
## performance[411,1]    -0.85    0.02  0.93    -2.86    -0.79     0.80  2947 1.00
## performance[411,2]     0.54    0.01  0.95    -1.16     0.47     2.63  4785 1.00
## performance[412,1]    -0.28    0.02  0.94    -2.30    -0.21     1.46  2847 1.00
## performance[412,2]     0.95    0.02  0.95    -0.74     0.88     3.07  3524 1.00
## performance[413,1]    -0.73    0.02  1.00    -3.01    -0.67     1.01  3104 1.00
## performance[413,2]     0.69    0.02  0.99    -1.04     0.61     2.82  4005 1.00
## performance[414,1]    -0.59    0.02  0.95    -2.75    -0.52     1.15  3558 1.00
## performance[414,2]     0.62    0.01  0.95    -1.03     0.55     2.68  4960 1.00
## performance[415,1]    -0.49    0.02  0.96    -2.55    -0.41     1.20  3781 1.00
## performance[415,2]     0.78    0.01  0.92    -0.95     0.71     2.79  3908 1.00
## performance[416,1]    -0.54    0.02  0.92    -2.52    -0.48     1.12  3431 1.00
## performance[416,2]     0.61    0.01  0.96    -1.09     0.55     2.74  4479 1.00
## performance[417,1]    -0.38    0.02  0.95    -2.47    -0.31     1.25  2910 1.00
## performance[417,2]     0.92    0.02  0.96    -0.76     0.85     3.02  2876 1.00
## performance[418,1]    -0.31    0.02  0.93    -2.38    -0.25     1.31  2922 1.00
## performance[418,2]     0.87    0.02  0.95    -0.80     0.79     2.94  2953 1.00
## performance[419,1]    -0.26    0.02  0.93    -2.32    -0.19     1.36  3727 1.00
## performance[419,2]     0.95    0.02  0.93    -0.73     0.89     2.93  3360 1.00
## performance[420,1]    -0.53    0.02  0.95    -2.61    -0.46     1.19  3293 1.00
## performance[420,2]     0.79    0.01  0.93    -0.86     0.72     2.86  4417 1.00
## performance[421,1]    -0.45    0.02  0.95    -2.55    -0.38     1.21  3305 1.00
## performance[421,2]     0.81    0.02  0.96    -0.84     0.71     2.92  3796 1.00
## performance[422,1]    -0.59    0.02  0.93    -2.69    -0.54     1.06  3710 1.00
## performance[422,2]     0.77    0.02  0.90    -0.86     0.72     2.69  3129 1.00
## performance[423,1]    -0.88    0.02  0.94    -2.91    -0.81     0.79  2536 1.00
## performance[423,2]     0.42    0.01  0.93    -1.24     0.36     2.43  3899 1.00
## performance[424,1]    -0.62    0.02  0.97    -2.68    -0.55     1.10  3857 1.00
## performance[424,2]     0.67    0.01  0.95    -1.07     0.62     2.79  4461 1.00
## performance[425,1]    -0.73    0.02  0.95    -2.82    -0.67     0.96  3739 1.00
## performance[425,2]     0.63    0.01  0.97    -1.09     0.56     2.79  4574 1.00
## performance[426,1]    -0.51    0.02  0.95    -2.59    -0.43     1.17  3362 1.00
## performance[426,2]     1.00    0.02  0.94    -0.72     0.95     3.01  2642 1.00
## performance[427,1]    -0.82    0.02  0.94    -2.89    -0.78     0.89  3030 1.00
## performance[427,2]     0.59    0.02  1.00    -1.11     0.50     2.90  4393 1.00
## performance[428,1]    -0.68    0.01  0.93    -2.67    -0.63     1.06  4098 1.00
## performance[428,2]     0.58    0.01  0.95    -1.11     0.48     2.62  4051 1.00
## performance[429,1]    -0.86    0.02  0.96    -2.88    -0.80     0.94  3465 1.00
## performance[429,2]     0.51    0.02  0.96    -1.23     0.44     2.63  3894 1.00
## performance[430,1]    -0.93    0.02  0.93    -2.93    -0.87     0.72  2270 1.00
## performance[430,2]     0.47    0.02  0.96    -1.21     0.40     2.69  3443 1.00
## performance[431,1]    -0.64    0.02  0.93    -2.67    -0.57     1.04  3232 1.00
## performance[431,2]     0.65    0.01  0.94    -1.05     0.58     2.66  4987 1.00
## performance[432,1]    -0.82    0.02  0.96    -2.93    -0.74     0.91  2715 1.00
## performance[432,2]     0.48    0.02  0.95    -1.26     0.41     2.55  3978 1.00
## performance[433,1]    -0.41    0.02  0.97    -2.56    -0.33     1.31  2922 1.00
## performance[433,2]     0.97    0.02  0.95    -0.75     0.88     3.06  2638 1.00
## performance[434,1]    -0.50    0.02  0.94    -2.58    -0.42     1.17  3426 1.00
## performance[434,2]     0.75    0.01  0.95    -0.96     0.69     2.81  4419 1.00
## performance[435,1]    -0.53    0.02  0.96    -2.68    -0.44     1.15  3944 1.00
## performance[435,2]     0.68    0.01  0.92    -1.03     0.62     2.67  4461 1.00
## performance[436,1]    -0.69    0.02  0.99    -2.99    -0.58     0.98  3474 1.00
## performance[436,2]     0.56    0.01  0.97    -1.18     0.48     2.69  4437 1.00
## performance[437,1]    -0.50    0.02  0.91    -2.51    -0.43     1.11  3541 1.00
## performance[437,2]     0.94    0.02  0.95    -0.73     0.86     3.03  2636 1.00
## performance[438,1]    -0.53    0.02  0.94    -2.61    -0.46     1.15  3386 1.00
## performance[438,2]     0.73    0.01  0.93    -0.94     0.66     2.78  4352 1.00
## performance[439,1]    -0.44    0.02  0.96    -2.59    -0.38     1.28  3441 1.00
## performance[439,2]     0.97    0.02  0.94    -0.66     0.90     3.02  3171 1.00
## performance[440,1]    -0.47    0.01  0.93    -2.50    -0.41     1.20  3944 1.00
## performance[440,2]     0.74    0.02  0.95    -1.00     0.68     2.79  3764 1.00
## performance[441,1]    -0.56    0.02  0.97    -2.71    -0.49     1.15  3754 1.00
## performance[441,2]     0.78    0.02  0.95    -0.95     0.70     2.78  3875 1.00
## performance[442,1]    -0.48    0.02  0.92    -2.49    -0.41     1.23  3430 1.00
## performance[442,2]     0.62    0.01  0.95    -1.08     0.54     2.77  4802 1.00
## performance[443,1]    -0.85    0.02  0.90    -2.88    -0.78     0.75  2924 1.00
## performance[443,2]     0.42    0.01  0.93    -1.24     0.35     2.44  4396 1.00
## performance[444,1]    -0.59    0.02  0.95    -2.62    -0.52     1.12  3858 1.00
## performance[444,2]     0.70    0.01  0.96    -1.04     0.65     2.74  4274 1.00
## performance[445,1]     0.02    0.02  0.94    -2.02     0.08     1.71  1516 1.00
## performance[445,2]     1.21    0.02  0.93    -0.47     1.13     3.27  1739 1.00
## performance[446,1]    -0.45    0.02  0.96    -2.60    -0.36     1.22  2332 1.00
## performance[446,2]     0.84    0.01  0.94    -0.80     0.77     2.93  3950 1.00
## performance[447,1]    -0.41    0.02  0.94    -2.46    -0.34     1.24  2343 1.00
## performance[447,2]     0.96    0.02  0.92    -0.71     0.90     2.99  2063 1.00
## performance[448,1]    -0.42    0.02  0.92    -2.39    -0.35     1.21  3020 1.00
## performance[448,2]     0.95    0.02  0.96    -0.73     0.86     3.02  3741 1.00
## performance[449,1]    -0.59    0.02  0.97    -2.73    -0.52     1.17  2775 1.00
## performance[449,2]     0.53    0.01  0.95    -1.18     0.47     2.67  4192 1.00
## performance[450,1]    -0.66    0.02  0.92    -2.64    -0.59     1.01  3437 1.00
## performance[450,2]     0.55    0.01  0.92    -1.07     0.47     2.57  3879 1.00
## performance[451,1]    -0.51    0.02  0.97    -2.51    -0.43     1.18  3048 1.00
## performance[451,2]     0.60    0.01  0.93    -1.08     0.52     2.58  4698 1.00
## performance[452,1]    -0.69    0.02  0.93    -2.67    -0.63     0.98  3569 1.00
## performance[452,2]     0.49    0.01  0.94    -1.25     0.44     2.55  4320 1.00
## performance[453,1]    -0.63    0.02  0.95    -2.69    -0.58     1.08  3897 1.00
## performance[453,2]     0.49    0.01  0.95    -1.17     0.42     2.72  4279 1.00
## performance[454,1]    -0.73    0.02  0.92    -2.78    -0.68     0.93  3362 1.00
## performance[454,2]     0.48    0.01  0.92    -1.19     0.42     2.47  3818 1.00
## performance[455,1]    -0.74    0.02  0.93    -2.82    -0.66     0.91  3170 1.00
## performance[455,2]     0.47    0.01  0.93    -1.22     0.40     2.60  4375 1.00
## performance[456,1]    -0.38    0.02  0.94    -2.41    -0.32     1.26  3478 1.00
## performance[456,2]     0.87    0.02  0.90    -0.70     0.80     2.80  3246 1.00
## performance[457,1]    -0.39    0.02  0.93    -2.35    -0.34     1.31  3140 1.00
## performance[457,2]     0.85    0.01  0.91    -0.80     0.77     2.83  3791 1.00
## performance[458,1]    -0.48    0.02  0.93    -2.54    -0.40     1.22  3298 1.00
## performance[458,2]     0.70    0.01  0.95    -1.00     0.64     2.81  4084 1.00
## performance[459,1]    -0.45    0.02  0.93    -2.47    -0.37     1.23  3281 1.00
## performance[459,2]     0.86    0.02  0.93    -0.86     0.80     2.88  3562 1.00
## performance[460,1]    -0.62    0.02  0.97    -2.78    -0.55     1.10  3085 1.00
## performance[460,2]     0.69    0.01  0.93    -1.02     0.62     2.71  4664 1.00
## performance[461,1]    -0.64    0.01  0.90    -2.60    -0.59     0.95  3750 1.00
## performance[461,2]     0.58    0.01  0.91    -1.03     0.53     2.58  4376 1.00
## performance[462,1]    -0.71    0.02  0.96    -2.93    -0.63     0.96  3253 1.00
## performance[462,2]     0.51    0.01  0.93    -1.14     0.45     2.55  4123 1.00
## performance[463,1]    -0.75    0.02  0.95    -2.80    -0.68     0.91  3341 1.00
## performance[463,2]     0.59    0.02  0.97    -1.19     0.51     2.72  4102 1.00
## performance[464,1]    -0.67    0.02  0.94    -2.69    -0.60     1.02  3254 1.00
## performance[464,2]     0.59    0.01  0.92    -1.08     0.53     2.55  4065 1.00
## performance[465,1]    -0.55    0.02  0.99    -2.79    -0.48     1.24  3482 1.00
## performance[465,2]     0.74    0.02  0.96    -0.96     0.67     2.90  3642 1.00
## performance[466,1]    -0.59    0.02  0.94    -2.65    -0.55     1.14  3876 1.00
## performance[466,2]     0.65    0.01  0.95    -1.08     0.57     2.65  4302 1.00
## performance[467,1]    -0.46    0.02  0.95    -2.55    -0.39     1.22  3123 1.00
## performance[467,2]     0.59    0.02  0.94    -1.14     0.54     2.56  3703 1.00
## performance[468,1]    -0.79    0.02  0.93    -2.78    -0.73     0.91  3083 1.00
## performance[468,2]     0.47    0.01  0.94    -1.20     0.40     2.53  4240 1.00
## performance[469,1]    -0.87    0.02  0.95    -2.93    -0.81     0.77  2804 1.00
## performance[469,2]     0.51    0.01  0.93    -1.18     0.45     2.55  5070 1.00
## performance[470,1]    -0.75    0.02  0.90    -2.68    -0.68     0.87  3253 1.00
## performance[470,2]     0.51    0.01  0.93    -1.16     0.46     2.50  4852 1.00
## performance[471,1]    -0.23    0.02  0.94    -2.31    -0.18     1.47  2831 1.00
## performance[471,2]     1.08    0.02  0.92    -0.52     1.01     3.06  2320 1.00
## performance[472,1]    -0.45    0.01  0.93    -2.52    -0.39     1.26  4295 1.00
## performance[472,2]     0.79    0.01  0.98    -0.92     0.72     2.98  4463 1.00
## performance[473,1]    -0.56    0.02  0.93    -2.62    -0.49     1.14  3375 1.00
## performance[473,2]     0.63    0.01  0.95    -1.05     0.56     2.75  4283 1.00
## performance[474,1]    -0.67    0.02  0.93    -2.73    -0.61     1.00  3327 1.00
## performance[474,2]     0.68    0.01  0.93    -0.95     0.61     2.72  3859 1.00
## performance[475,1]    -0.66    0.02  0.97    -2.81    -0.59     1.07  3389 1.00
## performance[475,2]     0.69    0.01  0.94    -0.95     0.61     2.80  4263 1.00
## performance[476,1]    -0.74    0.02  0.95    -2.83    -0.66     0.95  3419 1.00
## performance[476,2]     0.57    0.01  0.92    -1.05     0.49     2.62  4641 1.00
## performance[477,1]    -0.75    0.02  0.93    -2.79    -0.70     0.95  3585 1.00
## performance[477,2]     0.59    0.02  0.96    -1.14     0.52     2.71  3693 1.00
## performance[478,1]    -0.58    0.02  0.96    -2.65    -0.51     1.16  3707 1.00
## performance[478,2]     0.75    0.02  0.94    -0.97     0.69     2.80  3629 1.00
## performance[479,1]    -0.50    0.02  0.94    -2.54    -0.42     1.13  3075 1.00
## performance[479,2]     0.71    0.02  0.93    -0.90     0.62     2.76  3858 1.00
## performance[480,1]    -0.56    0.02  0.96    -2.74    -0.49     1.16  3347 1.00
## performance[480,2]     0.98    0.02  0.93    -0.65     0.92     3.05  1866 1.00
## performance[481,1]    -0.81    0.02  0.93    -2.88    -0.73     0.86  2876 1.00
## performance[481,2]     0.52    0.01  0.92    -1.13     0.45     2.52  4510 1.00
## performance[482,1]    -0.42    0.02  0.97    -2.49    -0.35     1.32  2652 1.00
## performance[482,2]     0.73    0.01  0.96    -0.96     0.65     2.86  4160 1.00
## performance[483,1]    -0.40    0.02  0.95    -2.53    -0.34     1.28  3588 1.00
## performance[483,2]     0.88    0.02  0.95    -0.82     0.81     3.00  3402 1.00
## performance[484,1]    -0.62    0.02  0.94    -2.70    -0.54     1.06  3616 1.00
## performance[484,2]     0.62    0.01  0.93    -1.05     0.55     2.62  4142 1.00
## performance[485,1]    -0.44    0.02  0.95    -2.50    -0.35     1.23  3366 1.00
## performance[485,2]     0.73    0.02  0.91    -0.92     0.66     2.68  3498 1.00
## performance[486,1]    -0.53    0.01  0.93    -2.58    -0.47     1.13  3913 1.00
## performance[486,2]     0.65    0.01  0.96    -1.06     0.57     2.71  4873 1.00
## performance[487,1]     0.00    0.02  0.90    -1.97     0.06     1.61  1429 1.00
## performance[487,2]     1.03    0.02  0.92    -0.66     0.97     3.02  2451 1.00
## performance[488,1]    -0.40    0.02  0.94    -2.53    -0.34     1.28  3280 1.00
## performance[488,2]     0.87    0.02  0.94    -0.80     0.80     2.89  3535 1.00
## performance[489,1]    -0.50    0.02  0.92    -2.53    -0.44     1.16  3325 1.00
## performance[489,2]     0.69    0.01  0.91    -0.92     0.62     2.70  4450 1.00
## performance[490,1]    -0.53    0.02  0.98    -2.67    -0.45     1.22  3658 1.00
## performance[490,2]     0.66    0.01  0.93    -0.99     0.60     2.65  4518 1.00
## performance[491,1]    -0.47    0.02  0.93    -2.50    -0.39     1.23  3714 1.00
## performance[491,2]     0.74    0.01  0.91    -0.86     0.66     2.74  3802 1.00
## performance[492,1]    -0.37    0.02  0.91    -2.34    -0.32     1.30  3694 1.00
## performance[492,2]     0.88    0.02  0.92    -0.79     0.81     2.89  3753 1.00
## performance[493,1]    -0.62    0.02  0.92    -2.60    -0.57     1.07  3279 1.00
## performance[493,2]     1.00    0.02  0.94    -0.67     0.94     3.05  2210 1.00
## performance[494,1]    -0.80    0.02  0.96    -2.84    -0.74     0.95  2584 1.00
## performance[494,2]     0.58    0.01  0.95    -1.12     0.51     2.63  4178 1.00
## performance[495,1]    -0.78    0.02  0.97    -2.84    -0.69     0.98  3381 1.00
## performance[495,2]     0.52    0.01  0.93    -1.15     0.45     2.59  4733 1.00
## performance[496,1]    -0.87    0.02  0.97    -3.03    -0.79     0.85  3005 1.00
## performance[496,2]     0.37    0.01  0.94    -1.30     0.31     2.39  4194 1.00
## performance[497,1]    -0.72    0.02  0.97    -2.85    -0.66     1.01  3220 1.00
## performance[497,2]     0.41    0.01  0.93    -1.25     0.34     2.43  3905 1.00
## performance[498,1]    -0.63    0.02  0.96    -2.76    -0.55     1.02  2646 1.00
## performance[498,2]     0.72    0.01  0.95    -0.96     0.65     2.77  4308 1.00
## performance[499,1]    -0.60    0.02  0.94    -2.67    -0.52     1.08  3866 1.00
## performance[499,2]     0.68    0.01  0.93    -0.99     0.62     2.73  4025 1.00
## performance[500,1]    -0.81    0.02  0.91    -2.77    -0.74     0.81  3428 1.00
## performance[500,2]     0.36    0.01  0.91    -1.26     0.29     2.40  3752 1.00
## mu[1]                 -0.28    0.01  0.42    -1.19    -0.26     0.48  1400 1.00
## mu[2]                 -0.46    0.02  0.46    -1.44    -0.41     0.33   504 1.00
## mu[3]                 -0.25    0.01  0.39    -1.05    -0.23     0.49  1164 1.00
## mu[4]                 -0.23    0.01  0.40    -1.09    -0.21     0.51  2019 1.00
## mu[5]                 -0.18    0.01  0.42    -1.09    -0.16     0.60  2145 1.00
## mu[6]                 -0.33    0.01  0.42    -1.25    -0.30     0.42  1106 1.00
## mu[7]                 -0.13    0.01  0.43    -1.03    -0.11     0.69  3719 1.00
## mu[8]                 -0.39    0.02  0.46    -1.39    -0.35     0.41   658 1.00
## mu[9]                 -0.28    0.01  0.45    -1.26    -0.25     0.53  1482 1.00
## mu[10]                -0.26    0.01  0.43    -1.19    -0.23     0.56  2308 1.00
## mu[11]                 0.01    0.01  0.39    -0.79     0.02     0.81  3976 1.00
## mu[12]                -0.15    0.01  0.42    -1.04    -0.14     0.65  3563 1.00
## mu[13]                 0.08    0.01  0.40    -0.71     0.07     0.88  4850 1.00
## mu[14]                 0.00    0.01  0.39    -0.78     0.00     0.78  3024 1.00
## mu[15]                -0.09    0.01  0.41    -0.95    -0.08     0.72  3936 1.00
## mu[16]                -0.50    0.02  0.45    -1.52    -0.47     0.25   475 1.01
## mu[17]                -0.32    0.02  0.46    -1.36    -0.27     0.49   744 1.00
## mu[18]                -0.31    0.01  0.45    -1.30    -0.26     0.48  1129 1.00
## mu[19]                 0.11    0.01  0.38    -0.63     0.10     0.90  3093 1.00
## mu[20]                -0.25    0.01  0.43    -1.18    -0.22     0.55  1166 1.00
## mu[21]                -0.28    0.01  0.42    -1.16    -0.25     0.47  1522 1.00
## mu[22]                -0.12    0.01  0.40    -0.96    -0.12     0.66  3820 1.00
## mu[23]                -0.14    0.01  0.39    -0.95    -0.13     0.63  3223 1.00
## mu[24]                -0.27    0.01  0.39    -1.13    -0.24     0.41   881 1.00
## mu[25]                -0.23    0.01  0.40    -1.06    -0.21     0.53  1466 1.00
## mu[26]                -0.35    0.02  0.43    -1.27    -0.32     0.41   730 1.00
## mu[27]                -0.07    0.01  0.39    -0.84    -0.07     0.69  3606 1.00
## mu[28]                 0.02    0.01  0.38    -0.74     0.02     0.79  4568 1.00
## mu[29]                -0.09    0.01  0.40    -0.90    -0.08     0.71  3872 1.00
## mu[30]                -0.20    0.01  0.43    -1.13    -0.18     0.59  1978 1.00
## mu[31]                -0.31    0.01  0.46    -1.30    -0.28     0.53  1265 1.00
## mu[32]                -0.39    0.01  0.45    -1.37    -0.35     0.40   889 1.00
## mu[33]                 0.03    0.01  0.40    -0.76     0.02     0.82  4718 1.00
## mu[34]                -0.41    0.02  0.45    -1.38    -0.36     0.35   675 1.00
## mu[35]                 0.22    0.01  0.43    -0.57     0.20     1.16  1709 1.00
## mu[36]                 0.20    0.01  0.44    -0.64     0.18     1.12  2355 1.00
## mu[37]                 0.08    0.01  0.39    -0.68     0.08     0.85  4278 1.00
## mu[38]                 0.13    0.01  0.39    -0.62     0.12     0.94  3644 1.00
## mu[39]                 0.09    0.01  0.38    -0.68     0.08     0.91  3008 1.00
## mu[40]                -0.34    0.01  0.46    -1.33    -0.30     0.49  1100 1.00
## mu[41]                 0.07    0.01  0.42    -0.78     0.06     0.90  4960 1.00
## mu[42]                 0.06    0.01  0.39    -0.70     0.06     0.86  3937 1.00
## mu[43]                -0.14    0.01  0.38    -0.90    -0.13     0.61  2889 1.00
## mu[44]                -0.11    0.01  0.43    -1.00    -0.10     0.73  3806 1.00
## mu[45]                -0.29    0.01  0.45    -1.25    -0.27     0.53  1558 1.00
## mu[46]                -0.32    0.02  0.45    -1.33    -0.27     0.47   837 1.00
## mu[47]                 0.28    0.01  0.40    -0.44     0.24     1.14   876 1.00
## mu[48]                 0.10    0.01  0.37    -0.59     0.09     0.86  3107 1.00
## mu[49]                -0.01    0.01  0.39    -0.76     0.00     0.77  3798 1.00
## mu[50]                -0.05    0.01  0.39    -0.83    -0.04     0.73  3045 1.00
## mu[51]                -0.07    0.01  0.40    -0.93    -0.06     0.69  3403 1.00
## mu[52]                 0.32    0.02  0.39    -0.37     0.30     1.16   532 1.00
## mu[53]                 0.07    0.01  0.39    -0.68     0.06     0.87  3072 1.00
## mu[54]                 0.39    0.02  0.44    -0.37     0.35     1.38   713 1.00
## mu[55]                -0.09    0.01  0.40    -0.92    -0.08     0.69  3657 1.00
## mu[56]                -0.21    0.01  0.42    -1.13    -0.18     0.54  2273 1.00
## mu[57]                -0.30    0.01  0.44    -1.25    -0.26     0.50  1117 1.00
## mu[58]                 0.03    0.01  0.38    -0.76     0.03     0.79  4507 1.00
## mu[59]                 0.03    0.01  0.39    -0.75     0.03     0.80  3596 1.00
## mu[60]                -0.20    0.01  0.40    -1.02    -0.18     0.55  1791 1.00
## mu[61]                -0.31    0.02  0.45    -1.26    -0.28     0.52   799 1.00
## mu[62]                 0.05    0.01  0.41    -0.73     0.04     0.89  3949 1.00
## mu[63]                -0.44    0.02  0.44    -1.43    -0.40     0.34   572 1.00
## mu[64]                 0.11    0.01  0.37    -0.59     0.10     0.87  3211 1.00
## mu[65]                 0.54    0.02  0.44    -0.20     0.49     1.50   333 1.01
## mu[66]                 0.00    0.01  0.37    -0.74     0.01     0.75  4028 1.00
## mu[67]                -0.28    0.01  0.42    -1.20    -0.24     0.47  1262 1.00
## mu[68]                 0.32    0.01  0.40    -0.40     0.29     1.23   877 1.00
## mu[69]                -0.08    0.01  0.42    -0.93    -0.07     0.76  3010 1.00
## mu[70]                 0.19    0.01  0.41    -0.56     0.18     1.04  3212 1.00
## mu[71]                -0.18    0.01  0.42    -1.03    -0.16     0.62  3484 1.00
## mu[72]                 0.21    0.01  0.38    -0.48     0.19     1.03  1514 1.00
## mu[73]                 0.35    0.02  0.43    -0.40     0.32     1.24   729 1.00
## mu[74]                 0.04    0.01  0.40    -0.76     0.04     0.86  3084 1.00
## mu[75]                 0.03    0.01  0.43    -0.81     0.02     0.92  5234 1.00
## mu[76]                -0.28    0.01  0.42    -1.17    -0.24     0.52  1332 1.00
## mu[77]                 0.26    0.01  0.42    -0.48     0.23     1.19   959 1.00
## mu[78]                 0.11    0.01  0.37    -0.59     0.09     0.90  2153 1.00
## mu[79]                -0.10    0.01  0.40    -0.95    -0.09     0.67  3203 1.00
## mu[80]                -0.10    0.01  0.40    -0.94    -0.08     0.67  3850 1.00
## mu[81]                 0.35    0.01  0.41    -0.37     0.32     1.24   769 1.00
## mu[82]                 0.22    0.01  0.40    -0.55     0.19     1.03  2614 1.00
## mu[83]                -0.01    0.01  0.39    -0.76    -0.01     0.76  3746 1.00
## mu[84]                 0.06    0.01  0.40    -0.75     0.05     0.87  4779 1.00
## mu[85]                -0.15    0.01  0.40    -0.98    -0.13     0.61  3412 1.00
## mu[86]                -0.01    0.01  0.41    -0.81    -0.01     0.80  4509 1.00
## mu[87]                -0.16    0.01  0.38    -0.97    -0.15     0.54  2070 1.00
## mu[88]                 0.07    0.01  0.39    -0.68     0.05     0.88  4267 1.00
## mu[89]                -0.06    0.01  0.39    -0.85    -0.06     0.71  3125 1.00
## mu[90]                -0.09    0.01  0.38    -0.87    -0.08     0.65  2858 1.00
## mu[91]                 0.27    0.01  0.41    -0.47     0.24     1.15  1449 1.00
## mu[92]                -0.04    0.01  0.41    -0.87    -0.03     0.76  4675 1.00
## mu[93]                -0.11    0.01  0.39    -0.90    -0.09     0.64  3135 1.00
## mu[94]                -0.35    0.01  0.41    -1.24    -0.32     0.38  1069 1.00
## mu[95]                -0.07    0.01  0.40    -0.91    -0.07     0.69  4556 1.00
## mu[96]                 0.16    0.01  0.40    -0.59     0.14     0.99  2931 1.00
## mu[97]                -0.03    0.01  0.41    -0.89    -0.03     0.79  4137 1.00
## mu[98]                 0.03    0.01  0.38    -0.71     0.02     0.80  3682 1.00
## mu[99]                -0.06    0.01  0.43    -0.96    -0.06     0.81  4413 1.00
## mu[100]               -0.08    0.01  0.43    -0.97    -0.07     0.78  4308 1.00
## mu[101]               -0.11    0.01  0.43    -1.00    -0.10     0.71  3317 1.00
## mu[102]                0.00    0.01  0.41    -0.82    -0.01     0.84  4201 1.00
## mu[103]               -0.20    0.01  0.43    -1.11    -0.17     0.58  2469 1.00
## mu[104]                0.20    0.01  0.38    -0.53     0.18     1.00  2679 1.00
## mu[105]                0.69    0.03  0.42    -0.07     0.66     1.58   235 1.01
## mu[106]               -0.14    0.01  0.39    -0.98    -0.12     0.60  3512 1.00
## mu[107]               -0.02    0.01  0.39    -0.82    -0.02     0.77  3737 1.00
## mu[108]                0.06    0.01  0.39    -0.71     0.05     0.88  4489 1.00
## mu[109]                0.16    0.01  0.41    -0.60     0.14     1.02  2864 1.00
## mu[110]               -0.12    0.01  0.36    -0.86    -0.11     0.57  3413 1.00
## mu[111]                0.27    0.01  0.38    -0.42     0.25     1.12  1382 1.00
## mu[112]               -0.10    0.01  0.41    -0.96    -0.08     0.68  3058 1.00
## mu[113]               -0.19    0.01  0.39    -1.00    -0.17     0.52  1737 1.00
## mu[114]                0.00    0.01  0.39    -0.76     0.00     0.77  4410 1.00
## mu[115]                0.12    0.01  0.41    -0.65     0.11     0.96  2973 1.00
## mu[116]                0.06    0.01  0.38    -0.70     0.06     0.81  3814 1.00
## mu[117]               -0.20    0.01  0.46    -1.18    -0.17     0.64  2741 1.00
## mu[118]               -0.06    0.01  0.38    -0.82    -0.06     0.66  3766 1.00
## mu[119]               -0.31    0.01  0.39    -1.19    -0.28     0.37  1312 1.00
## mu[120]                0.08    0.01  0.39    -0.68     0.07     0.88  4075 1.00
## mu[121]                0.28    0.01  0.40    -0.47     0.25     1.13  1237 1.00
## mu[122]               -0.27    0.01  0.40    -1.11    -0.25     0.48  1413 1.00
## mu[123]                0.06    0.01  0.39    -0.72     0.05     0.85  2947 1.00
## mu[124]                0.18    0.01  0.38    -0.55     0.16     0.97  2519 1.00
## mu[125]                0.07    0.01  0.39    -0.69     0.05     0.88  3461 1.00
## mu[126]                0.08    0.01  0.36    -0.62     0.08     0.83  2930 1.00
## mu[127]                0.16    0.01  0.39    -0.62     0.14     0.96  2578 1.00
## mu[128]                0.00    0.01  0.39    -0.77     0.00     0.77  3592 1.00
## mu[129]                0.39    0.02  0.44    -0.36     0.35     1.35   698 1.01
## mu[130]                0.38    0.01  0.40    -0.31     0.35     1.26   757 1.00
## mu[131]               -0.08    0.01  0.38    -0.90    -0.06     0.66  3663 1.00
## mu[132]               -0.37    0.01  0.39    -1.22    -0.33     0.33   756 1.00
## mu[133]                0.15    0.01  0.36    -0.54     0.13     0.89  2587 1.00
## mu[134]                0.52    0.02  0.44    -0.22     0.47     1.52   395 1.00
## mu[135]                0.56    0.02  0.44    -0.19     0.52     1.52   423 1.00
## mu[136]                0.11    0.01  0.35    -0.56     0.09     0.84  3425 1.00
## mu[137]                0.27    0.01  0.43    -0.52     0.24     1.18  1807 1.00
## mu[138]                0.01    0.01  0.41    -0.80     0.01     0.82  4014 1.00
## mu[139]                0.32    0.01  0.39    -0.40     0.29     1.14   956 1.00
## mu[140]                0.03    0.01  0.37    -0.72     0.03     0.78  4206 1.00
## mu[141]               -0.09    0.01  0.41    -0.90    -0.09     0.70  3943 1.00
## mu[142]                0.23    0.01  0.40    -0.49     0.21     1.06  1338 1.00
## mu[143]               -0.15    0.01  0.37    -0.90    -0.13     0.57  2692 1.00
## mu[144]                0.64    0.02  0.44    -0.08     0.60     1.62   329 1.01
## mu[145]                0.12    0.01  0.37    -0.61     0.11     0.88  3097 1.00
## mu[146]                0.47    0.02  0.46    -0.30     0.42     1.50   588 1.00
## mu[147]                0.27    0.01  0.40    -0.45     0.24     1.15  1696 1.00
## mu[148]                0.46    0.02  0.40    -0.24     0.43     1.30   550 1.00
## mu[149]               -0.09    0.01  0.40    -0.91    -0.07     0.67  3521 1.00
## mu[150]                0.14    0.01  0.37    -0.56     0.13     0.92  3311 1.00
## mu[151]                0.33    0.01  0.39    -0.36     0.30     1.14   675 1.00
## mu[152]                0.25    0.01  0.41    -0.51     0.23     1.13  1913 1.00
## mu[153]                0.55    0.02  0.43    -0.17     0.51     1.51   372 1.00
## mu[154]                0.17    0.01  0.38    -0.53     0.15     1.00  2834 1.00
## mu[155]               -0.07    0.01  0.37    -0.84    -0.06     0.67  3472 1.00
## mu[156]                0.33    0.01  0.41    -0.39     0.30     1.23  1313 1.00
## mu[157]               -0.28    0.01  0.42    -1.17    -0.25     0.51  1697 1.00
## mu[158]                0.11    0.01  0.41    -0.68     0.09     0.97  3351 1.00
## mu[159]                0.22    0.01  0.42    -0.58     0.20     1.09  2599 1.00
## mu[160]                0.05    0.01  0.39    -0.71     0.04     0.86  3620 1.00
## mu[161]               -0.01    0.01  0.48    -0.96    -0.01     0.95  6239 1.00
## mu[162]                0.01    0.01  0.45    -0.90     0.00     0.91  6898 1.00
## mu[163]               -0.12    0.01  0.45    -1.05    -0.11     0.75  4507 1.00
## mu[164]               -0.01    0.01  0.48    -1.02    -0.01     0.97  6002 1.00
## mu[165]                0.00    0.01  0.49    -0.98     0.00     1.01  6854 1.00
## mu[166]                0.12    0.01  0.45    -0.75     0.10     1.05  5537 1.00
## s_mu                   0.46    0.01  0.14     0.19     0.46     0.73   103 1.02
## s_pf[1]                1.00    0.01  0.32     0.49     0.96     1.72  2598 1.00
## s_pf[2]                0.98    0.01  0.30     0.47     0.94     1.66  3279 1.00
## s_pf[3]                0.98    0.01  0.31     0.47     0.95     1.66  2504 1.00
## s_pf[4]                1.00    0.01  0.32     0.48     0.97     1.71  2034 1.00
## s_pf[5]                0.99    0.01  0.32     0.47     0.96     1.72  3417 1.00
## s_pf[6]                0.97    0.01  0.31     0.45     0.94     1.68  2525 1.00
## s_pf[7]                1.00    0.01  0.32     0.48     0.97     1.70  4022 1.00
## s_pf[8]                0.98    0.01  0.31     0.46     0.95     1.68  2742 1.00
## s_pf[9]                0.98    0.00  0.31     0.47     0.94     1.68  3978 1.00
## s_pf[10]               0.98    0.00  0.31     0.48     0.96     1.67  4266 1.00
## s_pf[11]               1.01    0.01  0.33     0.48     0.98     1.76  2955 1.00
## s_pf[12]               1.01    0.01  0.31     0.48     0.99     1.72  3512 1.00
## s_pf[13]               1.01    0.01  0.31     0.49     0.98     1.70  3618 1.00
## s_pf[14]               1.00    0.01  0.32     0.49     0.97     1.72  2750 1.00
## s_pf[15]               1.02    0.01  0.31     0.50     1.00     1.67  2876 1.00
## s_pf[16]               0.96    0.01  0.31     0.46     0.94     1.67  2391 1.00
## s_pf[17]               0.98    0.01  0.31     0.47     0.95     1.68  3596 1.00
## s_pf[18]               0.99    0.01  0.32     0.48     0.95     1.71  3473 1.00
## s_pf[19]               1.04    0.01  0.32     0.50     1.00     1.75  2244 1.00
## s_pf[20]               1.00    0.01  0.32     0.49     0.97     1.72  2548 1.00
## s_pf[21]               1.00    0.01  0.32     0.45     0.96     1.71  3374 1.00
## s_pf[22]               1.02    0.01  0.32     0.50     0.99     1.75  2836 1.00
## s_pf[23]               1.00    0.01  0.31     0.48     0.96     1.70  2801 1.00
## s_pf[24]               1.02    0.01  0.32     0.48     0.98     1.75  2491 1.00
## s_pf[25]               1.00    0.01  0.31     0.49     0.97     1.71  2510 1.00
## s_pf[26]               0.99    0.01  0.32     0.48     0.95     1.68  2830 1.00
## s_pf[27]               1.01    0.01  0.31     0.50     0.98     1.72  2279 1.00
## s_pf[28]               1.00    0.01  0.32     0.48     0.98     1.71  3446 1.00
## s_pf[29]               1.02    0.01  0.32     0.50     0.98     1.73  3034 1.00
## s_pf[30]               1.01    0.01  0.31     0.49     0.98     1.71  3311 1.00
## s_pf[31]               0.99    0.00  0.32     0.47     0.96     1.72  4106 1.00
## s_pf[32]               0.99    0.01  0.31     0.48     0.95     1.69  3720 1.00
## s_pf[33]               1.03    0.01  0.32     0.50     0.99     1.77  2417 1.00
## s_pf[34]               0.98    0.01  0.31     0.48     0.95     1.69  3180 1.00
## s_pf[35]               1.00    0.01  0.31     0.48     0.97     1.68  3627 1.00
## s_pf[36]               0.99    0.00  0.32     0.48     0.95     1.70  4215 1.00
## s_pf[37]               1.01    0.01  0.32     0.49     0.97     1.74  3210 1.00
## s_pf[38]               0.98    0.01  0.31     0.48     0.94     1.68  2461 1.00
## s_pf[39]               1.01    0.01  0.31     0.50     0.97     1.69  2662 1.00
## s_pf[40]               1.00    0.01  0.31     0.50     0.98     1.68  3509 1.00
## s_pf[41]               1.00    0.00  0.31     0.49     0.97     1.72  4521 1.00
## s_pf[42]               1.00    0.01  0.32     0.48     0.97     1.72  2983 1.00
## s_pf[43]               1.04    0.01  0.32     0.52     1.02     1.76  2549 1.00
## s_pf[44]               1.00    0.00  0.31     0.49     0.97     1.69  3849 1.00
## s_pf[45]               0.99    0.00  0.31     0.48     0.95     1.69  4765 1.00
## s_pf[46]               0.99    0.01  0.32     0.47     0.96     1.70  3559 1.00
## s_pf[47]               1.01    0.01  0.32     0.50     0.98     1.71  3044 1.00
## s_pf[48]               1.02    0.01  0.32     0.50     0.98     1.78  2545 1.00
## s_pf[49]               1.01    0.01  0.32     0.47     0.97     1.73  2919 1.00
## s_pf[50]               1.01    0.01  0.31     0.49     0.97     1.72  2624 1.00
## s_pf[51]               1.02    0.01  0.32     0.49     0.98     1.72  3109 1.00
## s_pf[52]               1.00    0.01  0.32     0.49     0.96     1.72  2270 1.00
## s_pf[53]               1.00    0.01  0.31     0.50     0.97     1.69  2741 1.00
## s_pf[54]               0.99    0.01  0.31     0.47     0.95     1.67  3304 1.00
## s_pf[55]               1.01    0.01  0.32     0.47     0.98     1.71  2538 1.00
## s_pf[56]               1.00    0.01  0.32     0.46     0.96     1.74  3823 1.00
## s_pf[57]               1.00    0.01  0.32     0.49     0.96     1.70  3037 1.00
## s_pf[58]               1.00    0.01  0.32     0.48     0.97     1.72  3030 1.00
## s_pf[59]               1.00    0.01  0.32     0.46     0.97     1.70  3350 1.00
## s_pf[60]               0.98    0.01  0.31     0.47     0.95     1.70  2299 1.00
## s_pf[61]               0.99    0.01  0.32     0.45     0.96     1.69  3553 1.00
## s_pf[62]               1.02    0.01  0.31     0.49     0.99     1.71  3637 1.00
## s_pf[63]               0.98    0.01  0.30     0.48     0.94     1.65  3108 1.00
## s_pf[64]               1.00    0.01  0.32     0.47     0.96     1.70  2968 1.00
## s_pf[65]               0.97    0.01  0.31     0.45     0.94     1.68  2249 1.00
## s_pf[66]               1.02    0.01  0.33     0.49     0.98     1.72  2562 1.00
## s_pf[67]               0.99    0.01  0.32     0.49     0.96     1.71  3135 1.00
## s_pf[68]               1.00    0.01  0.31     0.48     0.97     1.70  2987 1.00
## s_pf[69]               1.01    0.01  0.32     0.48     0.97     1.74  3147 1.00
## s_pf[70]               1.01    0.01  0.32     0.47     0.97     1.70  3212 1.00
## s_pf[71]               1.00    0.01  0.31     0.51     0.97     1.70  3293 1.00
## s_pf[72]               1.00    0.01  0.32     0.48     0.97     1.69  2410 1.00
## s_pf[73]               1.00    0.01  0.32     0.47     0.97     1.71  3420 1.00
## s_pf[74]               1.00    0.01  0.31     0.49     0.97     1.67  3154 1.00
## s_pf[75]               1.00    0.00  0.31     0.48     0.97     1.71  4531 1.00
## s_pf[76]               1.01    0.01  0.31     0.49     0.98     1.71  3157 1.00
## s_pf[77]               1.00    0.01  0.33     0.48     0.97     1.75  2773 1.00
## s_pf[78]               1.00    0.01  0.31     0.47     0.97     1.70  2800 1.00
## s_pf[79]               1.00    0.01  0.31     0.49     0.97     1.71  2795 1.00
## s_pf[80]               0.98    0.01  0.31     0.47     0.95     1.68  3497 1.00
## s_pf[81]               1.00    0.01  0.32     0.48     0.96     1.71  2799 1.00
## s_pf[82]               0.98    0.01  0.31     0.46     0.94     1.65  2861 1.00
## s_pf[83]               1.03    0.01  0.33     0.50     1.00     1.79  2837 1.00
## s_pf[84]               0.98    0.01  0.31     0.47     0.95     1.66  3300 1.00
## s_pf[85]               1.00    0.01  0.31     0.49     0.97     1.69  2808 1.00
## s_pf[86]               1.03    0.01  0.33     0.48     0.99     1.77  3792 1.00
## s_pf[87]               1.02    0.01  0.32     0.48     0.99     1.72  1986 1.00
## s_pf[88]               1.02    0.01  0.32     0.50     0.99     1.73  3070 1.00
## s_pf[89]               1.01    0.01  0.32     0.48     0.97     1.71  2608 1.00
## s_pf[90]               1.01    0.01  0.32     0.48     0.98     1.73  2840 1.00
## s_pf[91]               1.01    0.01  0.33     0.48     0.97     1.73  2327 1.00
## s_pf[92]               1.01    0.01  0.32     0.49     0.98     1.71  3939 1.00
## s_pf[93]               1.01    0.01  0.32     0.49     0.97     1.76  2241 1.00
## s_pf[94]               1.00    0.01  0.32     0.48     0.97     1.72  2447 1.00
## s_pf[95]               1.01    0.01  0.32     0.48     0.97     1.72  3102 1.00
## s_pf[96]               1.01    0.01  0.32     0.47     0.98     1.73  3098 1.00
## s_pf[97]               1.03    0.01  0.33     0.49     0.99     1.76  3611 1.00
## s_pf[98]               1.00    0.01  0.31     0.49     0.97     1.68  2535 1.00
## s_pf[99]               1.00    0.00  0.31     0.48     0.97     1.68  4339 1.00
## s_pf[100]              1.02    0.00  0.32     0.48     0.99     1.72  4290 1.00
## s_pf[101]              1.00    0.00  0.32     0.48     0.96     1.72  4133 1.00
## s_pf[102]              1.00    0.01  0.32     0.49     0.97     1.70  3888 1.00
## s_pf[103]              1.02    0.01  0.32     0.49     0.99     1.75  3172 1.00
## s_pf[104]              1.01    0.01  0.32     0.49     0.97     1.72  2300 1.00
## s_pf[105]              0.97    0.01  0.31     0.45     0.93     1.66  1264 1.00
## s_pf[106]              1.00    0.01  0.32     0.47     0.97     1.69  2846 1.00
## s_pf[107]              0.97    0.01  0.31     0.47     0.94     1.66  2702 1.00
## s_pf[108]              1.04    0.01  0.33     0.51     1.00     1.78  2351 1.00
## s_pf[109]              1.00    0.00  0.32     0.47     0.98     1.69  4011 1.00
## s_pf[110]              0.99    0.01  0.31     0.49     0.96     1.68  1964 1.00
## s_pf[111]              0.99    0.01  0.32     0.47     0.96     1.70  2662 1.00
## s_pf[112]              1.01    0.01  0.33     0.48     0.98     1.77  3141 1.00
## s_pf[113]              1.00    0.01  0.32     0.48     0.97     1.73  2591 1.00
## s_pf[114]              1.02    0.01  0.32     0.50     0.98     1.77  2951 1.00
## s_pf[115]              1.02    0.01  0.31     0.49     0.98     1.72  3410 1.00
## s_pf[116]              1.01    0.01  0.32     0.48     0.97     1.71  1960 1.00
## s_pf[117]              0.99    0.00  0.32     0.48     0.96     1.71  4255 1.00
## s_pf[118]              1.02    0.01  0.32     0.51     0.99     1.74  2830 1.00
## s_pf[119]              0.95    0.01  0.31     0.44     0.92     1.64  1986 1.00
## s_pf[120]              1.00    0.01  0.32     0.49     0.97     1.69  2702 1.00
## s_pf[121]              1.00    0.01  0.32     0.49     0.96     1.71  3032 1.00
## s_pf[122]              1.01    0.01  0.33     0.48     0.97     1.74  2087 1.00
## s_pf[123]              1.02    0.01  0.33     0.47     0.99     1.73  2852 1.00
## s_pf[124]              1.00    0.01  0.32     0.48     0.98     1.70  2605 1.00
## s_pf[125]              1.01    0.01  0.32     0.49     0.98     1.71  3181 1.00
## s_pf[126]              1.00    0.01  0.31     0.49     0.96     1.68  1717 1.00
## s_pf[127]              1.01    0.01  0.32     0.47     0.98     1.71  2445 1.00
## s_pf[128]              1.00    0.01  0.31     0.49     0.97     1.70  3008 1.00
## s_pf[129]              1.00    0.01  0.32     0.47     0.97     1.70  3730 1.00
## s_pf[130]              1.00    0.01  0.31     0.48     0.97     1.70  2517 1.00
## s_pf[131]              1.00    0.01  0.32     0.46     0.97     1.71  1919 1.00
## s_pf[132]              0.97    0.01  0.31     0.46     0.94     1.67  1793 1.00
## s_pf[133]              0.99    0.01  0.31     0.48     0.96     1.70  2243 1.00
## s_pf[134]              0.97    0.01  0.31     0.48     0.94     1.64  2878 1.00
## s_pf[135]              0.94    0.01  0.30     0.46     0.90     1.62  3405 1.00
## s_pf[136]              1.00    0.01  0.32     0.48     0.96     1.71  1995 1.00
## s_pf[137]              1.02    0.00  0.32     0.50     0.99     1.73  4184 1.00
## s_pf[138]              1.03    0.01  0.33     0.50     0.99     1.75  2722 1.00
## s_pf[139]              0.97    0.01  0.30     0.47     0.94     1.62  2915 1.00
## s_pf[140]              0.99    0.01  0.31     0.48     0.95     1.69  2824 1.00
## s_pf[141]              1.02    0.01  0.32     0.50     0.98     1.74  2953 1.00
## s_pf[142]              1.03    0.01  0.32     0.49     0.99     1.74  2660 1.00
## s_pf[143]              1.01    0.01  0.32     0.49     0.98     1.72  2668 1.00
## s_pf[144]              0.94    0.01  0.31     0.44     0.91     1.62  2596 1.00
## s_pf[145]              1.01    0.01  0.32     0.49     0.98     1.73  2306 1.00
## s_pf[146]              0.98    0.01  0.32     0.46     0.95     1.69  3439 1.00
## s_pf[147]              1.00    0.01  0.31     0.47     0.97     1.69  2790 1.00
## s_pf[148]              0.96    0.01  0.30     0.46     0.93     1.63  2664 1.00
## s_pf[149]              0.99    0.00  0.31     0.49     0.95     1.67  3844 1.00
## s_pf[150]              1.02    0.01  0.32     0.49     0.99     1.72  2841 1.00
## s_pf[151]              1.01    0.01  0.31     0.50     0.98     1.74  2260 1.00
## s_pf[152]              1.01    0.01  0.32     0.49     0.97     1.70  3751 1.00
## s_pf[153]              0.98    0.01  0.31     0.48     0.95     1.67  2402 1.00
## s_pf[154]              1.01    0.01  0.32     0.49     0.98     1.75  2959 1.00
## s_pf[155]              1.03    0.01  0.33     0.49     1.00     1.77  2136 1.00
## s_pf[156]              1.00    0.01  0.32     0.49     0.97     1.69  3362 1.00
## s_pf[157]              1.00    0.01  0.32     0.48     0.96     1.71  2852 1.00
## s_pf[158]              0.98    0.01  0.30     0.48     0.96     1.68  2986 1.00
## s_pf[159]              0.98    0.01  0.30     0.49     0.95     1.66  3381 1.00
## s_pf[160]              0.99    0.01  0.32     0.47     0.96     1.69  3070 1.00
## s_pf[161]              1.00    0.00  0.32     0.50     0.96     1.72  8046 1.00
## s_pf[162]              0.99    0.00  0.31     0.48     0.96     1.69  8711 1.00
## s_pf[163]              1.00    0.00  0.32     0.47     0.97     1.71  5750 1.00
## s_pf[164]              1.00    0.00  0.31     0.50     0.97     1.69  7158 1.00
## s_pf[165]              1.00    0.00  0.32     0.47     0.96     1.72  7078 1.00
## s_pf[166]              1.00    0.00  0.31     0.49     0.97     1.72  6082 1.00
## lp__               -2233.77    4.33 48.98 -2314.62 -2239.90 -2115.91   128 1.02
## 
## Samples were drawn using NUTS(diag_e) at Sun Jan 21 19:56:10 2024.
## For each parameter, n_eff is a crude measure of effective sample size,
## and Rhat is the potential scale reduction factor on split chains (at 
## convergence, Rhat=1).

サイズを小さくしているので、参考書とは異なるが、推定されたmu[134]の事後平均は一番大きい、つまり、強いということがわかる。実際に対戦成績をみると、8試合中1試合しか負けていない。

#           mean se_mean   sd  2.5%   50% 97.5% n_eff Rhat
# mu[134]   0.40    0.05 0.45 -0.23  0.31  1.49    74 1.05
#
#           mean se_mean   sd 2.5%  50% 97.5% n_eff Rhat
# s_pf[134] 0.98    0.00 0.30 0.47 0.95  1.63  4277    1

d %>% filter(Loser == 134 | Winner == 134)
##   Loser Winner
## 1    63    134
## 2    12    134
## 3    78    134
## 4   107    134
## 5    54    134
## 6    81    134
## 7   134    130
## 8    98    134

参考書の推定結果を元に以降は記載している。強さ\(\mu[n]\)の中央値が高いトップ5の棋士と

ms <- rstan::extract(fit)
qua <- apply(ms$mu, 2, quantile, prob = c(0.05, 0.5, 0.95))
d_est <- data.frame(nid = 1:N, t(qua), check.names = FALSE)
d_top5 <- head(d_est[rev(order(d_est$`50%`)),], 5)
# d_top5
# nid        5%      50%      95%
#  47 1.5714078 1.868790 2.204545
# 105 1.3110919 1.612636 1.967448
# 134 1.0479643 1.337389 1.658967
#  78 1.0090331 1.303693 1.637110
#  65 0.9835042 1.282803 1.604898

勝負ムラ\(\sigma[n]\)の中央値が高いトップ3とワースト3を表示している。

qua <- apply(ms$s_pf, 2, quantile, prob=c(0.05, 0.5, 0.95))
d_est <- data.frame(nid = 1:N, t(qua), check.names = FALSE)
d_top3 <- head(d_est[rev(order(d_est$`50%`)),], 3)
# d_top3
# nid        5%      50%      95%
# 155 0.8346475 1.299498 1.922007
#  53 0.7572167 1.240500 1.807479
# 130 0.7775759 1.218723 1.783369

d_bot3 <- head(d_est[order(d_est$`50%`),], 3)
# d_bot3
# nid        5%       50%      95%
# 106 0.4059646 0.7278221 1.139531
# 162 0.4381930 0.7876454 1.274487
# 132 0.4573107 0.8034746 1.274778