先日ついにtidyrパッケージで縦横変換をやってみた。今までずっと覚えなきゃなと思ってて結局億劫でやってなかったんだけれど手伝いで仕方なく。

データハンドリングで，横に広がる（列数の多い）wide-formatのdataを分析に便利なlong-formatに変換するというのは，分析をやるまえのデータ整形の過程で必ず通らなければならない道。Excel上で地道にやるのもあるにはあるだろうけど，Rのtidyrを使えばすぐできるというお話。これ系の話はググればネット上にゴロゴロ記事が転がっている。なので，今回は具体的に外国語教育研究系のデータ分析ではどんなときに役に立つかなーという話です。特に無駄に変数が多い時なんかは結構役に立つと思います。

sample data

適当にこんな感じでデータが入っているとします（数値は乱数）。事前・事後・遅延事後のテストがあって，それぞれで流暢さ（fluency），正確さ（accuracy），複雑さ（complexity）の指標があるみたいな。1列目には被験者番号があって，それぞれの列名は”test.measure”という感じでドット区切りにしてあります。で，これを，「事前・事後・遅延事後」の3つのカテゴリカル変数からなる”test”列と，3つの指標（CAF）の”measure”列の2列に分解しましょうという話し。

R上に上のようなデータを読み込みます。

read.table関数で読み込んだ場合（※MacなのでちょっとWindowsと違います）

まずはパッケージの準備

install.packages(“tidyr”) #パッケージのインストール

library(tidyr) #tidyrパッケージの呼び出し

datに入っているデータフレームをまずは，変数名の列（variable）とその値（value）の列に集約します。key=変数名の列，value=値の列という引数指定です。

#%>%はパイプ演算子。以下の関数で扱うデータフレームを指定するということです

dat %>%

#-subjectでsubjectの列を除外。変換したdataをdat2に入れる

gather(key = variable,value = value,-subject) -> dat2

long formatのデータに変換されました

これで変数名を1列に集約できました。ただし，この列にはpre, post, delayedというテスト実施時期の情報と，fluency, accuracy, complexityという指標の情報が混ざってしまっています。これを，2列に分けます。

dat2 %>%

#colで分けたい列名，intoで分けた後の列名を指定。sepでセパレータを指定しますが，デフォルトはあらゆる非アルファベットになっているので，ドットなら指定しなくても大丈夫

separate(col = variable, into = c(‘test’, ‘measure’)) -> dat 3

さて，dat3の中身を確認してみると…

long formatのデータに変換されました

おおおおー！！！！！

というわけで，横に変数がたくさんある場合もこのtidyrのgatherとseparateを使えば簡単にlong型に変換できそうです。

参考サイト：http://meme.biology.tohoku.ac.jp/students/iwasaki/rstats/tidyr.html

なにをゆう　たむらゆう

おしまい。

ストレスが溜まっているのかなんなのか帰り道にセブン-イレブンでチーズとワインを買って飲むとかいう珍しいことをしているという言い訳を最初に書いておこうと思います。それから，自戒もたっぷり込めていることも申し添えておきたいと思います。

データ分析の方法の相談についてです。色んな所で起こっていることだと思うし色んな人がきっと同じようなことを考えているだろうと思います。一言でいうと，データを取る前に相談してみましょうということです。データを取ったあとに，「このデータってどうやって分析すればいいですか？」っていう質問は結構つらいところがあったりします（恐れ多くもなぜだかこういう質問をされる立場に私もなってしまいました）。なぜなら，本当にその質問者の方が調べたいこと，明らかにしたいことが，そのデータ収集方法で明らかにすることができるのかちょっと怪しかったりすることがあるからです。

そういう状況にならないために重要なことは，研究課題を見つけて，それを具体的な実験計画なりに落としこむ際に，その先のことまでちょっと考えてからデータ収集をしてみることだと思います。つまり，

こういう方法を使うと，こういうデータを収集することができる。それをこういう分析にかければ，こういう結果が得られるはず。もしこういう結果が得られた場合，それはこういうことを意味していると解釈できるだろう。

みたいなことを考えてから実験を組んで，データを取っていただきたいなということです。そうすれば，データを取ってからどうしたらいいかという質問が来ることはなくなるからです。上述の事でイマイチ自分がうまく説明できないとなったら，その時点で相談をすればよいと思います。そうすれば，実はその方法で得られたデータで，質問者の方の主張をするのはちょっと違うので，こういうデータ収集をしないといけませんよ，なんてアドバイスができたりするかもしれないからです。これって仮説検証型の研究でも探索的な研究でも同じだと思います。たとえ探索的な研究だったとしても，得られた結果に対してなんらかの解釈を加える必要はあるはずですから。研究課題がwh疑問文で始まる形であったとしても，結果に対しては，きっとこういう理由でこうだったのだろうということを言えなければいけないわけですし。

データをとって，分析をしてみて，これであってるのか不安だから相談してみようということもあるのかもしれませんが，それって別にデータ取る前にもできることなんですよね。

こういう研究課題をもっていて，これを明らかにするためにこういう分析をしてこういう結果が得られたらこういう解釈ができると思うのですが，これで合ってますか？

ってデータ取る前に相談すればすむと思うのです。なのにどうして，「データを取ったあとにこれってどうやって分析すればいいんですか？」ってなってしまうのでしょう。

これはあくまで持論なのですが，研究って，研究のデザインとか実験計画ですべて決まると私は思っています。面白いなと思う研究はやっぱりデザインがしっかりしていて，分析の結果から得られたことの解釈がとってもシンプル（注1)なんです（そういう研究が良い研究だと思う私からすると，discussionを長々と書いている論文やそれが良しとされる風潮，また「discussionが短い」みたいなコメントってなんだかなと思ったりします）。それって，デザインを練る段階で色んなことを考えているからなんですよね。研究の計画を立てる段階で，データの分析方法まで明確にイメージできない場合は，データ収集に入るべきではないと私は考えています。私の場合は基本的に，ある研究で行われることを考えることは，R上で分析を行う際のデータセットの形をイメージすることとほぼ同義です。変数のデータフレームがイメージできていて，それをどうやって分析すれば何をどうしていることになるのか，こういう結果になったらそれはどう解釈するのか，また別の結果がでたらそれをどう解釈するのかまで考えられて初めて研究のデータ収集ができるのではないでしょうか。

こういった考えが当たり前になれば「統計屋さん」（私は違いますけど）とか言われる人たちもずいぶん楽になるのではないかなと思っています。

なにをゆう　たむらゆう

おしまい。

*注1: だからといって，t検定一発で明らかになることってそんなにはないとは思います。少なくとも今なら昔はt検定一発だったこともGLMMするでしょう。例えば正答率の平均値をt検定というのはもはや時代遅れになりつつあるわけですし。

もう2ヶ月くらい前の話ですが，Nagoya.R #12で発表しました。

今更って感じなのですが，ちょっと今お手伝いでLMEをやっていて，自分でも理解があやふやな点がぼろぼろと出てきたのでメモ的に。

僕は発表中にlmer関数と，モデル比較に使えるstep関数の使い方を説明したのですが，どうやらstep関数はlmer関数で出力したもののみに対応している模様。というか，正規分布を仮定したモデルにしか適用できないみたいです。なので，lmerでfamily指定を使ってポアソン分布(poisson) や二項分布(binomial)を指定した場合には出力がされません。また，lmer関数でfamily指定すると警告メッセージでglmer関数を使うようにと言われます。なので，正規分布以外でやるときはglmer関数を使うほうがいいかもしれません。回帰の式の入力はほぼ一緒です。

ただし，glmer関数は結果の出力の解釈が実はちょっと難しくて，一発だけじゃ全水準の多重比較までみれないんですよね。なので，ダミー変数にいれたものの順番を入れ替えて計算を回していくようなのですが，それに使う引数がstartってやつっぽいのですよね。そんないちいちダミー変数入れ替えるなんてめちゃめんどくさいわけで，これで引数指定して一番最初にいれる水準を指定できるようになっているみたいなのです。ただしちょっと使い方がまだよく理解できていなくてですね…

実際に自分の研究でちゃんと使えるようになるにはここは避けて通れないわけなのですが，そっちばっかりに手を回しているわけにもいかず，RのヘルプやマニュアルとにらめっこしてはGoogle検索して…とかやってたらなんか1日終わっているみたいな幸せなのか不幸せなのかわからない昨日今日です。

いろいろ終わってません

なにをゆう　たむらゆう

おしまい。