計量テキスト分析の信頼性と妥当性を説明するには

[yamajun37]

お使いのKH Coderのバージョン

3.Alpha.17j [Perl 5.14.2, Perl/TK 804.03]

内容をご自由にお書きください

以前何度か、ご連絡申し上げました。

隔週3回の演習で、1回のコーチングを5分間ほど実施して他者を支援した学生100名が、そのコーチングによる自身の支援内容（会話のやり取りの内容、その後の振り返り）を記載したレポートをテキストデータとして、隔週3回をそれぞれKHcoder3により比較することで、回を重ねる度にコーチング技法の修得目標（非言語的コミュニケーションの活用，コーチングフローの運用，具体的な行動計画を支援）に到達できたかの研究を行っています。

現在、論文投稿しておりますが、査読者から「論文中で、計量テキスト分析の評価方法としての信頼性、妥当性、その他について論じていない」と指摘がありました。

以下のように書いたのですが、アドバイスがあればご教示ください。

『分析方法の信頼性・妥当性：信頼性については，同じデータであれば，段階1は一義的に結果が得られ，段階2は注目する概念と選定する語が同じならばクロス集計の再現性（妥当性）は確保できると言える．妥当性については，別途構築したコーチング技法の修得目標（非言語的コミュニケーション，コーチングフロー，具体的行動）のルーブリック評価の学生間平均（非公開）が演習1回目に比べて演習2回目と3回目に高く，クロス集計で設定した概念（非言語的コミュニケーション，コーチングフロー，具体的行動）の出現頻度と同じ傾向であることから，学習効果の分析方法として妥当（内容的妥当）と判断した．』

よろしくお願いします（論文に関する内容ですので、回答が済み次第、このディスカッションを閉じていただければ幸いです）。

[ko-ichi-h]

ご投稿お疲れさまです。

ご専門の内容については私では理解が及びませんが、特に違和感を覚える部分はございません。よろしいのではないでしょうか。※1文目の（妥当性）は、（信頼性）のtypoでしょうか。

強いて書きますと、同様の用途に計量テキスト分析を用いている先行研究は、ある程度の数があるのではないでしょうか。そうした実績とか、それら先行研究で書かれていることなど、触れておかれてもよいかもしれません。ただ、字数の問題もありますし、判断が難しいところでしょうか。