「旧仮名口語UniDic」の導入

[Juliet877]

お使いのKH Coderのバージョン

base edition

エラー・不具合について詳しくお書きください

■お使いのOS
→Windows 11

■どんなエラー・不具合・問題ですか？
Unidic近代文語を導入した分析をしたく、「中古和文データや近代文語データを分析できますか？」https://khcoder.net/FAQ.html#kobunにしたがって進めています。
Step3「中古和文Unidicに、ChaSenと同じ形式で出力する設定を追加する」をしようと、dicrcを秀丸で開き、3行を追加しようとしましたが、上書き禁止を解除できず、このステップを完了させることができませんでした。

また、「MeCabに近代文語Unidic辞書の導入について #962」のように、ファイルを解凍してみましたが、こちらでも上書き禁止状態で、編集することはできませんでした。

■スクリーンショット

src="https://github.com/user-attachments/assets/b39b1025-2ebf-473a-bd18-876afd56f975">

■どのように操作すればその問題を再現できますか？

1. ダウンロードからUnidic-kindai-bungoを開く
2. dicrcを右クリックして秀丸で開く

■エラー・メッセージ
→上書き禁止状態になっているので編集できません。

コンソール・ウィンドウの表示内容（Macではターミナルの表示内容）を貼り付けてください

上書き禁止状態になっているので編集できません。

[ko-ichi-h]

解凍していただいて、その解凍されたファイルを開けば、編集できると思います。

また、「MeCabに近代文語Unidic辞書の導入について #962 」のように、ファイルを解凍してみましたが、こちらでも上書き禁止状態で、編集することはできませんでした。

この場合は、この状態のスクリーンショットを貼り付けていただけますか？

[Juliet877]

ありがとうございます。解凍がうまくいっていなかったようで、もう一度行ってみたら編集できるようになりました。
ただ、Unidic近代文語の導入をして解決したかった問題は解決できなかったので、そちらについても質問してもよろしいでしょうか。

Mecabを選択して特徴語の抽出をすると、スクリーンショット1のような結果が出ます。2行目にある「つた」は、本文では「入つた」「笑つた」のように動詞として使用されていますが、「入/つた[人名]」のように処理されてしまいます（スクリーンショット2）。感動詞「う」として処理されているものも、本文中では「怪しう」のように使用されているものです（スクリーンショット3）。

分析対象のテキストデータが明治から大正時代に書かれたもので、現代語ではないことが原因なのではないかと考え、Unidicを導入しましたが、うまくいきませんでした。
この場合はどうすればよいでしょうか。

[ko-ichi-h]

私は古文には詳しくないのですが、扱っておられるデータは「近代文語」でしょうか？

「旧仮名口語UniDic」や「近現代口語小説UniDic」をお試しになってはいかがでしょう。

[Juliet877]

ありがとうございます。
Unidicのページを再確認し、明治・大正期が対象の「近現代口語小説UniDic（スクリーンショット1.2）」と「旧仮名口語UniDic（スクリーンショット3.4）」も試してみましたが、結果は変わらずでした。

この場合は、誤って品詞分解されている語を書き出して、強制抽出するしかないのでしょうか。

[Juliet877]

追記：
Unidic導入後は、
①KH coderを再起動
②プロジェクト→開く→対象のファイルを選択→編集→Mecabを選択
③前処理の実行
④ツール→外部変数と見出し→値とラベル→特徴語
という手順で行っています。

[ko-ichi-h]

その辞書に含まれている語がきちんと抽出されているか、すなわち、辞書が本当に有効になっているかという動作確認はされていますか？

ドキュメントによると、たとえば「旧仮名口語UniDic」であれば、「買ふ」「買ひ」のような語を抽出できるようです。「買ふ」「買ひ」のような語を確かに抽出できているか、確認されていますか？

有効になっていてもこれらの辞書では対応できない場合、強制抽出も1つの方法でしょうね。ただ、活用のある語の場合は、強制抽出では上手くいかないかもしれません。その場合はMeCabのユーザー辞書を作成するか、デフォルトの辞書（IPADic）を編集するかだろうと思います。

[Juliet877]

お忙しいところ何度も申し訳ございません。

元のテキストデータ（excel）では、「買」はスクリーンショット1のように使用されております。

「買ひ集めて」というものがあったので、KHcoderで文書検索から「買」「買ひ」と入力してみましたが、何もヒットしませんでした（スクリーンショット2.3）。


これについては、強制抽出に「買」を入れると一応は解決したように見えます。

また「云ふ」は、「云ふ」と検索してもヒットしませんが、「云」と検索すると多数ヒットします。

これは、辞書がうまく動いていないために起きている問題ということでしょうか。

[ko-ichi-h]

MeCabが「旧仮名口語UniDic」を使うように、MeCabの設定（mecabrcファイル）を変更されましたか？

MeCab単体で動作させてテストすると、「買ひ集めて」はどう分割されますか？

[Juliet877]

ありがとうございます。mecabrcの変更がうまくできていませんでした。
そこで、dicdir = 以降の部分を以下の3パターンに変更してみました。しかし、KHcoderで前処理をすると、いずれの場合も「mecabの起動に失敗しました」と出てくるようになってしまいました。

[ko-ichi-h]

そのダブルクオートはどこから来たのでしょうか？

dicdir = C:\KHCoderOfficialPackage\unidic-qkana

のように指定してください。

それでもエラーになるようなら、エラー発生時のコンソール画面（最小化されている黒背景に白文字のWindow）の内容をすべてここに貼り付けて下さい。

[Juliet877]

指定しなおしてみましたが、Mecabの起動に失敗しましたというメッセージが出てきてしまいました。

This is KH Coder 3.02c official-package on MSWin32.
CWD: C:/KHCoderOfficialPackage
Private dir: C:/Users/chies/AppData/Local/KHCoder3
Available Physical Memory: 2048MB
Checking MySQL connection...
Starting MySQL...
2024-10-04 16:38:20 0 [Note] bin\mysqld (mysqld 5.6.39-log) starting as process 13380 ...
R Version: 3.1, x86_64
R Version: 4.3, x86_64

デバイス状態 CON:
-----------
    行数:                30
    桁数:                120
    キーボード速度:      31
    キーボード ディレイ: 1
    コード ページ:       932

Using un-threaded functions...
Monitors: 0, 1920, 0, 1080 : 0, 1920, -1080, 0
new window: 1067, 295
new window: 87, 121
Connected to MySQL 5.6, khc15.
MySQL integrity check: pass, c:/khcoderofficialpackage/dep/mysql
Checking icode (jp2)... utf8
cmdline: mecab -Ochasen -p -r "C:/KHCoderOfficialPackage/dep/mecab/etc/mecabrc" -o "C:/Users/chies/AppData/Local/KHCoder3/khc15/khc15_ch.txt.tmp" "C:/Users/chies/AppData/Local/KHCoder3/khc15/khc15_mph.txt.tmp"
param.cpp(69) [ifs] no such file or directory: "G:\KHCoderOfficialPackage\unidic-qkana"\dicrc
Wide character in print at C:/KHCoderOfficialPackage/kh_lib/kh_morpho/win32.pm line 38.

[ko-ichi-h]

param.cpp(69) [ifs] no such file or directory: "G:\KHCoderOfficialPackage\unidic-qkana"\dicrc

この部分が、MeCabが出しているエラー・メッセージです。

「C」ではなく「G」と書いているようです。本来は「C」ではないでしょうか。それから、まだダブルクオートで括っているのではないでしょうか？

dicdir = "C:\KHCoderOfficialPackage\unidic-qkana"

これ（↑）ではなくて、

dicdir = C:\KHCoderOfficialPackage\unidic-qkana

このようにしてください。ダブルクオート有無の違いが分かりますでしょうか。

[Juliet877]

ありがとうございます。
USBにKHcoderを入れて使っていて、そのUSBが「G:」から始まっているのでGを使っていました。

また、mecabrcの中身はこのようになっていて、ダブルクォートは外したつもりです。

Excelファイルの前処理をしようとするとやはりエラーが起き、コンソール画面は以下のようになっています。

Encoding of this file system: cp932
Locale: cp932
This is KH Coder 3.02c official-package on MSWin32.
CWD: C:/KHCoderOfficialPackage
Private dir: C:/Users/chies/AppData/Local/KHCoder3
Available Physical Memory: 2048MB
Checking MySQL connection...
R Version: 3.1, x86_64
R Version: 4.3, x86_64

デバイス状態 CON:
-----------
    行数:                30
    桁数:                120
    キーボード速度:      31
    キーボード ディレイ: 1
    コード ページ:       932

Using un-threaded functions...
Monitors: 0, 1920, 0, 1080 : 0, 1920, -1080, 0
new window: 1067, 295
new window: 87, 121
Connected to MySQL 5.6, khc17.
MySQL integrity check: pass, c:/khcoderofficialpackage/dep/mysql
Checking icode (jp2)... utf8
cmdline: mecab -Ochasen -p -r "C:/KHCoderOfficialPackage/dep/mecab/etc/mecabrc" -o "C:/Users/chies/AppData/Local/KHCoder3/khc17/khc17_ch.txt.tmp" "C:/Users/chies/AppData/Local/KHCoder3/khc17/khc17_mph.txt.tmp"
param.cpp(69) [ifs] no such file or directory: "G:\KHCoderOfficialPackage\unidic-qkana"\dicrc
Wide character in print at C:/KHCoderOfficialPackage/kh_lib/kh_morpho/win32.pm line 38.

ただ、wordファイルだと前処理は可能でした。

[ko-ichi-h]

うーん、コンソール表示を見るとCドライブから起動しているように見えます。

CWD: C:/KHCoderOfficialPackage

CドライブとUSBのGドライブと、両方に「KHCoderOfficialPackage」があったりしますか？　もしそうだとすると、CとGのどちらの設定ファイルを編集するかを取り違えたりして間違いやすそうですが...

[ko-ichi-h]

cmdline: mecab -Ochasen -p -r "C:/KHCoderOfficialPackage/dep/mecab/etc/mecabrc" -o "C:/Users/chies/AppData/Local/KHCoder3/khc17/khc17_ch.txt.tmp" "C:/Users/chies/AppData/Local/KHCoder3/khc17/khc17_mph.txt.tmp"

MeCabも、Cドライブのものが動いているようです。

[ko-ichi-h]

紛らわしいGドライブを取り外して、Cドライブのみで操作・設定されることをお薦めします。

[Juliet877]

たしかにGドライブにもKHcoderがありました。こちらを削除して、「PC>windows(C:)>KHCoderOfficialPacage」のみ使用してみましたが、mecabは起動されませんでした。

Locale: cp932
This is KH Coder 3.02c official-package on MSWin32.
CWD: C:/KHCoderOfficialPackage
Private dir: C:/Users/chies/AppData/Local/KHCoder3
Available Physical Memory: 2048MB
Checking MySQL connection...
R Version: 3.1, x86_64
R Version: 4.3, x86_64

デバイス状態 CON:
-----------
    行数:                30
    桁数:                120
    キーボード速度:      31
    キーボード ディレイ: 1
    コード ページ:       932

Using un-threaded functions...
Monitors: 0, 1920, 0, 1080 : 0, 1920, -1080, 0
new window: 1067, 295
new window: 87, 121
Connected to MySQL 5.6, khc17.
MySQL integrity check: pass, c:/khcoderofficialpackage/dep/mysql
Checking icode (jp2)... utf8
cmdline: mecab -Ochasen -p -r "C:/KHCoderOfficialPackage/dep/mecab/etc/mecabrc" -o "C:/Users/chies/AppData/Local/KHCoder3/khc17/khc17_ch.txt.tmp" "C:/Users/chies/AppData/Local/KHCoder3/khc17/khc17_mph.txt.tmp"
viterbi.cpp(54) [connector_->open(param)] connector.cpp(24) [cmmap_->open(filename, mode)] cannot open: C:\KHCoderOfficialPackage\unidic-qkana\matrix.bin
Wide character in print at C:/KHCoderOfficialPackage/kh_lib/kh_morpho/win32.pm line 38.

[ko-ichi-h]

だいぶ前進したと思います。

viterbi.cpp(54) [connector_->open(param)] connector.cpp(24) [cmmap_->open(filename, mode)] cannot open: C:\KHCoderOfficialPackage\unidic-qkana\matrix.bin

2023-08版を使うと、私の環境でもこのエラーが出ました。

2022-03版の「旧仮名口語UniDic」であればエラーなしに解析できるようです。
https://clrd.ninjal.ac.jp/unidic/back_number.html#unidic_qkana

※同梱の「.dicrc」というファイルを「dicrc」に改名して編集しました。

[Juliet877]

ありがとうございます。2022-03バージョンをダウンロードしたところ、おかげさまで無事うまくいきました。

[ko-ichi-h]

その後、MeCabを64bit版に入れ替えれば、最新版（2023-08版）「旧仮名口語UniDic」でも解析を行なえることが分かりました。
https://khcoder.net/FAQ.html#kobun

ご報告までに。