文章の解析で形態素解析というものがあるらしい。
ググればソフトウェアがいくつか出てくるが、その中でMeCabというものが使いやすそうだった。
JUMANはUbuntuターミナル上でのエンコーディングの問題で文字化けが解決しなかったのでMeCab推しでいこう。
インストールについてはググればいろいろ出てくるので、やったあととして使ってみる。
使い方はターミナル上で
mecab
として起動し、ターミナルに貼り付けるだけ。
初音ミクの説明文を使ってみる。
初音 ミク（はつね ミク、HATSUNE MIKU）は、クリプトン・フューチャー・メディアから発売されている音声合成・デスクトップミュージック（DTM）ソフトウェアの製品名、およびキャラクターとしての名称である。
初音 名詞,一般,*,*,*,*,初音,ハツネ,ハツネ ミク 名詞,固有名詞,人名,名,*,*,ミク,ミク,ミク （ 記号,括弧開,*,*,*,*,（,（,（ はつね 名詞,固有名詞,人名,名,*,*,はつね,ハツネ,ハツネ ミク 名詞,固有名詞,人名,名,*,*,ミク,ミク,ミク 、 記号,読点,*,*,*,*,、,、,、 HATSUNE 名詞,固有名詞,組織,*,*,*,* MIKU 名詞,一般,*,*,*,*,* ） 記号,括弧閉,*,*,*,*,）,）,） は 助詞,係助詞,*,*,*,*,は,ハ,ワ 、 記号,読点,*,*,*,*,、,、,、 クリプトン・フューチャー・メディア 名詞,一般,*,*,*,*,* から 助詞,格助詞,一般,*,*,*,から,カラ,カラ 発売 名詞,サ変接続,*,*,*,*,発売,ハツバイ,ハツバイ さ 動詞,自立,*,*,サ変・スル,未然レル接続,する,サ,サ れ 動詞,接尾,*,*,一段,連用形,れる,レ,レ て 助詞,接続助詞,*,*,*,*,て,テ,テ いる 動詞,非自立,*,*,一段,基本形,いる,イル,イル 音声 名詞,一般,*,*,*,*,音声,オンセイ,オンセイ 合成 名詞,サ変接続,*,*,*,*,合成,ゴウセイ,ゴーセイ ・ 記号,一般,*,*,*,*,・,・,・ デスク 名詞,一般,*,*,*,*,デスク,デスク,デスク トップ 名詞,一般,*,*,*,*,トップ,トップ,トップ ミュージック 名詞,一般,*,*,*,*,ミュージック,ミュージック,ミュージック （ 記号,括弧開,*,*,*,*,（,（,（ DTM 名詞,固有名詞,組織,*,*,*,* ） 記号,括弧閉,*,*,*,*,）,）,） ソフトウェア 名詞,一般,*,*,*,*,ソフトウェア,ソフトウェア,ソフトウェア の 助詞,連体化,*,*,*,*,の,ノ,ノ 製品 名詞,一般,*,*,*,*,製品,セイヒン,セイヒン 名 名詞,接尾,一般,*,*,*,名,メイ,メイ 、 記号,読点,*,*,*,*,、,、,、 および 接続詞,*,*,*,*,*,および,オヨビ,オヨビ キャラクター 名詞,一般,*,*,*,*,キャラクター,キャラクター,キャラクター として 助詞,格助詞,連語,*,*,*,として,トシテ,トシテ の 助詞,連体化,*,*,*,*,の,ノ,ノ 名称 名詞,一般,*,*,*,*,名称,メイショウ,メイショー で 助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ ある 助動詞,*,*,*,五段・ラ行アル,基本形,ある,アル,アル 。 記号,句点,*,*,*,*,。,。,。
上の解析単位で区切って出力して欲しいときは、分かち書きオプションをつける。
mecab -Owakati
初音 ミク （ はつね ミク 、 HATSUNE MIKU ） は 、 クリプトン・フューチャー・メディア から 発売 さ れ て いる 音声 合成 ・ デスク トップ ミュージック （ DTM ） ソフトウェア の 製品 名 、 および キャラクター として の 名称 で ある 。
他言語と組み合わせて使えるらしいので、Pythonに導入してみよう。
20130205追記 RMeCabというパッケージでRでもできるらしい。
導入の仕方はググればいろいろ出てくるのだが、なぜかできなかった。素直にターミナルから
sudo apt-get install python-mecab
でできた。
初音ミクの消失のサビの一部分を使ってみる。
存在意義という虚像振って払うこともできず弱い心消える恐怖侵食する崩壊をも止めるほどの意思の強さ出来て（うまれ）すぐのボクは持たずとても辛く悲しそうな思い浮かぶアナタの顔終わりを告げディスプレイの中で眠るここはきっと「ごみ箱」かなじきに記憶も無くなってしまうなんてでもね、アナタだけは忘れないよ楽しかった時間（トキ）に刻み付けたネギの味は今も覚えてるかな
#Pythonで import sys import MeCab m = MeCab.Tagger ("-Ochasen") #Owakati など他のオプション可能 print m.parse ("存在意義という虚像振って払うこともできず弱い心消える恐怖侵食する崩壊をも止めるほどの意思の強さ出来て（うまれ）すぐのボクは持たずとても辛く悲しそうな思い浮かぶアナタの顔終わりを告げディスプレイの中で眠るここはきっと「ごみ箱」かなじきに記憶も無くなってしまうなんてでもね、アナタだけは忘れないよ楽しかった時間（トキ）に刻み付けたネギの味は今も覚えてるかな")
存在 ソンザイ 存在 名詞-サ変接続 意義 イギ 意義 名詞-一般 という トイウ という 助詞-格助詞-連語 虚像 キョゾウ 虚像 名詞-一般 振っ フッ 振る 動詞-自立 五段・ラ行 連用タ接続 て テ て 助詞-接続助詞 払う ハラウ 払う 動詞-自立 五段・ワ行促音便 基本形 こと コト こと 名詞-非自立-一般 も モ も 助詞-係助詞 でき デキ できる 動詞-自立 一段 未然形 ず ズ ぬ 助動詞 特殊・ヌ 連用ニ接続 弱い ヨワイ 弱い 形容詞-自立 形容詞・アウオ段 基本形 心 ココロ 心 名詞-一般 消える キエル 消える 動詞-自立 一段 基本形 恐怖 キョウフ 恐怖 名詞-サ変接続 侵食 シンショク 侵食 名詞-サ変接続 する スル する 動詞-自立 サ変・スル 基本形 崩壊 ホウカイ 崩壊 名詞-サ変接続 を ヲ を 助詞-格助詞-一般 も モ も 助詞-係助詞 止める トメル 止める 動詞-自立 一段 基本形 ほど ホド ほど 助詞-副助詞 の ノ の 助詞-連体化 意思 イシ 意思 名詞-サ変接続 の ノ の 助詞-連体化 強 ツヨ 強い 形容詞-自立 形容詞・アウオ段 ガル接続 さ サ さ 名詞-接尾-特殊 出来 デキ 出来る 動詞-自立 一段 連用形 て テ て 助詞-接続助詞 （ （ （ 記号-括弧開 うまれ ウマレ うまる 動詞-自立 五段・ラ行 命令ｅ ） ） ） 記号-括弧閉 すぐ スグ すぐ 副詞-助詞類接続 の ノ の 助詞-連体化 ボク ボク ボク 名詞-代名詞-一般 は ハ は 助詞-係助詞 持た モタ 持つ 動詞-自立 五段・タ行 未然形 ず ズ ぬ 助動詞 特殊・ヌ 連用ニ接続 とても トテモ とても 副詞-助詞類接続 辛く ツラク 辛い 形容詞-自立 形容詞・アウオ段 連用テ接続 悲し カナシ 悲しい 形容詞-自立 形容詞・イ段 ガル接続 そう ソウ そう 名詞-接尾-助動詞語幹 な ナ だ 助動詞 特殊・ダ 体言接続 思い オモイ 思い 名詞-一般 浮かぶ ウカブ 浮かぶ 動詞-自立 五段・バ行 基本形 アナタ アナタ アナタ 名詞-一般 の ノ の 助詞-連体化 顔 カオ 顔 名詞-一般 終わり オワリ 終わる 動詞-自立 五段・ラ行 連用形 を ヲ を 助詞-格助詞-一般 告げ ツゲ 告げる 動詞-自立 一段 連用形 ディスプレイ ディスプレイ ディスプレイ 名詞-一般 の ノ の 助詞-連体化 中 ナカ 中 名詞-非自立-副詞可能 で デ で 助詞-格助詞-一般 眠る ネムル 眠る 動詞-自立 五段・ラ行 基本形 ここ ココ ここ 名詞-代名詞-一般 は ハ は 助詞-係助詞 きっと キット きっと 副詞-一般 「 「 「 記号-括弧開 ごみ箱 ゴミバコ ごみ箱 名詞-一般 」 」 」 記号-括弧閉 か カ か 助詞-副助詞／並立助詞／終助詞 な ナ な 助詞-終助詞 じき ジキ じき 名詞-副詞可能 に ニ に 助詞-格助詞-一般 記憶 キオク 記憶 名詞-サ変接続 も モ も 助詞-係助詞 無くなっ ナクナッ 無くなる 動詞-自立 五段・ラ行 連用タ接続 て テ て 助詞-接続助詞 しまう シマウ しまう 動詞-非自立 五段・ワ行促音便 基本形 なんて ナンテ なんて 助詞-副助詞 でも デモ でも 助詞-副助詞 ね ネ ね 助詞-終助詞 、 、 、 記号-読点 アナタ アナタ アナタ 名詞-一般 だけ ダケ だけ 助詞-副助詞 は ハ は 助詞-係助詞 忘れ ワスレ 忘れる 動詞-自立 一段 未然形 ない ナイ ない 助動詞 特殊・ナイ 基本形 よ ヨ よ 助詞-終助詞 楽しかっ タノシカッ 楽しい 形容詞-自立 形容詞・イ段 連用タ接続 た タ た 助動詞 特殊・タ 基本形 時間 ジカン 時間 名詞-副詞可能 （ （ （ 記号-括弧開 トキ トキ トキ 名詞-固有名詞-一般 ） ） ） 記号-括弧閉 に ニ に 助詞-格助詞-一般 刻み付け キザミツケ 刻み付ける 動詞-自立 一段 連用形 た タ た 助動詞 特殊・タ 基本形 ネギ ネギ ネギ 名詞-一般 の ノ の 助詞-連体化 味 アジ 味 名詞-一般 は ハ は 助詞-係助詞 今 イマ 今 名詞-副詞可能 も モ も 助詞-係助詞 覚え オボエ 覚える 動詞-自立 一段 連用形 てる テル てる 動詞-非自立 一段 基本形 か カ か 助詞-副助詞／並立助詞／終助詞 な ナ な 助詞-終助詞
