Scalaでテキスト処理

参照：

日本語シソーラスの入手など Python による日本語自然言語処理

日本語 WordNet http://compling.hss.ntu.edu.sg/wnja/ ※読み、には未対応

日本語形態素解析システム JUMAN http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN

JUMAN++ http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN%2B%2B

NAIST Japanese Dictionary https://ja.osdn.net/projects/naist-jdic/wiki/FrontPage

NAIST Japanese Dictionary https://ja.osdn.net/projects/naist-jdic/releases/53500 ダウンロード元

IPADIC(IPA辞書)とはなにものか？ http://parame.mwj.jp/blog/0209

Scala でファイル読み込み https://www.qoosky.io/techs/f7851bb2e4

ファイルの読み込みと表示例）

※ 文字コードの指定は、 UTF-8 EUC-JP Shift_JIS など。

import scala.io.Source

object Test2 extends App {

val source = Source.fromFile("naist-jdic.csv", "EUC-JP")

val lines = source.getLines().take(100)

val lines2 = source.getLines().drop(200).take(100)

lines.foreach(println)

lines2.foreach(println)

}

naist-jdic.csv には 11カラム目に「読み」が入っているので抽出する例）

※ 辞書ファイルは src フォルダの中ではなく、プロジェクトのフォルダ（アプリケーションが実行されるフォルダ？）に入れる（eclipse経由で）。

import scala.io.Source

object Test2 extends App {

val source = Source.fromFile("naist-jdic.csv", "EUC-JP")

val words = source.getLines().map(_.split(",")(11))

words.take(300).foreach(println)

}

単語を構成する文字を順に並べ替え、見出しとする例）

import scala.io.Source

object Test2 extends App {

val source = Source.fromFile("naist-jdic.csv", "EUC-JP")

val words = source.getLines().map(_.split(",")(11))

words.take(300).map(e => (e.sorted,e)).foreach(println)

}

見出しが共通する単語をまとめて辞書を作成する例１）

※ 可変Mapを辞書として準備。語群から要素を追加

辞書：可変Map (キー 見出し文字列, 値 文字列のSet(単語１, 単語２, ...) )

import scala.io.Source

import scala.collection.mutable.Map

import scala.collection.mutable.Set

object Test2 extends App {

val source = Source.fromFile("naist-jdic.csv", "EUC-JP")

val words = source.getLines().map(_.split(",")(11))

val index_words = words.map(e => (e.sorted,e))

val dict = Map.empty[String,Set[String]].withDefault(e => Set.empty[String])

index_words.foreach({case (k,v) => dict(k) = dict(k)+v})

dict.foreach({case (k,v) => println(k + ":" + v)})

}

見出しが共通する単語をまとめて辞書を作成する例２）

※ 見出し付き語群 index_words から 重複 を除去(Set化)し、見出しでまとめたMapに変換し、Mapの値を取り出し、まとめられた見出しつき語群から値を取り出す例）

import scala.io.Source

object Test2 extends App {

val source = Source.fromFile("naist-jdic.csv", "EUC-JP")

val words = source.getLines().map(_.split(",")(11))

val index_words = words.map(e => (e.sorted,e))

index_words.toSet.groupBy[String](_._1).values.map(_.map(_._2)).foreach(println)

}

アナグラムの辞書から、最大のアナグラムの個数、7個以上のアナグラムを持つ単語を抽出

import scala.io.Source

object Test2 extends App {

val source = Source.fromFile("naist-jdic.csv", "EUC-JP")

val words = source.getLines().map(_.split(",")(11))

val index_words = words.map(e => (e.sorted,e))

val dict = index_words.toSet.groupBy[String](_._1).values.map(_.map(_._2))

println(dict.map(_.size).max)

dict.filter(_.size > 6).foreach(println)

}

結果：

7

Set(シジュン, シュンジ, シュジン, ジュシン, シンジュ, ジュンシ, ジンシュ)

Set(ジュウショ, シュジョウ, ジュショウ, ジョウシュ, ショウジュ, ジョシュウ, シュウジョ)

Set(タカマサ, タマサカ, カタサマ, サカマタ, マサカタ, マサタカ, マタサカ)

Set(タキカワ, カワタキ, カタワキ, キタカワ, ワキカタ, カワキタ, キカワタ)

並列化の実験：

import scala.io.Source

object Test2 extends App {

val source = Source.fromFile("naist-jdic.csv", "EUC-JP")

var wc = 0

val words = source.getLines().map({e => wc+=1; e.split(",")(11)})

//println(wc)

val start = System.currentTimeMillis

//val index_words = words.map(e => (e.sorted,e)).toSeq.par

val index_words = words.map(e => (e.sorted,e))

//println(wc)

val dict = index_words.toSet.groupBy[String](_._1).values.map(_.map(_._2))

println((System.currentTimeMillis - start) + "msec 辞書生成時間")

println(wc)

dict.filter(_.size > 6).foreach(println)

println(dict.size)

println(dict.map(_.size).max)

val start2 = System.currentTimeMillis

Range(0,1000).foreach(e => dict.map(_.size).max)

println((System.currentTimeMillis - start2) + "msec 辞書利用時間")

}

並列化無し

1481msec 辞書生成時間

3870msec 辞書利用時間

並列化有り

1889msec 辞書生成時間

818msec 辞書利用時間