Rで、大きめのlistにsapplyできないです…

Question

これを見ながらRでワードクラウドを書こうとしています。
http://langstat.hatenablog.com/entry/20170509/1494291821

幸いやりたいことは一旦できたのですが、大きめのデータを読ませるとうまく動かないです。

sapply(RMeCabText.result, "[[", 1)

この部分（ライブラリ読み終わってから2行目の一部）がうまく動きません。

 lapply(X = X, FUN = FUN, ...) でエラー: 
  cannot have attributes on a CHARSXP

という感じのエラーが出てしまいます…。

その前の行のMeCabは動いてるみたいなので今回MeCabは関係なくて、単純に長いリスト（lengthは30万ぐらいです）をsapplyできてないとおもっています。

lengthが5000ぐらいのデータならうまくうごきます！

なにか手の施しようはありますでしょうか…。

追加：
KojiDoiさまご回答ありがとうございます！
てさぐりながら、lapply部分をforに書き換えました！
合っていますでしょうか…。

word2 <- list()
for (i in (1:length(RMeCabText.result))) {
  class(RMeCabText.result[[i]][1])
  word2 <- append(word2, RMeCabText.result[[i]][1])
}
word2 <- unlist(word2)

しかし、今度はRMeCabが重くて？動かなくなってしまった
（Rstudio.appが「R session aborted」と言っている）ので、
今度はテキストファイルを分割して、別々でMeCabにかけてから統合しようとおもいます…。

時間かかってしまいそうだったので途中経過でした。
また書きます〜！

追加（2018/06/17 12:10）

テキストファイルを読み込むところを書き直し、1行ずつ読み込むようにしました！
リストを整形する方法がわからずつまづいているので、もう少しです…！

f<-file("ファイルパス〜〜.txt","r")
word3 <- list()
repeat {
  # for (line in lines) {
  a<-readLines(con=f,1)
  print(a)
  if (length(a) == 0) {
    break
  }
  if (a == "") {
    next
  }
  word3 <- append(word3, RMeCabC(a))
}

Answer 1

たくさんお付き合いいただきありがとうございました！

以下のように、RMeCabTextで一括処理ではなく、RMeCabCを使って1行ずつ処理することで、
30万行のデータも処理することができました。
きちんと測っていないですが、数分（<10分）かかる感じでした。
この処理の中ではpaste()がapplyに近い処理をしていると思いますが、この行は一瞬でした！

library(RMeCab)

f<-file("ファイルパス〜〜.txt","r")
word3 <- list()
# RMeCabTextで一括処理ではなく、RMeCabCを使って1行ずつ処理する。
repeat {
  a<-readLines(con=f,1)
  if (length(a) == 0) {
    break
  }
  if (a == "") {
    next
  }
  word3 <- append(word3, RMeCabC(a))
}
word3_unlist <- unlist(word3)
wordvector <- paste(word3_unlist, names(word3_unlist), sep="_")

# ファイルを閉じるの忘れてたので閉じる。
close(f)

# 続きはとくに手を加えてません。

もともとタイトルに入れていた問題は直接解決していない（っていうか再現しなくなってしまいました…）のですが、
やりたかったことはできるようになったので解決にします。
このたびはどうもありがとうございました〜！

Answer 2

ライブラリの読み込みとテキスト処理の順序を変えただけですが、こんな感じでもエラーは起きますか？

library(RMeCab)
RMeCabText.result <- RMeCabText(file.choose()) # Abe.txtを指定
word <- unlist(sapply(RMeCabText.result, "[[", 1))
pos <- unlist(sapply(RMeCabText.result, "[[", 2))
word.vector <- paste(word, pos, sep = "_")

search.word <- "^国民_名詞$" # 検索語「単語_品詞」
span <- 5 # スパン左右5語まで
span <- (-span : span)

library(stringr)
positions.of.matches <- grep(search.word, word.vector, perl = TRUE)
results <- NULL
for(i in 1 : length(span)) {
collocate.positions <- positions.of.matches + span[i]
collocates <- word.vector[collocate.positions]
results <- append(results, collocates)
}
results <- str_replace_all(string = results, pattern = search.word, replacement = "")
not.blank <- which(results != "")
results <- results[not.blank]

positions.of.matches.2 <- grep("_名詞", results, perl = TRUE) # 名詞
results.2 <- results[positions.of.matches.2]
results.3 <- str_replace_all(string = results.2, pattern = "_名詞", replacement = "") # "_名詞"の部分を削除

library(wordcloud)
wordcloud(results.3, min.freq = 1, colors = brewer.pal(8, "Dark2"))

####追記
エラーの原因はよくわかりませんが、扱うファイルが大きくなると問題が起きる傾向があるようなので RMeCab は使用せずに system() から シェルの mecab を使用して処理させる方法を試してみました。
中間ファイル word_POS.txt を生成してしまいますが、こちらの方法だとエラーは全く起きませんでした。60万語でも大丈夫でした。

library(stringr)
library(wordcloud)

system('mecab -b 32768 -F"%m_%f[0]\n" -E "" extrabig.txt > word_POS.txt')
word.vector <- scan("word_POS.txt", what = character(), sep = "\n")

# あとは全く同じ
search.word <- "^国民_名詞$" # 検索語を「単語_品詞」という形式で指定
span <- 5 # スパンの指定（ここでは、左右5語まで）
span <- (-span : span)

positions.of.matches <- grep(search.word, word.vector, perl = TRUE)
results <- NULL
for(i in 1 : length(span)) {
collocate.positions <- positions.of.matches + span[i]
collocates <- word.vector[collocate.positions]
results <- append(results, collocates)
}

results <- str_replace_all(string = results, pattern = search.word, replacement = "")
not.blank <- which(results != "")
results <- results[not.blank]

positions.of.matches.2 <- grep("_名詞", results, perl = TRUE) # ここでは名詞
results.2 <- results[positions.of.matches.2]
results.3 <- str_replace_all(string = results.2, pattern = "_名詞", replacement = "") # 品詞の情報（ここでは、"_名詞"の部分）を削除

wordcloud(results.3, min.freq = 1, colors = brewer.pal(8, "Dark2"))

Comments

[hacosato]

回答ありがとうございました！ やってみましたがだめでした…。軽いデータなら最後まで描画できますが、重いデータだとMeCabが動かなかったです…。昨日寝るときに思いついたんですけど、テキストファイルはそのまま、1行ずつ読み込むように書き換えたらいいかもしれないと思ったので、あとでやってみます〜！

[fiwa]

重いデータということですが、一体どれくらいの大きさなのでしょうか。

library(RMeCab)
RMeCabText.result <- RMeCabText(file.choose())
# ここでテキスト選択
str(RMeCabText.result)

で出力の最初に読み込まれたリストの数が出てくるかと思いますが、いくつくらいになりますか？

[hacosato]

いま重いデータだとRMeCabText動かなくなってしまったんですが、たしか30万ぐらいだったとおもいます。軽いデータで試してみたところ、lengthは23000でした！（こちらはうごきました！！）

[KojiDoi]

本当に「重い」のが原因なのかですね。たとえば入力データの15万行目に何か想定外なものが含まれている可能性は考えられませんか？

[fiwa]

ちょっと手許の環境で試してみましたが、回答内容のようにコードを変更した上で 10万、20万、30万のリストになるテキストで実行させてみたところ、10万＆20万では成功しますが、30万では
Value of SET_STRING_ELT() must be a 'CHARSXP' not a 'character'
とか
*** caught segfault ***
address 0x30, cause 'memory not mapped'
が出るようになりました。
30万の場合でも source() せずにコンソールから一行ずつ実行すると成功しています。
[R.app GUI 1.70 (7521) x86_64-apple-darwin15.6.0], R version 3.5.0 (2018-04-23)

そしてなぜか RStudio Desktop で実行するとすべての場合で同様のエラーが出ます。
segfault が出るようになったのでこのへんでやめておきます...

[hacosato]

KojiDoiさん
入力データの途中でおかしな行が、みたいなことは今回ありませんでしたが、そういう視点をすっかりわすれていました。勉強になります！
fiwaさん
わざわざ実験までしていただきありがとうございます。今回はトークンと品詞だけあればよかったので、RMeCabCを使うことにしました。

Answer 3

「単語の情報と品詞の情報を結合し、「単語_品詞」のベクトルを作成」の部分をsapplyではなくforループで書き直してみてはどうでしょうか。適当なエラー処理を仕込めば、問題がどこで発生したかを特定できそうな気がします。

Comments

[hacosato]

ありがとうございました！ 書き直してみたのですが今度はRMeCabが動かなくなってしまいました…（なぜ）。テキストファイルを分割してやってみます。また報告します！！