Q&A
記述の意味がわからない。取得したいのは、h2じゃなくてdiなのでは？
前提・実現したいこと
RのXPATHを用いてスクレイピングで特定の情報を取得したく思います。具体的に取得したい情報のイメージは以下の画像をご参照ください。
発生している問題・エラーメッセージ
画像の紺のh2のみ取得したいのですが、グレーのh2を取得することしかできません。
該当のソースコード
RStudio
1#SITEにスクレイピング対象のウェブサイトURLを格納し、htmlを読み込む。 2SITE = "https://www.abc.ac.jp/academic/" 3html = read_html(SITE) 4 5#XPATHでh2の情報スクレイピングで取得する。 6html %>% html_nodes(xpath='//*[@id="Content"]//h2/text()') %>% html_text() 7 8
試したこと
上記ソースコードの通り、h2自体を取得することはできたのですが、画像の点線枠内の紺のh2のような形でデータ取得ができませんでした。
補足情報
イメージとしては、A課に所属しているのは田中さん、藤原さん、辻さん、B課に所属しているのは飯田さん、角田さん、進藤さんの時、"A課" "A課" "A課" "B課" "B課" "B課"といった形で6つのデータ取得したいです。
di自体を取得すると、画像の例だと"di" "di" "di" "di" "di" "di" "di" "di"が取得できるのですが、"di"自体の取得ではなく、それぞれのdiに対応するタイトルを意味するh2をdiの数だけ取得したいと考えています。
そのため、取得するもののイメージは"h2" "h2" "h2" "h2" "h2" "h2" "h2" "h2"となります。
diは人物名、h2は所属部署名として、diの人物名ごとの所属部署名のみdiの人数分所得したいと考えて頂けると良いかもしれません。
回答3件
0
ベストアンサー
そういう要求なら、まず取り出すべきは、clタグ以下の全てを含むテキスト、をclタグごとに一つの要素としてリストではないでしょうか。そのようなxpathを組んで、得られたリストの要素ごとにh2とdiを抽出していけば話は簡単そうです。
ただ、R言語はいろいろなことを苦手としています。というか統計処理とグラフ作成以外の全てを苦手としている言語といっても過言ではありません。
文字列処理は最たるもので、処理速度は遅いし、何でもベクトルにしてしまうRの仕様が却って回りくどくて分かりにくいし、いいところは一つもありません。
xpathをご存知なら、Rの外でxpathを使って必要な部分の抜出とシンプルな形式のテキストファイル化までを行い、これをファイルを介してRに読み込むのが現実的だと思います。
投稿2021/02/28 07:19
総合スコア13692
ご助言いただきありがとうございます。Rは色々と不便なのですね・・大変参考になります。
Rで処理が難しいところはPythonで対応できるようになりたいと考えています。
0
ご助言を参考にしつつ、試行錯誤し、一発で取得できる方法はありませんでしたが、以下でベクトル形式で取得できました。
①各cl下にあるdiの数を目視で数える
②rep関数で各cl下のh2をdiの回数分取得する
③②をlist関数でリストにする
④③のリストをc関数を用いてベクトルに変換する
投稿2021/02/28 13:15
総合スコア3
あなたの回答
tips
プレビュー
