質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

解決済

青空文庫をルビ付きでスクレピングする

Flutter_kun
Flutter_kun

総合スコア20

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

1回答

0評価

0クリップ

326閲覧

投稿2022/07/21 04:30

編集2022/07/21 18:36

サンプル:https://www.aozora.gr.jp/cards/000329/files/18376_12100.html

質問

div main_textタグの中のコンテンツを<rb>などのタグ込みで取得したいと考えております

contentsメソッドでタグごと取得するところまではできたのですが、
リスト形式になっており、また不要な文字が混入しています。

for文でリストから取り出し、消そうとしたのですが、
タグは文字列で結合することができないみたいです。

理想の結果になるように出力したいのですが、
どうすればよいか教えていただけると助かります

※理想の出力結果は下に記載しております。

実現したいこと

  • 理想の出力結果になるような形で出力する。
  • ルビのタグ付きで取得する
  • '\r\n\u3000等、不要な改行コードなどを消す
  • txtファイルで出力する

試したこと

import requests from bs4 import BeautifulSoup import pandas as pd def get(url): //対象のページアクセスする url = url html_text = requests.get(url) soup = BeautifulSoup(html_text.content, 'html.parser') //タイトルと著者名を取得する title = soup.find('h1') author = soup.find('h2') //不要なタグを削除する soup.find('div',class_='jisage_5').decompose() //必要な情報を、タグごと取得 contents = soup.find('div', class_='main_text').contents return contents if __name__ == '__main__': str = get('https://www.aozora.gr.jp/cards/000329/files/18376_12100.html') print(str)

print(content)の結果

[<br/>, '\n', '\n', <br/>, '\r\n\u3000むかし、むかし、あるところに、おじいさんとおばあさんがありました。まいにち、おじいさんは山へしば', <ruby><rb>刈</rb><rp>(</rp><rt>か</rt><rp>)</rp></ruby>, 'りに、おばあさんは川へ', <ruby><rb>洗濯</rb><rp>(</rp><rt>せんたく</rt><rp>)</rp></ruby>, 'に行きました。', <br/>, '\r\n\u3000ある日、おばあさんが、川のそばで、せっせと', <ruby><rb>洗濯</rb><rp>(</rp><rt>せんたく</rt><rp>)</rp></ruby>, 'をしていますと、', <ruby><rb>川上</rb><rp>(</rp><rt>かわかみ</rt><rp>)</rp></ruby>, 'から、大きな', <ruby><rb>桃</rb><rp>(</rp><rt>もも</rt><rp>)</rp></ruby>, 'が一つ、', <br/>, '\n', <div class="jisage_4" style="margin-left: 4em"> 「ドンブラコッコ、スッコッコ。<br/> ドンブラコッコ、スッコッコ。」<br/>

_理想の出力結果

桃太郎 楠山正雄 むかし、むかし、あるところに、おじいさんとおばあさんがありました。まいにち、おじいさんは山へしば', <ruby><rb>刈</rb><rp>(</rp><rt>か</rt><rp>)</rp></ruby>, 'りに、おばあさんは川へ', <ruby><rb>洗濯</rb><rp>(</rp><rt>せんたく</rt><rp>)</rp></ruby>, 'に行きました。', <br/>, 3000ある日、おばあさんが、川のそばで、せっせと', <ruby><rb>洗濯</rb><rp>(</rp><rt>せんたく</rt><rp>)</rp></ruby>, 'をしていますと、', <ruby><rb>川上</rb><rp>(</rp><rt>かわかみ</rt><rp>)</rp></ruby>, 'から、大きな', <ruby><rb>桃</rb><rp>(</rp><rt>もも</rt><rp>)</rp></ruby>, 'が一つ、', <br/>, ' 「ドンブラコッコ、スッコッコ。<br/> ドンブラコッコ、スッコッコ。」<br/>

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

chirimen

2022/07/21 04:53

質問が書かれていないようです(何を質問したいのかがよくわかりません)。
Flutter_kun

2022/07/21 05:13

僕個人で利用するならいいのですが、使用する人が別なので できるだけシンプルに作りたいと考えております。 pysimpleGUIを使ってURLを入力すればtxtファイルが出力されるシステムになる予定です。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。