スクレイピング

RSS
  • 解決済

    回答
    1

    SwiftでHTMLの要素を複数取得したい(iOS)

    前提・実現したいこと Swift(iOS)でHTML内の要素<p>タグを複数取得するソフトウェアを作っています。 JiやKannaなどのライブラリで実装中に以下の問題が発生しました。 発生している問題 JiやKannaでは最初の要素、例えば「<p>内容</p>」で「内容」は問題なく取得できるのですが、 「<p>内容</p><p>内容2</p><p>内

    • 0評価
    • 30PV
    BlackJack BlackJack 3時間前に ベストアンサー
  • 受付中

    回答
    1

    Youtubeのスクレイピング、xpathはどこを参照すれば良いでしょうか。

    前提・実現したいこと Rails、nokogiriを利用しyoutubeからのスクレイピングをしようと試みています。 本サイトで以前ご質問されていた方のソースコードを拝借し実装中ですが、動画の視聴回数が全て0で返ってきます。そこで、自分でchromeのディベロッパーツールを用いxpathを取得し、指定しているのですが、0すら返ってこなくなりました。他の要素

    • 0評価
    • 38PV
    kei344 kei344 21時間前に 回答
  • 解決済

    回答
    1

    スプレッドシートを用いてのIMPORTXML関数によるスクレイピングでエラーが出てしまいます。

    SUUMOの物件情報をスクレイピングして比較するようなツールを作りたいなと思っているのですが エラーが出てしまいます。 スクレイピング対象 https://suumo.jp/ikkodate/chiba/sc_yachiyo/nc_88278375/tokucho/ 価格: 1980万円〜2380万円という項目を抜き出したいときに ① Copy

    • 0評価
    • 35PV
    Itsukichi Itsukichi 22時間前に ベストアンサー
  • 解決済

    回答
    2

    [Python]XMLの解析について。指定した要素を取り出したい。

    [Python]XMLの解析について ニコ生のapiの結果がXML形式で取得でき、それの必要な要素を取り出したいです。 lxml.htmlやxml.etree.ElementTreeをimportし試してみましたがどれもエラーが出てしまい望む結果が得られませんでした。また、XMLを解析する方法ではなく、スクレイピングで該当する要素を取り出そうとしました

    • 0評価
    • 94PV
    umyu umyu 4日前に ベストアンサー
  • 解決済

    回答
    2

    pythonでexcelに新しい列を追加したい

    スクレイピングで取得した情報をexcel形式で書き出したいと考えています。 書き出し方としては、 日付1 空欄 日付2 空欄 日付3 要素 要素 要素 要素 要素 要素 要素 要素 要素 要素 要素 要素 と、日付+要素と空欄を交互に交えた形にしたいです。要素はリスト形式に出来ています。 pythonのex

    • 0評価
    • 62PV
    yuka-co yuka-co 5日前に ベストアンサー
  • 解決済

    回答
    2

    スクレイピングの時、入れ子の要素をうまく取得する方法

    スクレイピング初心者です。教えてください。 基礎的な本を読んで次のようなhtmlタグの中身を取得する方法は理解しました。 <a>15m</a>, <a>100kg</a> これは次のようにして2つの要素が取り出せました。 result=find_all("a") result[0].string result[1].string 実行結果-- 1

    • 0評価
    • 77PV
    saita saita 1週間前に コメント
  • 解決済

    回答
    1

    nokogiri利用時のcharset=nilについて(Ruby)

    こんにちは。 webスクレイピングの勉強をしています。 複数エントリーを眺めて勉強していますが、 Nokogiriで簡単なWebスクレイピング のページに気になるコメントがありました。 早い話、##########の部分を書き換え可能と言う話であります。 require 'open-uri' require 'nokogiri' u

    • 0評価
    • 55PV
    rik0 rik0 2週間前に ベストアンサー
  • 受付中

    回答
    1

    スクレイピングでURLを順番に書き出しがしたいです

    前提・実現したいこと python初心者です. スクレイピングをしたいのですが beautifulsoup4を使用し. strong部分だけを抽出したく,抽出はできたのですが URLの後ろ部分をno=1から1ずつ増やして順にファイルに書き出しをしたいです. 調べてはいるのですが全然わからず 質問させていただきました. 下の回答を受け,ここまで書きました

    • 0評価
    • 106PV
    ragna6k ragna6k 2週間前に 質問を編集
  • 解決済

    回答
    2

    python requestsで取得失敗時にエラーを無視する

    python requestsを用いてHTMLを取得しています。 しかし連続して取得する数が多く,取得失敗することがあります。ここで,エラーが出たら実行を停止するのではなく,エラーを無視して次のURLから取得するようにしたいと思います。 例;下記リストAの'9784062185363'で取得失敗したら次の'9784062175654'を取得し,プログラム

    • 0評価
    • 112PV
    Koh_ Koh_ 3週間前に コメント
  • 解決済

    回答
    3

    Unixコマンドsedの振る舞いがよくわからない

    実行結果がどのようにしてdeになるのか解らない echo abcdefgh | sed -E 's/.*(d.).*/\1/' de 特に.*がどういう振る舞いをしているのかよくわかりません。 メタ文字として .が任意の1文字にマッチする 例:a.c ⇨aac abc accなどにマッチ *が直前のパターンを0回以上繰り返す 例:ab*c

    • 0評価
    • 104PV
    otn otn 3週間前に ベストアンサー
  • 解決済

    回答
    2

    スクレイピングした文字列を数値として格納するコードのエラー

    前提・実現したいこと スクレイピングした文字列を数値として格納しようとしています。 例えば、表示では「1,280」(文字列)となっているものを「1280」(数値)、またカンマのない「520」(文字列)も[520」(数値)として格納したいです。 可能性としてスクレイピング先の価格表示が「1,280円」もしくは「¥520」のように前後に円や¥がついている可能性が

    • 0評価
    • 99PV
    harunouta harunouta 4週間前に コメント
  • 解決済

    回答
    1

    pythonでスクレイピングを

    前提・実現したいこと すみません…独学でpythonを少し書いている者です。 http://www.designmap.info/2016/12/05/python-17/ こちらのページを見ながら、スクレイピングのプログラムを書こうとしております。 御手本通りに書いているにも関わらず、下記のように出て困っています。 発生している問題・エラーメッセージ

    • 1評価
    • 90PV
    ryoryo01203 ryoryo01203 4週間前に コメント
  • 解決済

    回答
    1

    RSSをスクレイピングする際に表示される文字コードエラーについて

    前提・実現したいこと ターミナルからPythonコマンドを実行することで、RSSをスクレイピングを行おうとしています。 発生している問題・エラーメッセージ 以下がスクレイピング実行例です。 >>> import feedparser >>> rss = feedparser.parse("http://www.shoeisha.co.jp/rss/i

    • 0評価
    • 79PV
    poko_poko poko_poko 1ヶ月前に ベストアンサー
  • 解決済

    回答
    1

    python webスクレイピングの並列処理

    お世話になります。python 3 初心者です。 pythonを使って、株価やFXのレートをリアルタイムでwebスクレイピングしたいのですが、 いくつかのページのレスポンスが遅く、ちょっとずれたレートになってしまいます。 そこで、並列処理をしながら、 速く取れたデータは、レスポンスの遅いページのデータが取れるまで破棄して取り直す、といったことをしたいと考

    • 0評価
    • 91PV
    nakasan0910 nakasan0910 1ヶ月前に ベストアンサー
  • 解決済

    回答
    1

    pandasを利用して、全角文字が含まれるurlをスクレイピングしたい

    前提・実現したいこと pandasを利用して'http://立会外分売.jp/result/2017/' から表を取得しようとしたが、文字コードでエラーが発生して 実行できません。 文字コードが正常に変換できないことが原因と推測されるのですが、 どのように変換すればよいのかよくわかりません。 発生している問題・エラーメッセージ エラーメッセージ Tra

    • 0評価
    • 98PV
    Nikkei_225 Nikkei_225 1ヶ月前に コメント
  • 解決済

    回答
    2

    HTMLをダウロードするべきかどうか。

    プログラミング初心者です。 スクレイピング開始前に対象のHTMLを保存しようと思っています。 環境はPython + BeautifulSoup4です。 urlopen()でPython上に一時的に保存をするか、urlretrieve()でhtmlファイルごとパソコンにダウンロードするかで迷っています。 私はurlretrieve()を使ったほうが良いの

    • 0評価
    • 119PV
    mathing mathing 1ヶ月前に ベストアンサー
  • 解決済

    回答
    1

    Pythonの繰り返し文に関して(スクレイピング関連)

    SOUP.select("#id_name > ol > li > span")[0].get("カスタムデータ属性") 上記コードの[0]の場所を[1]や[2]と変えるとそれぞれ異なったデータを取得することができます。 print(SOUP.select("#id_name > ol > li > span")[0].get("カスタムデータ属性")

    • 0評価
    • 71PV
    mathing mathing 1ヶ月前に コメント
  • 解決済

    回答
    2

    スクレイピングのCSSについて。

    スクレイピングについて質問をさせてください。 Google ChromeでHTMLを検証したところ下記の情報を得ました。 <span class="AAA" data-x="BBB" data-y="CCC" data-z="DDD"> "AAA"というものがクラスなのは分かるのですが、他の"BBB"、"CCC"、"DDD"もクラスなのでしょうか?

    • 0評価
    • 61PV
    mathing mathing 1ヶ月前に コメント
  • 受付中

    回答
    2

    スクレイピングがうまく行きません

    株価情報を取得したい 日本経済新聞のサイトから株価を取得して数値だけ抜き出そうと思っているんですがなかなかうまく行きません どうしたら良いでしょうか プログラミング初心者なのでできたら分かりやすく教えていただけますか エラーメッセージ "C:\Program Files\Python36\python.exe" C:/Users/私のユーザー名/Pych

    • 0評価
    • 149PV
    hyugasatsuman5 hyugasatsuman5 1ヶ月前に コメント
  • 解決済

    回答
    2

    コロン(:)が構文エラーと表示される

    以下のエディタを実行したところ構文エラーとなりました > #!/usr/bin/env python3 > > # ライブラリの取り込み > import sys > import urllib.request as req > import urllib.parse as parse > > # コマンドライン引数を得る > if len(sys.

    • 0評価
    • 79PV
    umyu umyu 1ヶ月前に 回答を編集
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    40

  • 総質問数

    150

  • 今週の質問数

    5

関連するタグ

スクレイピングタグのよく見られている質問

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る