常連

### 実現したいこと

seleniumを使って、beautifulsoupでサイト内の<tr>要素を抽出・テキスト表示するまではできています。
抽出した要素は例として下記のようになっています。

〇〇〇〇〇
△△△△△
◇◇◇◇◇
◆◆◆◆◆

これを今度は縦に抽出したものを表示したいです。図で表すと
〇
△
◇
◆
このように縦の列で抽出したいです。
最終的には、列ごとに番号を振って

①②③④⑤
〇〇〇〇〇
△△△△△
◇◇◇◇◇
◆◆◆◆◆

その番号に指定した列だけを抽出・表示できるようにしたいです。

### 発生している問題・エラーメッセージ

今のコードでは<tr>内にある<td>はすべて抽出できているので、さらに条件を付けたいのですが
どのように定義したらいいのかが思いつきません…画像のようなコードから抽出してます。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-09-30/5150aa78-ca92-4ad0-8b68-3baddc4bbebe.jpeg)

### 該当のソースコード

import chromedriver_binary
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def detect_updates():
    opts = Options()
    opts.headless = True
    driver = webdriver.Chrome(options=opts)

    load_url = 'https://sampledesu.net
    driver.get(load_url)

    html = driver.page_source.encode('utf-8')
    soup = BeautifulSoup(html, 'html.parser')
    
    tr_elements = soup.select('tr')
    
    for i, tr in enumerate(tr_elements):
        td_elements = tr.find_all(['td', 'th'])
        tr_text = ''.join(td.get_text(strip=True) for td in td_elements if td.name == 'td')
    
        if tr_text:
            if '◎' in tr_text or '■' in tr_text:
                found_change = True
            else:
                print(tr_text)
            
if __name__ == "__main__":
    detect_updates()

### 補足情報（FW/ツールのバージョンなど）

OS:windows11Home
メモリ:32.0
jupyterlab:4.0.5
selenium:4.12.0

ここにより詳細な情報を記載してください。


beautifulsoupで抽出した要素をさらに条件付けしたい

### 実現したいこと
- [1] webスクレイピングで目的の画像のみ取得したい

### 前提
　プログラミング初心者，python3を使用しています．
　現在，webスクレイピングで画像ファイルをダウンロードするプログラミングを書いていますが，目的以外の画像を取得しないようにする方法が知りたいです．

　「イラストや」の様々な日本刀のイラストページに対して，下記コードを実行すると，バナーやサムネイルなどの画像も含んですべて取得してしまいます．
　そこで，日本刀イラスト群のみ(「'div'，class_='entry'」内にあるimgタブのsrc)を抜き出す方法を考えています．
　① soup.find_all('div',class_='entry').find_all('img')
　② soup.find_all('div',class_='entry', 'img')
　③ soup_1=soup.find_all('div',class_='entry')としたあとに，soup_1.find_all('img')とするように，2段階処理を挟むのか(この方法だと最初のメソッドによりリスト化しているのでうまく行かないと思いますが)，悩んでいます．
　もっと簡単に処理できる方法があるならばお教えいただきたいです．よろしくお願いいたします．

### 該当のソースコード

```python312
url='https://www.irasutoya.com/2017/01/blog-post_417.html'
file_dir="C:\\Users\\ユーザー名\\Desktop\\ファイル名"

import time
import os
import requests
from bs4 import BeautifulSoup

def dl_files(url,file_dir):
    res=requests.get(url)
    try:
        res_st= res.raise_for_status()
    except Exception as exc:
        print('Error:{}'.format(exc))
        
    if res_st == None:
        soup= BeautifulSoup(res.text.encode(res.encoding),'html.parser')
###################目的のimgタグはdiv class='entry'の階層内にある
        img_tag= soup.find_all('img')
###################
        for i_t in img_tag:
            img_url= i_t['src']
            if img_url.startswith('http'):
                res_img= requests.get(img_url)
                with open(os.path.join(file_dir,os.path.basename(img_url)),'wb') as f:
                    f.write(res_img.content)
                time.sleep(1)

# dl_files(url,file_dir)を実行する
```

### 試したこと
　google検索をして，find_allの各引数を調べましたが，タグ名(name引数)を2つ設定できるかどうかはよくわかりませんでした．英語検索などはできていません．
　上記のプログラミング自体は一部投稿用に変更していますが，問題なく動作することを確認しています．

[python3] beautifulsoup4で特定タブのみのimgタブurlを抜き出したい

### 実現したいこと

Pythonでhtml内のテーブル（テキスト部分）を、Excelの内容をもとに書き換える

### 前提

Pythonでhtmlのテーブル内テキスト部分を書き換えるプログラムを作っています。
（具体的にはテーブルは料金表で、既存の価格から新価格へ書き換えるために作成しています。）

openpyxlでExcelを読み込み、A列に記入されている値たち（以下、「書き換えデータ」と記載）をlistに追加。それをpop(0)で取り出してhtml内のテーブルのテキストを書き換えています。
html内の書き換え先検索にはBeautifulSoup4を使用しています。

**処理自体はエラー等は出ず、一見問題なく書き換えできているように見えるのですが、正しく置き換えができていない箇所が複数あります。**

※実際はExcelは複数シート存在し、各シートに対応するhtmlファイルがシート数分存在しています。

### 実行環境
- Mac(Monterey)
- Python3

### 質問内容

- 意図しない置き換えがされる原因と解決策が知りたいです。正しく置き換えができている箇所も多数あり、意図しない置き換えが発生する箇所の原因や法則性もわからず困っています。（ただし再現性はあります。）


### 発生している問題

処理自体はエラー等は出ず、一見問題なく書き換えできているように見えるのですが、正しく置き換えができていない箇所が複数あります。

書き換えが正しくできていない箇所は以下の３つのうちどれかしらに当てはまっています。
（３つ全てが同じ原因で起きているのかは現状わかりません。）

また、試したことの項目で記載していますが、Pythonコードの47行目のreplaceの処理で意図しない値に置き換わっていることまではわかっています。

**① 書き換えデータのリストで後ろに格納されている値が、想定より前の箇所で書き換えられる。**

ex)以下のテーブルを書き換えデータで書き換えたい
    <td> a </td>
    <td> b </td>
    <td> c </td>
    <td> d </td>

書き換えデータ[e, f, g, h ]

○処理結果○
    <td> e </td>
    <td> h </td> //fで置き換えたいところ、hで置き換えられてしまう
    <td> g </td>
    <td> h </td>

**② 書き換え後の値の一部が、2進数表記の下3桁に変換される。**
今のところ4桁の値では起きたことがなく、5桁の場合のみ発生する。
ただし全ての5桁の値がこのように置き換えられるわけではなく、一部の値のみ発生する。

ex)
|書き換えたい値|実際の書き換え結果|
|:---:|:---:|
|23,920|111,920|
|22,070|110,070|

**③ 書き換え後の値の一部が想定とは異なる値に書き換えられる（書き換えデータのリストには存在しない値）**
具体的には下3桁目以降が想定より±2 or ±3ずれる。

ex)
|書き換えたい値|実際の書き換え結果|
|:---:|:---:|
|**20**,230|**18**,230|

### 該当のソースコード

```Python
from bs4 import BeautifulSoup
import openpyxl
import glob
import os
import shutil
import tkinter
import tkinter.filedialog
from natsort import natsorted

def replace_a_tag_text(html_file, new_file , ws , column_index):

    # 最終行を取得する
    maxRow = ws.max_row + 1
    maxClm = ws.max_column + 1

    #行を逆ループ
    for j in range(1,maxClm):
        # 列の指定
        if j == column_index:
            for i in reversed(range(1,maxRow)):
                if ws.cell(row=i, column=j).value != None:
                    last_row = i
                    break
    
    # リストを初期化
    data = []

    # 1行ずつ読み取る
    for row in range(1, last_row + 1):
        # 指定した列の値を取得する
        value = ws.cell(row, column_index).value
        # リストに追加する
        data.append(value)

    # htmlファイルを読み込み
    with open(html_file, "r",encoding='UTF-8') as f  , open(new_file, "w") as nf:

        rep_html = f.read()
        soup = BeautifulSoup(rep_html, 'html.parser')

        #書き換え候補を探し、置き換える
        for a_tags in soup.tbody.select('tr a'):
            a_tags_text = a_tags.get_text(strip=True)
            # 書き替えるテキストを取得する
            replace_text = data.pop(0)
            # 書き替えを実行
            rep_html = rep_html.replace(a_tags_text,str(replace_text))

        nf.write(rep_html)    


if __name__ == "__main__":

    column_index = 1

    #書き換えの時に参照したいエクセルを選択させる★GUI
    idir = '/Users/XXXXXX/Desktop/kakikae_test'
    excel_file = tkinter.filedialog.askopenfilename(
        initialdir = idir,
        title = "参照したいExcelを選択")

    #処理したいフォルダを選択させる★GUI
    html_folder = tkinter.filedialog.askdirectory(
        initialdir = idir,
        title = "書き換えたいhtmlファイルを含むフォルダを選択")
    
    # 処理したいディレクトリに移動
    os.chdir(html_folder)

    #書き換え先のnewフォルダを作る
    os.mkdir('./new')

    # フォルダ内の全てのHTMLファイルを読み込む
    html_files = natsorted(glob.glob('*.html')) 

    #シート数=HTMLファイル数を管理するためのカウント番号をリセット
    cnt = 0

    # Excelファイルを読み込む
    wb = openpyxl.load_workbook(excel_file)
    
    # シートごとの処理
    for ws in wb.worksheets:
        print("シート名:" + str(ws))
        
        #書き換え元のhtmlを設定
        html_file = html_files[cnt]

        # 書き換えた後のhtmlファイルを設定(元のhtmlファイルをnewフォルダ内にコピー)
        new_file = shutil.copy2( html_file , './new')

        # データを書き替える
        replace_a_tag_text(html_file, new_file , ws , column_index)

        #htmlファイルのカウントを進める
        cnt = cnt + 1
    
    wb.close()
```

```html
・
・
・
# テーブル内の値は適当です
<tbody>
  <tr>
    <th class="title">tableA</th>
    <td><a href="XXXXXXX"> 3,580 </a></td>
    <td><a href="XXXXXXX"> 2,480 </a></td>
    <td><a href="XXXXXXX"> 2,250 </a></td>
    <td><a href="XXXXXXX"> 2,020 </a></td>
  </tr>
  <tr>
    <th class="title">tableB</th>
    <td><a href="XXXXXXX"> 4,570 </a></td>
    <td><a href="XXXXXXX"> 4,210 </a></td>
    <td><a href="XXXXXXX"> 3,850 </a></td>
    <td><a href="XXXXXXX"> 3,500 </a></td>
  </tr>
  <tr>
    <th class="title">tableC</th>
    <td><a href="XXXXXXX"> 4,570 </a></td>
    <td><a href="XXXXXXX"> 4,210 </a></td>
    <td><a href="XXXXXXX"> 3,850 </a></td>
    <td><a href="XXXXXXX"> 3,500 </a></td>
  </tr>
  <tr>
    <th class="title">tableD</th>
    <td><a href="XXXXXXX"> 4,570 </a></td>
    <td><a href="XXXXXXX"> 4,210 </a></td>
    ・
    ・
    ・
</tbody>
・
・
・
```

### 試したこと

- 書き換え実行（rep_html=~~）の直前で、 a_tags_text、replace_textをprint()で出力
→問題なく想定通りExcelの書き換えデータの値がそのまま出力されていることを確認しました。

- 書き換え実行（rep_html=~~）とhtml書き出し（nf.write(rep_html)）の間でrep_htmlを出力
→発生している問題の項目で記載した、想定しない置き換えがされたhtmlが出力されることを確認しました。

- htmlファイルのopenの際に指定したencodingが悪さしているのかと思い、付けたり外したりしてみるものの処理結果に変化ありませんでした。


[追記]
Excelのシート数分だけhtmlファイルを書き換えたところ、意図しない置き換えがされている箇所や個数はまちまちでした。

---
質問内容は以上となります。
回答のために不足している情報がありましたら追記致します。

Pythonでこういったプログラムを作成するのは初めてで、プログラム自体変な書き方をしているかもしれません；
問題についても色々と調べてみたものの、1週間以上原因・解決に辿り着けないため、お力をお貸しいただけますと幸いです。よろしくお願いいたします。




【Python】htmlのテーブル書き換えで意図しない値に置き換わる

こちらのリンクhttps://zatsugaku-engineer.com/python/scraping/
のプログラムをコピペして試したのですが、
FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead.
というエラーが出てしまったのでどう書けば良いのか困惑しています。

list_df = list_df.append(tmp_se)
を
pd.concat([tmp_se,list_df])
に書き換えてデバッグを実行したら何も反応が無くなりました。
どのように書いたら良いのでしょうか、よろしくお願いします。


```python
import pandas as pd
  #取得した歌詞を表に追加
            tmp_se = pd.DataFrame([[song_name], [release_date], [impressions], [song_lyric]], index=list_df.columns).T
            list_df = list_df.append(tmp_se)

```

pandasのframe.appendの代わりにpandas.concatを使うには

### 実現したいこと

・スクレイピング可能なサイトの見分け方について教えて頂きたいです。

### 前提

利用規約などを見てスクレイピングが可能なサイトか、否か、見分けているのですが、初心者なので本当にスクレイピングしていいサイトなのか不安です。



### 試したこと
調べて、robots.txtを使い、そのサイトのスクレイピング可能か否か判断する。という記事を見ました。
例えば、アマゾンのサイトURL＋robots.txtをやってみると、「許可しない」という文字がいっぱい出てきて禁止サイトなのだと判断しました。

ですが、サイトURL+robots.txtで検索してもページが見つかりません。という表示だけでなにも出てこないサイトがあります。
例えば、国土交通省とかでやってみると、うまく表示ができませんでした。
国土交通省の利用規約を見ると、スクレイピングをしても良いみたいな文面は書いてあり、おそらく可能なサイトだとは思うのですが、利用規約を見る以外で、可能か禁止か確認する方法を教えて頂きたいです。
ここに問題に対して試したことを記載してください。

### 補足情報

スクレイピング可能なサイト、禁止のサイト、皆さんはどのように確認をしているのでしょうか？
是非、ご教授いただきたいです。


スクレイピングが可能なサイトの見分け方について

### 実現したいこと
PythonでYahooニュースのリプライの表示

### 前提

現在、PythonにてYahooニュースのリプライの表示を試みています。
コメントは表示できますが、リプライの表示のみができません。
エラーが出ると言うより、データの読込ができていないと思われる状況です。

二つのデータの差はわからないです。
指定のclassを色々変更してみましたが、うまくいきません。

どなたか原因の目星がつく方はいますでしょうか？
よろしくお願いします。


※間違って質問を消去してしまったため、再掲となります

### 発生している問題・エラーメッセージ

======= RESTART: C:\Users\○○○\Desktop\xxxxx\xxxxxxxxxx\ファイル名.py =======
（うまくいけばここにメッセージが出てくるはずだが何も出てこない）

### 該当のソースコード

```Python
import requests#ライブラリ　requestsをインポート
from bs4 import BeautifulSoup

url="https://news.yahoo.co.jp/articles/ca647186283eb79e2369e3f39a6418a2b2b212ac/comments"#任意のURLを入力
html=requests.get(url)#URLを取得

soup=BeautifulSoup(html.content,"html.parser")#htmlの解析


comment=soup.find(id="contentsWrap")

for element in comment.find_all(class_="Reply__Wrapper-kFYRQl bllLUu"):
  print("リプライ：",element.text,"\n")


```

### 試したこと

スペルミスの確認
classの変更

### 補足情報（FW/ツールのバージョンなど）

IDLE Shell 3.11.5
Windows 11


PythonでYahooニュースのリプライの表示

### 実現したいこと

htmlから特定の文字列（race_id）の取得


### 前提

### 発生している問題・エラーメッセージ
"https://race.netkeiba.com/top/race_list.html?kaisai_date=20231007"
から東京で行われた12回のレースのレースidを取得したいです。htmlでは<dd class="RaceList_Data">にあるのですが、取得できません。アドバイスよろしくお願いします。
```
エラーは出ていません
```

### 該当のソースコード

```python
import requests
from bs4 import BeautifulSoup
import re

url = "https://race.netkeiba.com/top/race_list.html?kaisai_date=20231007"
res = requests.get(url)
soup = BeautifulSoup(res.content, 'html.parser')

links = [u.get('href') for u in soup.find_all('a')]

IDs = [re.search(r'\d{12}', str(link)) for link in links if re.search(r'\d{12}', str(link)) != None]
IDs
```

### 試したこと
ssoup=str(soup)
re.findall(r'\d{12}', ssoup)
soupをstr型にしてHTMLの文字列から12桁の数字を探したが存在しなかった。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。


HTMLから特定の文字列の取得

### 実現したいこと
スクレイピングで画像/動画作品を収集する際、各Webページにアクセスした時に、作品が表示される場合は取得し、表示されない場合は取得しないようにしたい（私の１つ前の質問とは内容が異なります）。

### 前提

閲覧頂きありがとうございます。
現在、danbooruというイラスト投稿サイトにおいて、特定のタグが付与されている作品を収集するソースコードを作っています。

下部に掲示しているソースコードの仕組みについて説明します。
まず以下のページのhtmlをrequestしたあとに作品を収集します。
https://danbooru.donmai.us/posts/6632499?q=jolteon
その後、nextクラスにある次のページのhtmlをrequestして作品を収集します。
https://danbooru.donmai.us/posts/6619855?q=jolteon
そしてまたnextクラスにある次のページのURLをrequestして作品を収集するというのを繰り返してスクレイピングを行います。

そして、danbooruの特徴として、擬人化（？）である一部の作品は、左上にある「Disable all」を押さないと表示されないようになっています。２つ目のURLの次のページは下記のURLであり、表示されない作品ページに該当いたします。
https://danbooru.donmai.us/posts/6619346?q=jolteon 

その上で私のやりたいことは、3つ目のURLにあるような、擬人化されているため表示を制限されており「Disable all」を押さないといけない作品は収集しないように設定することです。現状のソースコードでは、表示を制限されている作品であろうとなかろうと収集してしまいます。

上記のことを実現するためのお力添えをいただきたいです。よろしくお願い致します。

```

### 該当のソースコード


import requests
from bs4 import BeautifulSoup
import os
import time

output_dir = "danbooru_img/jolteon"
end_times = 10000
url = "https://danbooru.donmai.us/posts/6632499?q=jolteon"

for page in range(end_times):
    response = requests.get(url)

    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    soup = BeautifulSoup(response.text, "html.parser")

    try:
        source = soup.find("img", id="image").get("src") 
    except AttributeError:   # 作品が画像ではなく動画である場合はエラーが発生するのでこちらを実行
        source = soup.find("video").get("src")
    
    img = requests.get(source)

    with open(f"{output_dir}/{source.split('/')[-1]}", 'wb') as f:
        f.write(img.content)

    time.sleep(1)

    next = soup.find("a", class_="next").get("href")
    url = f"https://danbooru.donmai.us/{next}"   #次のページのURLを作成
```

### 試したこと
調べてみた結果、Seleniumを使うと実現できるのではないかと思いました。ですが、その場合は動作が遅くなるデメリットがあるためできるだけ使用したくありません。

加えて、開発者ツールを除いてみると、擬人化の作品ページには下の写真のような黄色で示してある部分がありました。ですがその部分はrenposeで解析したhtmlにはなかったため、find等で認識ができないという状態です。

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-09-25/bbc019da-97d7-4e3e-87e9-27591c6fa6aa.png)

### 補足情報（FW/ツールのバージョンなど）
Python==3.11.5
requests==2.31.0
beautifulsoup4==4.12.2



Beautiful Soup