htmlから商品説明文を取り出したい

Question

いつもお世話になっております。
スクレイピングでの質問です。

下記のようにショップページから商品説明文を抜き出そうとしていますがエラーが出てしまいます。

テキスト文で試すとうまくいくのですが、htmlからはうまくいきません。

商品説明文は

<!--START-->説明文が入っている

サイズなど

<!--END-->

となっております。

うまく抜き出すにはどのようにすればよいのでしょうか？

よろしくおねがいします。

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import re

url2 ='http://militaryshop.jp/products/detail.php?product_id=6985'

headers = {
    'User-Agent':
    'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'
}

r = requests.get(url2, headers=headers)

if r.status_code == requests.codes.ok:
    soup = BeautifulSoup(r.content, 'html5lib')

print (soup.select('#syouhin_title'))#ID要素から抜き出し
mojii = soup.select('.main_comment')#class要素から抜き出し
pprint (moji)
moji = moji.split('<!--START-->')[1]
moji = moji.split('<!--END-->')[0]
print(moji)

エラー表示
`AttributeError
Traceback (most recent call last)
<ipython-input-21-239b9837faa6> in <module>
22 #moji = soup
23 pprint (moji)
---> 24 moji = moji.split('<!--START-->')[1]
25 moji = moji.split('<!--END-->')[0]
26 print(moji)

AttributeError: 'list' object has no attribute 'split'
`

Answer 1

KojiDoi さんの指摘の通り、はってあるコードだとまず soup.select の結果がmoji に格納されませんね。エラーはそのミスがない状態で出るもののようです。

その後 moji で split メソッドを呼び出そうとしていますが、split メソッドがあるのは str 型で、 moji は list (正確には bs4.element.Tag が入っている list)であるので、求める結果の為には別のやり方が必要です。

bs4.element.Tag 型は str 型にキャスト出来るようですので、以下の様なやり方がひとつ考えられます。
これを

moji = moji.split('<!--START-->')[1]
moji = moji.split('<!--END-->')[0]

このように。

moji = str(moji[0]).split('<!--START-->')[1]
moji = moji.split('<!--END-->')[0]

Comments

[HirokiTomimura]

yu81様

アドバイス有難うございます。
思うように動いてくれました！

どうもありがとうございました。
今後ともよろしくおねがいします。

'''
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import re

url2 ='http://militaryshop.jp/products/detail.php?product_id=6985'

headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'
}

r = requests.get(url2, headers=headers)

if r.status_code == requests.codes.ok:
soup = BeautifulSoup(r.content, 'html5lib')

print (soup.select('#syouhin_title'))#ID要素から抜き出し
moji = soup.select('.main_comment')#class要素から抜き出し

moji = str(moji[0]).split('<!--START-->')[1]
moji = moji.split('<!--END-->')[0]
print(moji)

'''

Answer 2

moji? mojii?

Comments

[HirokiTomimura]

あっ＾＾；
オートコンプリートのミスです。
ご指摘ありがとうございます。