Beautiful Soupを使って特定の要素を抜き出したい

Question

前提・実現したいこと

外務省のホームページから、当該国の「経済概況」に関する記述のテキストデータを抜き出したいと考えています。
現在参照しているのは韓国のページ（２０１１）です。

試したこと

Requestを使いhtmlを取得したのち、基礎データの部分のみ抜き出すことができました。

res = requests.get("http://warp.ndl.go.jp/info:ndljp/pid/1712311/www.mofa.go.jp/mofaj/area/korea/data.html")
exa = BeautifulSoup(res.text, "lxml")
exadata =  exa.find("div", id="data")
print(exadata)

<div id="data">
<h3>一般事情</h3>
<h4>1.面積</h4>
<p>約10万33平方キロメートル（朝鮮半島全体の45％、日本の約4分の1）</p>
<h4>2.人口</h4>
<p>約4,887万人（2010年現在）</p>
<h4>3.首都</h4>
<p>ソウル</p>
<h4>4.民族</h4>
<p>韓民族</p>
<h4>5.言語</h4>
<p>韓国語</p>
<h4>6.宗教</h4>
<p>仏教：25％、プロテスタント：20％、カトリック：7.4％、その他<br/>
社会・文化に儒教の影響を色濃く受ける。</p>
<h4>7.略史</h4>
<p>3世紀終わり頃に氏族国家成立<br/>
三国時代（高句麗、百済、新羅）（4世紀頃〜668年）<br/>
統一新羅（676年〜935年）<br/>
高麗（918年〜1392年）<br/>
朝鮮（1392年〜1910年）<br/>
日本による統治（1910年〜1945年）を経て、第2次大戦後、北緯38度以南は米軍支配下に置かれる。1948年大韓民国成立。同時に朝鮮半島北部に北朝鮮（朝鮮民主主義人民共和国）が成立。</p>
<h3>政治体制・内政</h3>
<h4>1.政体</h4>
<p>民主共和国</p>
<h4>2.元首</h4>
<p><a href="/info:ndljp/pid/1712311/www.mofa.go.jp/mofaj/area/korea/cv/r_lee_mb.html">李明博（イ・ミョンバク）大統領</a></p>
<h4>3.議会</h4>
<p>一院制　299議席　議長：<img align="absmiddle" alt="" border="0" height="18" src="/info:ndljp/pid/1712311/www.mofa.go.jp/mofaj/area/korea/image/kimh.gif" width="47"/>（キム・ヒョンオ）</p>
<h4>4.主要閣僚</h4>
<p>国務総理：鄭雲燦（チョン・ウンチャン）<br/>
企画財政部長官：尹増鉉（ユン・ジュンヒョン）<br/>
外交通商部長官：柳明桓（ユ・ミョンファン）<br/>
統一部長官：玄仁澤（ヒョン・インテク）<br/>
国防部長官：金泰栄（キム・テヨン）<br/>
知識経済部：崔�煥（チェ・ギョンファン）</p>
<h4>5.内政</h4>
<p>　2008年4月9日に第18代国会議員総選挙の投開票が行われ、与党ハンナラ党が153議席を獲得し、全体議席（299議席）の過半数を占める国会第1党となった。2009年には、2度の補欠選挙が行われたが、ハンナラ党は安定多数（168議席以上）を維持している。</p>
<table>
<caption class="leftalign">議席数</caption>
<thead>
<tr>
<th scope="col" width="70%">政党名</th>
<th scope="col" width="30%">議席数</th>
</tr>
</thead>
<tbody>
<tr>
<td>ハンナラ党（与党）</td>
<td class="centeralign">169</td>
</tr>
<tr>
<td>民主党</td>
<td class="centeralign">86</td>
</tr>
<tr>
<td>自由先進党</td>
<td class="centeralign">17</td>
</tr>
<tr>
<td>未来希望連帯</td>
<td class="centeralign">5</td>
</tr>
<tr>
<td>民主労働党</td>
<td class="centeralign">5</td>
</tr>
<tr>
<td>創造韓国党</td>
<td class="centeralign">2</td>
</tr>
<tr>
<td>その他・空席</td>
<td class="centeralign">15</td>
</tr>
<tr>
<td class="rightalign">計</td>
<td class="centeralign">299議席</td>
</tr>
</tbody>
</table>
<h3>外交・国防</h3>
<h4>1.外交</h4>
<p>（1）李明博大統領は、「グローバル・コリア」のスローガンを掲げ、2008年2月の就任演説において、より広い視野、より能動的な姿勢で国際社会と共に歩み、交流するグローバル外交を展開するとの抱負を述べた。</p>
<p>（2）李明博大統領は、米国との伝統的友好関係を未来志向的同盟関係に発展・強化することを掲げるとともに、アジア諸国との連携、特に、日本、中国、ロシア等との協力関係を強化し、東アジアの平和と繁栄を模索すると主張している。2008年にはこれら4か国（韓国内ではこの4か国を「4強」と呼んでいる）すべてを訪れ、首脳会談を行った。</p>
<p>
（3）2009年3月に東南アジア歴訪の際に「新アジア外交」構想を打ち出し、同年6月には済州島で韓ASEAN首脳会議を開催するなどアジア重視の外交を展開。2010年の新年演説では、すべての国と全方位外交を行い、新アジア外交をより確かなものにし、今年は特にアフリカ外交を強化するとしている。</p>
<p>（4）李明博大統領は、資源とエネルギーの安定的確保に努力し、平和と環境のための国際協力や国際社会への貢献についてもODAの増額やPKO参加拡大など、積極的に取り組むことを掲げている。</p>
<h4>2.軍事力（2010年ミリタリーバランス及び国防部報道資料）</h4>
<p>（1）韓国軍　</p>
<div class="indent01">
<p>（イ）予算　28兆5,330億ウォン（259億ドル）</p>
<p>（ロ）兵役　義務兵役制（24〜27ヶ月）</p>
<p>（ハ）兵力　陸軍56万、海軍6.8万、空軍6.4万</p>
</div>
<p>（2）在韓米軍</p>
<p>　米国は、1992年以降、約3万7000人の兵力を朝鮮半島に維持してきたが、2004年の米韓間の合意により、在韓米軍兵力1万2500人を、2008年までに3段階に分けて削減する予定であったが、2008年4月の米韓首脳会談において、2万8,500人である現在の水準に維持することで合意。</p>
<p>　また、漢江以北に駐留する第2歩兵師団等の在韓米軍を東豆川（トンドゥチョン）と議政府（ウィジョンブ）に集約した後、それらを烏山（ウサン）・平沢（ピョンテク）地域と、釜山・大邱（テグ）地域に移転する予定。</p>
<h3>南北関係</h3>
<p class="h4">（1）2000年6月、史上初の南北首脳会談が開催され南北共同宣言が採択されて以降、南北間の対話と交流は活発化していった。2003年2月に発足した盧武鉉大統領も、南北間の経済協力を通じて朝鮮半島の繁栄を図ろうとする「平和繁栄政策」を掲げ、積極的に南北関係を発展させる政策を実施し、2007年10月には二度目の南北首脳会談が開催され、南北間で経済協力の更なる拡大等に合意した。</p>
<p class="h4">（2）2008年2月に就任した李明博大統領は、北朝鮮に対し核の放棄を強く求め国際社会との協調を重視する「相互共栄政策」を掲げたが、北朝鮮は韓国の姿勢に反発し、同年12月には南北間の陸路交通を遮断する措置を講じるなど、強硬な姿勢を打ち出した。</p>
<p class="h4">
（3）2009年8月、開城工団等の開発事業等を手がける現代グループの玄貞恩（ヒョン・ジョンウン）会長が訪朝し、金正日国防委員長と会談した。また、金大中元大統領逝去の際には、北朝鮮から弔問団が訪韓し、李明博大統領と会談した。その後、韓国は対北朝鮮人道支援（トウモロコシ1万トン等）を行う旨発表し、南北間では各種協議も開催されたが、他方で、同年11月には黄海で南北間の銃撃戦が行われるなど緊張も続いている。</p>
<h3>経済</h3>
<h4>1.主要産業</h4>
<p>電気・電子機器、機械類、自動車、造船、鉄鋼、石油化学</p>
<h4>2.名目GDP</h4>
<p>9,291億ドル（2008年）</p>
<h4>3.一人当たりGNI</h4>
<p>17,175ドル（2009年）</p>
<h4>4.経済成長率</h4>
<p>0.2％（2009年）</p>
<h4>5.失業率</h4>
<p>3.6％（2009年）（ただし、15歳〜29歳のいわゆる青年層の失業率は8.1％）</p>
<h4>6.総貿易額</h4>
<p>輸出：3,635億ドル（2009年）<br/>
輸入：3,231億ドル（2009年）</p>
<h4>7.主要貿易品目</h4>
<p>輸出：機械類、電気電子製品、化学工業製品、鉱産物、鉄鋼金属製品<br/>輸入：鉱産物、電気電子製品、鉄鋼金属製品、機械類、化学工業製品</p>
<h4>8.主要貿易相手</h4>
<p>輸出：中国、米国、日本、香港、シンガポール<br/>
輸入：中国、日本、米国、サウジアラビア、オーストラリア</p>
<h4>9.通貨</h4>
<p>ウォン</p>
<h4>10.為替レート（2010年3月末）</h4>
<p>1ドル＝1,130.8ウォン<br/>
  100円＝1,217.68ウォン</p>
<h4>11.経済概況</h4>
<p>（1）2009年の韓国経済は、2008年秋以降の世界金融危機の影響を受け、各種経済指標が悪化したが、景気刺激策等の効果等により、景気は回復しつつある。</p>
<p>（2）外需に大きく依存する経済構造。2009年の最大の貿易相手国は中国で、第2位は日本、第3位は米国。2009年経常収支は426.7億ドルの黒字（過去最高）であり、また、対日貿易は慢性的に赤字（2009年は約276億ドル）。</p>
<h3>二国間関係</h3>
<h4>1.政治関係</h4>
<p>（1）日韓両国は、自由と民主主義、市場経済、基本的人権等の基本的価値を共有する重要な隣国である。</p>
<p>（2）近年、両国の関係は、一層の深みと広がりを見せており、将来に向けて一層強固な友好協力関係を発展させることが、日韓両国のみならず、北東アジア地域の平和と繁栄にとって極めて重要である。</p>
<p>（3）2009年10月9日、鳩山総理が韓国を訪問し、日韓首脳会談が行われた。この会談で両首脳は、日韓関係は最も重要な隣国関係であり、今後、両首脳間で「シャトル首脳外交」を実施し、また、首脳・閣僚間の会談を頻繁に行い、日韓関係を更に強化していくこと、また、未来志向の関係を構築していくために様々な分野で緊密に協力していくことで一致した。
</p>
<h4>2.経済関係</h4>
<p>（1）日韓経済関係の強化の流れは継続。韓国側統計では、貿易総額で日本は中国に次ぐ第2位の貿易相手国。日本側統計では、2008年世界金融危機の影響等による円高・ウォン安等の影響で二国間の貿易総額は対前年比30.0%減の約6.46兆円。
</p>
<p>
（2）日韓の産業構造は似通っており(電子・電気機器、自動車、鉄鋼、船舶等)、産業内貿易が多くを占める。
</p>
<p>
（3）韓国は半導体、平面ディスプレイ等の主力輸出品を生産するための中間財(部品、素材)と資本財(製造設備)を日本に依存しており、慢性的な対日赤字で、2009年は2.36兆円(財務省貿易統計:韓国側統計によると約277億ドル)。背景には、韓国の好調な対世界輸出による日本からの中間財の輸入増加、対日輸出の伸び悩み、日本からの消費財の輸入増加等がある。
</p>
<p>
（4）日韓EPA締結交渉は、2004年11月の第6回会合以降中断。2008年4月の首脳会談での合意を受け、6月25日及び12月4日に交渉再開に向けた検討及び環境醸成のための実務協議を開催。2009年2月の外相会談で首席代表レベルを審議官級に上げることで一致し、7月及び12月に審議官級の実務協議を開催した。
</p>
<h4>3.交流</h4>
<p>（1）日韓間では、経済、文化、芸術・スポーツ等、幅広い分野で交流が進展。</p>
<p>（2）日韓間の人の往来は、約464万人（2009年）。</p>
<p>（3）日本の29空港から韓国の3空港に直行定期便が運航。この他、2003年11月より羽田-金浦間でチャーター便の運航を開始（現在1日各8便）。</p>
<p>（4）姉妹都市提携数は、129組。</p>
<p>（5）2007年1月の東アジア首脳会議で安倍総理が発表した「21世紀東アジア青少年大交流計画」により、2007年から5年間、韓国から毎年1,000人程度の青少年を招聘中（2009年度末までに、約4,000人の青少年が訪日）。</p>
<h4>4.在留邦人数</h4>
<p>28,320名（2009年10月）</p>
<h4>5.在日当該国人数</h4>
<p>589,239名（2008年、在日韓国人含む）</p>
<h4>6.要人往来（首脳）</h4>
<table>
<caption class="leftalign">
（1）往（2000年以降）
</caption>
<thead>
<tr>
<th scope="col" width="20%">年月</th>
<th scope="col" width="80%">要人名</th>
</tr>
</thead>
<tbody>
<tr>
<td scope="row">2000年5月</td>
<td>森総理</td>
</tr>
<tr>
<td scope="row">2001年10月</td>
<td>小泉総理</td>
</tr>
<tr>
<td scope="row">2002年3月</td>
<td>小泉総理</td>
</tr>
<tr>
<td scope="row">2002年5月</td>
<td>小泉総理</td>
</tr>
<tr>
<td scope="row">2003年2月</td>
<td>小泉総理</td>
</tr>
<tr>
<td scope="row">2004年7月</td>
<td>小泉総理</td>
</tr>
<tr>
<td scope="row">2005年6月</td>
<td>小泉総理</td>
</tr>
<tr>
<td scope="row">2006年10月</td>
<td>安倍総理</td>
</tr>
<tr>
<td scope="row">2008年2月</td>
<td>福田総理</td>
</tr>
<tr>
<td scope="row">2009年1月</td>
<td>麻生総理</td>
</tr>
<tr>
<td scope="row">2009年10月</td>
<td>鳩山総理</td>
</tr>
<tr>
<td scope="row">2010年5月</td>
<td>鳩山総理</td>
</tr>
<tr>
<td scope="row">2010年11月</td>
<td>菅総理</td>
</tr>
</tbody>
</table>
<table>
<caption class="leftalign">
（2）来（2000年以降）
</caption>
<thead>
<tr>
<th scope="col" width="20%">年月</th>
<th scope="col" width="80%">要人名</th>
</tr>
</thead>
<tbody>
<tr>
<td scope="row">2000年9月</td>
<td>金大中（キム・デジュン）大統領</td>
</tr>
<tr>
<td scope="row">2002年6月</td>
<td>金大中（キム・デジュン）大統領</td>
</tr>
<tr>
<td scope="row">2003年6月</td>
<td>盧武鉉（ノ・ムヒョン）大統領</td>
</tr>
<tr>
<td scope="row">2004年12月</td>
<td>盧武鉉（ノ・ムヒョン）大統領</td>
</tr>
<tr>
<td scope="row">2008年4月</td>
<td>李明博（イ・ミョンバク）大統領</td>
</tr>
<tr>
<td scope="row">2008年7月</td>
<td>李明博（イ・ミョンバク）大統領</td>
</tr>
<tr>
<td scope="row">2008年12月</td>
<td>李明博（イ・ミョンバク）大統領</td>
</tr>
<tr>
<td scope="row">2009年6月</td>
<td>李明博（イ・ミョンバク）大統領</td>
</tr>
<tr>
<td scope="row">2010年11月</td>
<td>李明博（イ・ミョンバク）大統領</td>
</tr>
</tbody>
</table>
<h4>7.主な二国間条約・取極</h4>
<p>　基本関係条約、漁業協定、請求権・経済協力協定、文化財・文化協定、在日韓国人の法的地位協定（以上1965年締結）、租税条約（1970年）、大陸棚南部共同開発協定（1974年）、大陸棚北部境界画定協定（1974年）、科学技術協力協定（1985年）、原子力平和的利用協力取極、海難救助協定（1990年）、環境保護協力協定（1993年）、新漁業協定（1999年）、犯罪人引渡条約（2002年）、投資協定（2003年）、税関相互支援協定（2004年）、社会保障協定（2005年）、刑事共助条約（2006年）</p>
</div>

しかし、経済状況に冠する文言

「（1）2009年の韓国経済は、2008年秋以降の世界金融危機の影響を受け、各種経済指標が悪化したが、景気刺激策等の効果等により、景気は回復しつつある。

（2）外需に大きく依存する経済構造。2009年の最大の貿易相手国は中国で、第2位は日本、第3位は米国。2009年経常収支は426.7億ドルの黒字（過去最高）であり、また、対日貿易は慢性的に赤字（2009年は約276億ドル）。」

だけをきれいに抜き出す方法がわからず、質問させていただくに至りました。
タグを除去しテキストのみにする方法はわかるのですが、肝心の抜き出したい部分を指定する方法がわかりませんでした…

Python初心者で、大変初歩的な質問となってしまい申し訳ありませんが、ご教授のほど宜しくおねがいします。

Answer 1

他のところにも使うのでしたらこちらの方がいいかも

h4の下にpを検索、タグがp以外になると終了

flg = True

def p_find(tag):

    if tag.name == "p":
        p = True
    else:
        p = False
        global flg
        flg = False

    return (p and flg)

h4 = soup.find("h4", text="11.経済概況")

for i in h4.find_next_siblings(p_find):
    print(i.get_text(strip = True))

Comments

[onakafunifuni]

ありがとうございます！他に応用することができ、大変助かりました！お手数おかけしました。

Answer 2

これだったらマウスでコピペした方が早いような

1. h4タグのテキストが「11.経済概況」を検索
2. そこから下にpタグ2つを取得

import requests
from bs4 import BeautifulSoup

url = "http://warp.ndl.go.jp/info:ndljp/pid/1712311/www.mofa.go.jp/mofaj/area/korea/data.html"

r = requests.get(url)

soup = BeautifulSoup(r.content, 'html.parser')

h4 = soup.find("h4", text="11.経済概況")

for i in h4.find_next_siblings("p", limit = 2):
    print(i.get_text(strip = True))

Comments

[onakafunifuni]

できました！ありがとうございます。特定の行の２個下までを取得する、ということがまさにやりたかったことでしたので、大変助かりました。いくつかのページをスクレイプする必要があったので、こちらで質問させていただきました（確かに単体ですとコピペが一番速いですね(^o^;)）。ご回答ありがとうございました。ベストアンサーとさせていただきます。

Answer 3

見たところ識別可能なタグがないようなので、地道に子要素を辿って取得するとかでしょうか。