あるPythonコードでどういう動きをしているのかを教えてください。

Question

聞きたいこと

以下のPythonコードでいくつか聞きたい事があります。
1.必要なPythonパッケージがもう１つあると思ってて、「datetime」かなと思うんですがどうでしょうか？
2.➀に入るコードは何だと思いますか？
3.「start = time.time()」と「print('{:.5f}'.format(time.time() - start))」って部分のコードはそれぞれどういう意味を表しているんでしょうか？
「start = time.time()」は、以降のコードを処理する開始時間だと思ってますが、もう一方の「print('{:.5f}'.format(time.time() - start))」がどういう動きをしているのかわかりません。恐らく時間を表しているんでしょうが・・・。
4.クローリングに必要な情報を取得しているコードは「r = requests.get(URI)」で間違いないですか？

該当のソースコード

import requests
import time
from bs4 import BeautifulSoup

def get_detail(URI):
    r = requests.get(URI)
    soup = BeautifulSoup(r.content,
                         'lxml',
                         from_encoding="utf-8")

    print(soup.find(class_="mainTitleBook").get_text(), '\n',
          soup.find(itemprop="author").get_text(), '\n',
          soup.find(itemprop="offers").get_text(), '\n',
          soup.find(itemprop="isbn").get_text(), '\n')

if __name__ == "__main__":
    BASE_URI = 'https://gihyo.jp'

    start = time.time()
    r = requests.get(BASE_URI + '/book/genre?s=0802')

    while True:
        soup = BeautifulSoup(r.content,
                             'lxml',
                             from_encoding="utf-8")
        for b in soup.find_all(class_='data'):
            get_detail(BASE_URI + b.find("a").get("href"))

        next_url = soup.find(class_="next").a
        if next_url is None:
            [ ➀ ]

        r = requests.get(BASE_URI + next_url.get("href"))

    print('{:.5f}'.format(time.time() - start))

補足情報

初めてこのサイトを使うので分かりにくい質問だと思います。
伝わりづらい部分は聞いて下さると助かります。

Answer 1

3.「start = time.time()」と「print('{:.5f}'.format(time.time() - start))」って部分のコードはそれぞれどういう意味を表しているんでしょうか？

「start = time.time()」は、以降のコードを処理する開始時間だと思ってますが、もう一方の「print('{:.5f}'.format(time.time() - start))」がどういう動きをしているのかわかりません。恐らく時間を表しているんでしょうが・・・。

この部分の解決
time.time() - startを{:.5f}ってのに置換している？
:.5f のfは、固定小数点数表記
:は=みたいなもの
.は .precision(少数部分の精度)というものを表して、{:f}の場合、6桁(1.234567)までを表示する。
つまり、.5fってのは、5桁まで表示するということ
time.time() - startっていう部分が処理の開始から終了までの時間を表して、その時間を少数第5位までを表示するってこと?

Answer 2

1.必要なPythonパッケージがもう１つあると思ってて、「datetime」かなと思うんですがどうでしょうか？

そんなことはないですが、なぜそう思ったのでしょうか？

2.➀に入るコードは何だと思いますか？

next_urlがNoneなので、続行すると次の文でエラーになるのでは？

3.「start = time.time()」は、以降のコードを処理する開始時間だと思ってますが、

合ってます。

もう一方の「print('{:.5f}'.format(time.time() - start))」がどういう動きをしているのかわかりません。

time.time() - startの意味はわかりますか？その値をある形式で表示しているだけです。
:5f等の意味はformatメソッドについて調べましょう。

4.クローリングに必要な情報を取得しているコードは「r = requests.get(URI)」で間違いないですか？

はい。指定URLのHTMLを取ってくる処理です。

Comments

[otn]

自力でリファレンスが読めるようになるといいですね。
https://docs.python.org/ja/3/

[退会済みユーザー]

「datetime」については、「print('{:.5f}'.format(time.time() - start))」の部分で関係してくるのではないかなと思いました。
このサイトを参考にしてそう思いました。(https://techacademy.jp/magazine/23375)

①の部分で「continue」を入れてみたらエラーが出なかったんですが、違いますかね・・・？

「time.time() - start」の部分は、恐らく何かの時間から開始時間を引いてるんだろうなって気はするんですが、全く分からないです。

[otn]

> このサイトを参考にしてそう思いました。(https://techacademy.jp/magazine/23375)

悪評のサイトですね。

> ①の部分で「continue」を入れてみたらエラーが出なかったんですが、違いますかね・・・？

何故 continue を入れたのでしょうか？

> 全く分からないです。

start = time.time() が開始時刻を取得しているとわかるのに、「time.time() - start」が全くわからなという状況がちょっと想像つきません。なので、何を説明すればわかってもらえるのか。。。。
time.time() を何だと思っていますか？

[退会済みユーザー]

「continue」は、```if next_url is None:```で、Noneになっているのでそのまま下のコードに続けさせるみたいな・・・・すいませんなんとなくです。

time.time()は、時間の取得だという風に認識しています

[otn]

> なんとなくです。

よく考えましょう。

> time.time()は、時間の取得だという風に認識しています

はいそうです。で、「time.time() - start」が全くわからないというのが想像できません。考えてないのでしょうか？考えましょう。

[退会済みユーザー]

考えても分からないので質問しました

[退会済みユーザー]

「time.time() - start」は処理の経過時間から開始時間を引いてるっていうのはきっと違いますよね。

[otn]

> time.time()は、時間の取得だという風に認識しています
と書いていながら、
>「time.time() - start」は処理の経過時間から開始時間を引いてるっていうのはきっと違いますよね。
という発想が出てくるのはおかしいですね。
「time.time()は、時間の取得だ」ということを忘れちゃった？？

[otn]

「9時から勉強を始めました。勉強を終えたのは10時30分です。10:30から9:00を引いたものは何ですか？」
はさすがに、わかりますよね？それと同じです。「10:30は経過時間ですか？」というのは違います。

[退会済みユーザー]

やっぱIT業界って初心者に優しくないですね

[退会済みユーザー]

もう大丈夫です。時間取らせてしまってすみませんでした。

[otn]

> やっぱIT業界って初心者に優しくないですね
何故そう思いましたか？
みなさん初心者には優しいですよ。自力で解決できるようになってもらおうと教えています。
「わからなければ、その都度質問するので、自力で解決できるようになりたいとは思わない」ということでしょうか？

[退会済みユーザー]

こう考えています。という内容に対して「おかしい」だの「考えてない」だの言われるのはどう考えても優しくないじゃないですか？

[can110]

IT業界ってとても初心者に優しいと思うのですが、初心者にいちばん優しい業界を教えてください。

[otn]

「なんとなくです」と言われると「ちゃんと考えましょう」としか言い様がないです。
continueというのは真剣に考えた結果ではなく、なんとなくそう思ったということですよね？
あるいは、実際には真剣に考えた結果だが、「なんとなく」と書いてしまったのでしょうか？

[退会済みユーザー]

「continue」についてはさっぱりわからなくなったので「なんとなく」と書きました

[退会済みユーザー]

> time.time()は、時間の取得だという風に認識しています
と書いていながら、
>「time.time() - start」は処理の経過時間から開始時間を引いてるっていうのはきっと違いますよね。
という発想が出てくるのはおかしいですね。
「time.time()は、時間の取得だ」ということを忘れちゃった？？

これはどう見ても良い感じがしないですよね？

[otn]

time.time()は実行時点の時刻なので、開始時刻を引けば、それまでの経過時間ですね。
{:.5f}は、formatメソッドの機能で、f が固定小数点表示で小数点以下5桁です。

> これはどう見ても良い感じがしないですよね？
は、
> start = time.time() が開始時刻を取得しているとわかるのに、「time.time() - start」が全くわからなという状況がちょっと想像つきません。なので、何を説明すればわかってもらえるのか。。。。

と書いたとおりで、途方に暮れてます。

start = time.time() が開始時刻を取得しているとわかるのであれば、「time.time() - start」の意味もわかるはずなのに、それをわからないとするとどういうケースがあり得るのか？

> 「time.time()は、時間の取得だ」ということを忘れちゃった？？
は、国語で言うところの反語表現ですね。「忘れちゃったはずはないので、time.time()は、時間の取得だということをしっかり認識すれば理解できるはず」という意味です。

[退会済みユーザー]

変に突っかかってすみませんでした。
もう一度自分で考え直してきます。

[otn]

next_url は文字通り次のURLですが、次のURLがないのであれば、処理（whileループ）は終わりでしょう。
continueで継続するのでなく、breakで抜けないと。

というのが、考え方なのですが、continueに至った思考の道筋が見えないので、知ってるキーワードを言ってみただけみたいに見えます。

[otn]

回答するパターンにもいろいろあって、
・答えだけ書いて解説なし
・答えと解説
・方針だけ書いて考えてもらう
・ヒントだけ出して考えてもらう
などなど。
今回はヒントのパターンかと思ったのですが、方針のパターンがよかったようです。