質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.76%

  • Python

    6926questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • pandas

    497questions

    Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Pandasで日付と時刻を結合しdatetime型にしたい

解決済

回答 3

投稿

  • 評価
  • クリップ 1
  • VIEW 328

barobaro

score 92

早明浦ダムのリアルタイムダム諸量一覧表のCSVを読み込んでグラフ化したいのですが
年月日と時刻を結合してdatetime型にしたいのですがうまくいきません。

日付だけだと
parse_dates=['年月日']
でdatetime型になるのですが

年月日と時刻を結合すると
parse_dates={'日時':['年月日', '時刻']}
objectになります。

どのようにすればdatetime型になるのでしょうか?

import pandas as pd

import requests
from urllib.parse import urljoin
from bs4 import BeautifulSoup

# 早明浦ダムのリアルタイムダム諸量一覧表
url = 'http://www1.river.go.jp/cgi-bin/DspDamData.exe?ID=1368080700010&KIND=3&PAGE=0'

r = requests.get(url)

if r.status_code == requests.codes.ok:

    soup = BeautifulSoup(r.content, 'html.parser')

    link = urljoin(url, soup.select_one('body > center > p > a').get('href'))

    df = pd.read_csv(
        link,
        skiprows=9,
        encoding='shift_jis',
        names=[
            '年月日', '時刻', '流域平均雨量', '流域平均雨量属性', '貯水量', '貯水量属性', '流入量', '流入量属性',
            '放流量', '放流量属性', '貯水率', '貯水率属性'],
        parse_dates=['年月日']
    )
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

checkベストアンサー

+1

24:00が含まれていつデータの補正用コードの例示です。

import datetime
import dateutil.parser

# 関数の定義(YYYYMMDDHHMMの8桁のintを変換)
def date_parse(x) :
    date_txt = str(x)
    HH = date_txt[8:10]
    if HH == '24' :     # 時間に24:00が含まれているので23時に修正
        YYYYMMDD = date_txt[0:8]
        result = dateutil.parser.parse(YYYYMMDD) + \
                            datetime.timedelta(hours=23) + datetime.timedelta(minutes=50)

        return result
    else :
        return (dateutil.parser.parse(date_txt) - datetime.timedelta(minutes=10))


上記は、00:00~00:10のデータの場合、終わりの時間(00:10)を使っていましたので始まりの時間に全てを調整するという方針で自力でパースしました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/04 13:38

    ありがとうございます。
    参考にして無事解決できました。
    timedeltaでは24時でも大丈夫でしたので調整しなくても大丈夫みたいです。

    キャンセル

0

read_csvの際、年月日をdatetime型にparseせず文字列として読み込み、時刻と連結した後にpd.to_datetime()でparseしてはいかがでしょうか?コードイメージは以下です。

pd.to_datetime(df['年月日']+' '+df['時刻'])

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/04 10:54

    どうも24:00があるのでエラーのような気がするのですがどうすればいいのでしょうか

    キャンセル

  • 2018/05/04 11:22

    24:00を00:00にするようなコードを追記する必要があります。
    ただ、単純に00:00に置き換えると3日の23:50の次が3日の00:00という風に時間軸が狂ってしまうので翌日になるように調整する必要があります。

    以前、10分刻みのデータに24:00が含まれていた際の調整用のコードを載せておくので参考にしてください。

    キャンセル

0

import datetime

def conv(temp):
    H, M = map(int, temp.split(':'))
    return datetime.timedelta(hours=H, minutes=M)


df['日時'] = df['年月日'] + df['時刻'].apply(conv)

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.76%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    lxml.etree.ParserError: Unicode parsing is not sup...

    前提・実現したいこと この動画を参考に指定したサイトに行き各見出しリンクで使われているそれぞれの単語の頻度を表示する関数を作りたい。 発生している問題・エラーメッセージ

  • 解決済

    pythonのBeautifulSoupでhtmlの<a>タグから絶対URLだけを抽出する方法は有り...

    pythonのBeautifulSoupを利用し、特定のwebページ内のリンクのURLを全て表示したいのですが、相対パスを使っているwebページだと、相対パスまで表示されてしまいま

  • 解決済

    Pythonにて

    例えばhttp://sample.com/a/b/c/d/e/1?ima=0000&cd=member にブログの1ページ目があるとします。 2ページ目は http://sa

  • 解決済

    pythonでimportがうまくいかない【Webスクレイピング】

    Webスクレイピングがしたくて初めてpythonを触るのですが http://qiita.com/Azunyan1111/items/9b3d16428d2bcc7c9406 を参

  • 解決済

    Anacondaで画像収集

    http://www.htmllifehack.xyz/entry/2017/09/04/224736 こちらのサイトを見て同じコードを書いたのですが import reque

  • 解決済

    pythonのValueErrorについて

    はじめまして。 pythonを勉強し始めてまだ間もない者です。 勉強のためにホームページに書かれているコードを参照して学習しています。 そこで、「機械学習を使って東京23区のお買い

  • 解決済

    日本語を含むURLのスクレイピングについて

    そのままですが、Pythonでスクレイピングをする際に日本語が含まれているURLではエラーが出てしまいます。使っているモジュールは以下のコード通りで通常のURLではエラーは出ず、H

  • 解決済

    BeautifulSoupでスクレイピングする際に件数の制限を設けたい

    対象URLのimgURLを取得しようとしています。 自習のため一旦5件程度だけコンソールに表示したいのですが、 limitが聞いていないのか?指定件数で制限を設けることができません

同じタグがついた質問を見る

  • Python

    6926questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • pandas

    497questions

    Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。