複数のデータフレームから①指定した文字列が部分一致する要素を検索し（同列内）、②一致する要素が入った行の総数を取得したいです。

Question

前提・実現したいこと

少し複雑ですので、箇条書きで失礼します。
わかりにくいところがありましたら何なりとご指摘ください。
すぐに修正致します。

①持っているデータ
30日分のTwitterの投稿データ(投稿時間、テキストなど)
（データ構造）
投稿日時　　　　 　｜　テキスト　｜・・・

2021/12/01 12:00　　　　　　｜◯◯◯◯◯◯◯◯◯◯｜・・・
・
・
・
2021/12/17 19:00　　　　　　｜◯◯◯◯◯◯◯◯◯◯｜・・・
・
・
・
2021/12/30 23:00　　　　　　｜◯◯◯◯◯◯◯◯◯◯｜・・・
・
・
・

本来は30日分が一緒になっているが、処理の軽量化のため
df_1201, df_1202といったように1日ごとに分けている。

②実現したいこと
これらから各時間ごとの総数を取得したい。
例えば、1201_dfに対し処理を行うことで
1201_00_amountというオブジェクトに0時の投稿の行数を格納したい。
同様に、1時から23時までのそれぞれの行数を取得したい。
また、データフレームは先述の通り12/01~12/30までの30日分あるため、
それぞれamount_1201_00からamount_1230_23まで作成したい。

以上、実現したいことになります。

試したこと

自分で試したことは、
まず①stringrパッケージを使用して時間の部分を時間のみに置き換え、"時"のみを残して検索対象としたこと、

df$Tweet.Date %<>% str_replace_all("-", "/") %>%
  str_replace_all(":\d+:\d+$", "")
>もともと日時表記が"2021-12-01 00:00:30"であったものを
"2021/12/01 00"に成形した。

②"2021/12/1"を部分一致させ、投稿が2021/12/01分のdf_1201を作成、

df_1201 <- df %>% filter(str_detect(Tweet.Date, "2021/12/01"))

③あとはひたすらそれぞれの時間帯ごとに行数を取得

df_1201_00 <- rct_df_1201 %>% filter(Tweet.Date %in% "2021/12/01 00")
amount_1201_00 <- df_1201_00 %>% NROW() %>% as.numeric()

といったものです。
しかし、タイプミスによって値を正しく格納できていなかったり、
どれがどの値なのか分からず後の処理に使えなかったりと問題が多発しています。
そして時間がかかり過ぎ、
行数もとんでもなく長くなるため気が遠くなりそうです…。
自力解決をと自分でも調べてみたのですが、
具体的にどのような処理が必要なのかわからず途方に暮れています。
どうかお力をお貸しいただけないでしょうか。
よろしくお願いいたします。

なお、処理の対象とするデータフレームですが
便宜上、日にちごとに分けて処理を行いましたが
分けずに処理できる様であれば分けていただかなくても構いません。

補足情報（FW/ツールのバージョンなど）

RStudio 2021.09.0+351

Answer 1

ややこしいライブラリを使わなくても、

• 日付データの分解
• 当該日付時間ごとの該当レコード数をカウントしてリストに保存

で事足りるように思います。

df1 <- read.table(text="
2021/12/01 12:00,xxx
2021/12/17 19:00,xxx
2021/12/30 23:00,xxx
"                  
, stringsAsFactors=F, header=F, sep=",")
ddsum <- list()

for(i in 1:nrow(df1)){
  dd <- unlist(strsplit(df1[i,1], "[ :]"))

  # 日付ごと全部数える
  if(is.null(ddsum[[ dd[1] ]][["total"]])){
    ddsum[[ dd[1] ]][["total"]] <- 1
  }else{
    ddsum[[ dd[1] ]][["total"]] <- ddsum[[ dd[1] ]][["total"]] +1
  }
  
  # 日付・時間ごとに数える
  if(is.null(ddsum[[ dd[1] ]][[ dd[2] ]])){
    ddsum[[ dd[1] ]][[ dd[2] ]] <- 1
  }else{
    ddsum[[ dd[1] ]][[ dd[2] ]] <- ddsum[[ dd[1] ]][[ dd[2] ]] +1
  }  
  
}

print(str(ddsum))

Comments

[apple_marcie]

回答ありがとうございます！
自分はパッケージに頼りきりだったのですが、こんな方法もあったのですね。
とても参考になりました！

Answer 2

以下の様な内容の CSV ファイルを入力データとして使います。

tweet_data.csv

投稿日時,テキスト
2021/12/01 00:30,テキスト
2021/12/01 01:42,テキスト
2021/12/01 02:10,テキスト
2021/12/01 03:55,テキスト
2021/12/01 04:00,テキスト
2021/12/01 04:30,テキスト
2021/12/01 05:22,テキスト
2021/12/01 06:05,テキスト
2021/12/01 06:24,テキスト
2021/12/01 06:49,テキスト
2021/12/01 07:17,テキスト
2021/12/01 07:29,テキスト

以下では tidyverse と lubridate パッケージを使用しています。
処理内容は、日時でグループ化(group_by)して tally で集計しています。

library(tidyverse)
library(lubridate)

tweets <- read.csv('tweet_data.csv')

tweets %>% 
  mutate(
    datetime = ymd_hm(unlist(.["投稿日時"])),
    day = floor_date(datetime, 'day'), 
    hour = hour(datetime)
  ) %>%
  group_by(day, hour) %>%
  tally %>%
  complete(day, hour = 0:23, fill = list('n' = 0)) %>%
  ungroup() %>%
  mutate(
    "日時" = ymd_h(paste(day, hour)),
    "カウント" = n
  ) %>%
  select("日時", "カウント") %>%
  print(n = 24)

# 出力結果
# A tibble: 24 x 2
   日時                カウント
   <dttm>                 <dbl>
 1 2021-12-01 00:00:00        1
 2 2021-12-01 01:00:00        1
 3 2021-12-01 02:00:00        1
 4 2021-12-01 03:00:00        1
 5 2021-12-01 04:00:00        2
 6 2021-12-01 05:00:00        1
 7 2021-12-01 06:00:00        3
 8 2021-12-01 07:00:00        2
 9 2021-12-01 08:00:00        0
10 2021-12-01 09:00:00        0
11 2021-12-01 10:00:00        0
12 2021-12-01 11:00:00        0
13 2021-12-01 12:00:00        0
14 2021-12-01 13:00:00        0
15 2021-12-01 14:00:00        0
16 2021-12-01 15:00:00        0
17 2021-12-01 16:00:00        0
18 2021-12-01 17:00:00        0
19 2021-12-01 18:00:00        0
20 2021-12-01 19:00:00        0
21 2021-12-01 20:00:00        0
22 2021-12-01 21:00:00        0
23 2021-12-01 22:00:00        0
24 2021-12-01 23:00:00        0

Comments

[apple_marcie]

ご丁寧な回答ありがとうございました！
どなた様の回答もとても参考になりました。
ベストアンサーを決めかねておりましたが、
特に実装しやすかったこちらの回答をベストアンサーとさせていただきました。
ありがとうございました！

Answer 3

Rは日時を扱うことが面倒なのでしょうか。

次の質問・回答ではstrptimeを使用することで日時を文字列ではなく、日時として扱い、条件を指定してデータを抽出しているようです。

f <- "%Y/%m/%d %H:%M:%S"
log.ac$date <- strptime(log.ac$date, format=f)
before <- strftime("2017/09/05 09:38:00", format=f)
after  <- strftime("2017/09/05 10:00:00", format=f)
print(subset(log.ac, before<date & date<after)) 

https://teratail.com/questions/374429

該当するデータを抽出して、抽出したデータの件数をカウントできそうに思いましたが、いかがでしょうか。

https://www.rdocumentation.org/packages/base/versions/3.6.2/topics/subset
https://www.rdocumentation.org/packages/base/versions/3.6.2/topics/strptime
https://www.rdocumentation.org/packages/base/versions/3.6.2/topics/nrow

Comments

[apple_marcie]

URLまで貼っていただきありがとうございます！
確かにこちらでもスマートに実装できそうです！ありがとうございます、参考にさせていただきます。