日付が連続しているファイルの欠番を一日前のファイルを用いて埋めたい

Question

ディレクトリ構造

$ ls -1 cham-arayaminami-high/2020年02月23日01時02分.jpg
2020年02月24日01時02分.jpg
2020年02月26日01時02分.jpg
2020年02月27日01時02分.jpg
~ 
2020年06月10日12時06分.jpg

抜けている日付を前の日の画像を複製し、補完したいです。
また、Exif情報の撮影された日時(DateTimeOriginal)を前の日のものではなく補完後のものと合わせたいです。
抜けている日付は数日間あるものをあります。

目的が達成できれば、シェルスクリプトでもpythonでも構いません。
ネットでも探しても似たような記事すら検索にかからず困っております。
ご教授頂けたら嬉しいです。

Comments

[hidezzz]

補完して作成したファイルの時刻部分はどうなれば良いですか？(00時00分で良いですか？)

[momokoko]

質問ありがとうございます！
時刻は問いません。

Answer 1

python版を作って見ました(file_comp.py)。
外部ツールとしてExiftoolを必要とします。
同じ日のファイルが2つ以上存在するとエラーになります。

import argparse
import pathlib
import pandas as pd
from shutil import copyfile

FILENAME_FORMAT = "%Y年%m月%d日%H時%M分.jpg"


def update_exif(filename, exif_datetime):
    import subprocess

    args = [
        "exiftool",
        "-overwrite_original",
        "-DateTimeOriginal={}".format(
            exif_datetime.strftime("%Y:%m:%d %H:%M:%S")
        ),
        filename,
    ]
    subprocess.Popen(args, stdout=subprocess.DEVNULL)


def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("dirname")
    args = parser.parse_args()

    # ファイルリストを作成
    p = pathlib.Path(args.dirname)
    filenames = []
    for pathname in p.iterdir():
        try:
            pd.to_datetime(pathname.name, format=FILENAME_FORMAT)
            filenames.append(pathname.name)
        except ValueError:
            pass
    filenames.sort()

    # 日付をインデックスに持つDataFrameを作成
    df = pd.DataFrame({"src_filename": filenames})
    df["datetime"] = pd.to_datetime(filenames, format=FILENAME_FORMAT)
    df.index = pd.DatetimeIndex(df.datetime.dt.date)
    df.index.name = "date"

    # 1日でリサンプリング
    df = df.asfreq(freq="1D")

    # 存在しない日付は前の日のファイルを複製
    df.src_filename.fillna(method="ffill", inplace=True)

    # EXIFに埋め込む時刻は日付+00:00:00
    df["exif_datetime"] = df.datetime
    df.exif_datetime.fillna(df.index.to_series(), inplace=True)

    # 出力するファイル名を作成
    df["dst_filename"] = df.exif_datetime.dt.strftime(FILENAME_FORMAT)

    df_target = df[df.datetime.isnull()]
    # デバッグ用
    print(df_target[["src_filename", "dst_filename", "exif_datetime"]])

    # 処理対象のみ抽出して複製
    for _, row in df_target.iterrows():
        src = p / row.src_filename
        dst = p / row.dst_filename
        copyfile(src, dst)
        update_exif(dst, row.exif_datetime)


if __name__ == "__main__":
    main()

実行は引数にディレクトリを渡します。
実行すると新たに作成したファイルの一覧が表示されます。

$ tree cham-arayaminami-high/
cham-arayaminami-high/
├── 2020年02月21日01時02分.jpg
├── 2020年02月23日02時02分.jpg
└── 2020年03月01日01時02分.jpg

$ python file_comp.py cham-arayaminami-high/
                     src_filename           dst_filename exif_datetime
date                                                                  
2020-02-22  2020年02月21日01時02分.jpg  2020年02月22日00時00分.jpg    2020-02-22
2020-02-24  2020年02月23日02時02分.jpg  2020年02月24日00時00分.jpg    2020-02-24
2020-02-25  2020年02月23日02時02分.jpg  2020年02月25日00時00分.jpg    2020-02-25
2020-02-26  2020年02月23日02時02分.jpg  2020年02月26日00時00分.jpg    2020-02-26
2020-02-27  2020年02月23日02時02分.jpg  2020年02月27日00時00分.jpg    2020-02-27
2020-02-28  2020年02月23日02時02分.jpg  2020年02月28日00時00分.jpg    2020-02-28
2020-02-29  2020年02月23日02時02分.jpg  2020年02月29日00時00分.jpg    2020-02-29

$ tree cham-arayaminami-high/
cham-arayaminami-high/
├── 2020年02月21日01時02分.jpg
├── 2020年02月22日00時00分.jpg
├── 2020年02月23日02時02分.jpg
├── 2020年02月24日00時00分.jpg
├── 2020年02月25日00時00分.jpg
├── 2020年02月26日00時00分.jpg
├── 2020年02月27日00時00分.jpg
├── 2020年02月28日00時00分.jpg
├── 2020年02月29日00時00分.jpg
└── 2020年03月01日01時02分.jpg

$ exiftool -n -DateTimeOriginal cham-arayaminami-high/*.jpg 
======== cham-arayaminami-high/2020年02月21日01時02分.jpg
Date/Time Original              : 2020:06:10 14:35:34
======== cham-arayaminami-high/2020年02月22日00時00分.jpg
Date/Time Original              : 2020:02:22 00:00:00
======== cham-arayaminami-high/2020年02月23日02時02分.jpg
Date/Time Original              : 2020:06:10 14:35:34
======== cham-arayaminami-high/2020年02月24日00時00分.jpg
Date/Time Original              : 2020:02:24 00:00:00
======== cham-arayaminami-high/2020年02月25日00時00分.jpg
Date/Time Original              : 2020:02:25 00:00:00
======== cham-arayaminami-high/2020年02月26日00時00分.jpg
Date/Time Original              : 2020:02:26 00:00:00
======== cham-arayaminami-high/2020年02月27日00時00分.jpg
Date/Time Original              : 2020:02:27 00:00:00
======== cham-arayaminami-high/2020年02月28日00時00分.jpg
Date/Time Original              : 2020:02:28 00:00:00
======== cham-arayaminami-high/2020年02月29日00時00分.jpg
Date/Time Original              : 2020:02:29 00:00:00
======== cham-arayaminami-high/2020年03月01日01時02分.jpg
Date/Time Original              : 2020:06:10 14:35:34
   10 image files read

Comments

[momokoko]

回答ありがとうございます！
無事、ファイルが前日のもので複製されました！

追加の質問になってしまい恐縮ですが、cham-arayaminami-highのようなディレクトリが70個ほどありfor文などで回して処理したいと考えていました。

「./実行ファイル　引数(ディレクトリ)」という形で処理するのが初めてで、繰り返し処理ができるのかもよくわかっておりません。
ググっても見つけることができなかったのですが、何かいい方法があったら教えていただきたいです。

[yymmt]

findコマンドを使うのはどうでしょうか?
例えばあるディレクトリA以下に
A
├── 対象ディレクトリ1/
├── 対象ディレクトリ2/
└── 対象ディレクトリ3/
のような構造を持つ場合は、findコマンドで次のように一括処理できます。
find A -type d -exec python file_comp.py {} \;

[momokoko]

返信がおそくなりすみません。
無事できました！
ありがとうございました！

Answer 2

AWKスクリプトを作ってみました。
重要な注意：必ずあらかじめ全体のバックアップを取ってください。
LinuxMint19.3(Ubuntu18.04LTSほぼ同等)で動作確認してます。
Exiftoolが別途必要です。
dateコマンドはGNU版が必要です。(Macの場合最初から入ってるdateだと動かないかも)

#! /usr/bin/awk -f
{
        # ファイル名から日付year,month,dayを取り出す。
        year = substr( $0, 1, 4 );
        month = substr( $0, 6, 2 );
        day = substr( $0, 9, 2 );

        # 年月日からシリアル秒serialsecを求める。
        "date -d " year "-"  month "-" day " +%s" | getline serialsec;

        # 連想配列(シリアル秒→ファイル名)を作る。
        days[ serialsec ] = $0;

        # 開始日付と終了日付を求める。
        if ( NR == 1 ) {
                start = serialsec;
                end = serialsec;
        }
        else {
                if ( start > serialsec ) {
                        start = serialsec;
                }
                if ( end < serialsec ) {
                        end = serialsec;
                }
        }
}
END {

        # 開始日付から終了日付までループする
        for ( t = start ; t <= end ; t += 86400 ) {

                # 画像ファイルが存在する？
                if ( t in days ) {
                        # 画像ファイルのファイル名を覚えておく。(抜けてる日付位置にはこのファイルをコピーする)
                        print "# " days[ t ];
                        last = days[ t ];
                }
                else {
                        # コピーを実行するコマンド文字列を出力する。
                        "date -d @" t " +'%Y年%m月%d日00時00分.jpg'" | getline fname;
                        print "cp -p " last " " fname
                        # Exifを書き換えるコマンドをするコマンド文字列を出力する。
                        "date -d @" t " +'%Y-%m-%d 00:00:00'" | getline date;
                        print "exiftool -DateTimeOriginal='" date "' " fname
                }
        }
}

(元ファイルとAWKスクリプト)
$ ls -l
-rw-r--r-- 1 hidezzz hidezzz 3555099  4月 26  2016 2016年04月26日12時00分.jpg
-rw-r--r-- 1 hidezzz hidezzz 3381213  4月 27  2016 2016年04月27日12時00分.jpg
-rw-r--r-- 1 hidezzz hidezzz 3474408  4月 29  2016 2016年04月29日12時00分.jpg
-rwxrwxr-x 1 hidezzz hidezzz    1352  6月 11 03:44 umeume.awk*

(実行されるコマンドの確認(まだこのコマンドでは実行されません))
$ ls -1 *.jpg | ./umeume.awk 
# 2016年04月26日12時00分.jpg
# 2016年04月27日12時00分.jpg
cp -p 2016年04月27日12時00分.jpg 2016年04月28日00時00分.jpg
exiftool -DateTimeOriginal='2016-04-28 00:00:00' 2016年04月28日00時00分.jpg
# 2016年04月29日12時00分.jpg

(末尾に「| sh」を付けて上記で表示されているコマンドを実際に実行)
$ ls -1 *.jpg | ./umeume.awk | sh
Warning: [minor] Overlapping MakerNotes values - 2016年04月28日00時00分.jpg
    1 image files updated

(補完されたファイルの確認)
$ ls -l *.jpg*
-rw-r--r-- 1 hidezzz hidezzz 3555099  4月 26  2016 2016年04月26日12時00分.jpg
-rw-r--r-- 1 hidezzz hidezzz 3381213  4月 27  2016 2016年04月27日12時00分.jpg
-rw-r--r-- 1 hidezzz hidezzz 3381219  6月 11 03:49 2016年04月28日00時00分.jpg
-rw-r--r-- 1 hidezzz hidezzz 3381213  4月 27  2016 2016年04月28日00時00分.jpg_original
-rw-r--r-- 1 hidezzz hidezzz 3474408  4月 29  2016 2016年04月29日12時00分.jpg

(Exif情報の確認)
$ exiftool -n -DateTimeOriginal 2016年04月28日00時00分.jpg*
======== 2016年04月28日00時00分.jpg
Date/Time Original              : 2016:04:28 00:00:00
======== 2016年04月28日00時00分.jpg_original
Date/Time Original              : 2016:04:26 17:28:24
    2 image files read

Comments

[momokoko]

回答ありがとうございます！
念のため確認なのですが、全体のバックアップとはmac全体でしょうか？
昨日、apt-getを用いてExiftoolをインストールする記事を見かけまして、OSを破損する可能性がなくなないのかなと思って質問しています。
先程、brew install exiftoolでインストールできる記事を見つけたのでbrewを用いてインストールをします。
バックアップはどの範囲なのかをご教授ください！

[hidezzz]

処理に失敗すると最悪の場合画像ファイル群のあるディレクトリが元に戻せなくなるかもしれないのであらかじめバックアップをしてください。
上記「$ ls -1 *.jpg | ./umeume.awk 」の段階で実行するコマンドが標準出力に表示されるので、それを見て何が行われるかを理解してから次の「| sh」を付けた実行をするようにしてください。
※追記：実行されるコマンドは空いた日付のファイルを補完するための「cp」コマンドと、ファイル中のExif情報を書き換える「exiftool」コマンドの2つです。
今回のAWKスクリプトをrootで実行しない限りシステムを破壊することは無いとは思います。
rootでもapt-getやbrewで、信頼できるパッケージを入れる限りはまあ問題はないと思います。

一般論的な話ですが、今回の作業にかかわらず失って困るものに関しては定期的にバックアップは取るべきだと思います。どんな結果になって私は責任を追うことは出来ません。

Macで実行するのであれば、元から入っている「date」コマンドは使わずに
brew install coreutils
でインストールされる「gdate」コマンド(GNU版のdateコマンド)を使ってください。
(AWKスクリプト中に3箇所使われている「date」を「gdate」に修正してから実行してください。

[momokoko]

バックアップを取って実行しました！

下記のように書き換えました。
"gdate -d " year "-" month "-" day " +%s" | getline serialsec;
"gdate -d @" t " +'%Y年%m月%d日00時00分.jpg'" | getline fname;
"gdate -d @" t " +'%Y-%m-%d 00:00:00'" | getline date;

実行しましたがエラーが出てしまいました。
ls -1 *.jpg | ./umeume.awk
gdate: invalid date ‘2020-\271\264-2\346’
gdate: invalid date ‘2020-\271\264-4\346’
gdate: invalid date ‘2020-\271\264-5\346’
gdate: invalid date ‘2020-\271\264-6\346’
# 2020年06月09日01時06分.jpg

[hidezzz]

マルチバイト文字(日本語文字)が認識してないような気がします。
$ export LANG=ja_JP
$ export LANG=ja_JP.UTF-8
あたりを実行してからスクリプトを実行するとどうなりますか？
別の方の回答で解決しているようなので時間が空いたときにでもどうぞ

[momokoko]

返信ありがとうございます！
返信おそくなりました。
いま仕事中でできませんが、また時間ができたときにやってみます！