github action を使ってpythonファイルを発火させたい

Question

git action を使って指定した日時にpythonファイルを実行させたいのですが、Actionsのbuildの途中で下記のようなエラーが出ます。
おそらく原因はターミナルにおいて

pip install pipreqs

と入力すると、

Requirement already satisfied: pipreqs in c:\users\yoshi\anaconda3\li
b\site-packages (0.4.10)
Requirement already satisfied: yarg in c:\users\yoshi\anaconda3\lib\s
ite-packages (from pipreqs) (0.1.9)
Requirement already satisfied: docopt in c:\users\yoshi\anaconda3\lib
\site-packages (from pipreqs) (0.6.2)
Requirement already satisfied: requests in c:\users\yoshi\anaconda3\l
ib\site-packages (from yarg->pipreqs) (2.22.0)
Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.
1 in c:\users\yoshi\anaconda3\lib\site-packages (from requests->yarg-
>pipreqs) (1.25.8)
Requirement already satisfied: chardet<3.1.0,>=3.0.2 in c:\users\yosh
i\anaconda3\lib\site-packages (from requests->yarg->pipreqs) (3.0.4)
Requirement already satisfied: idna<2.9,>=2.5 in c:\users\yoshi\anaco
nda3\lib\site-packages (from requests->yarg->pipreqs) (2.8)
Requirement already satisfied: certifi>=2017.4.17 in c:\users\yoshi\a
naconda3\lib\site-packages (from requests->yarg->pipreqs) (2019.11.28

pipreqs .

と入力すると

File "c:\users\yoshi\anaconda3\lib\runpy.py", line 193, in _run_mod
ule_as_main
    "__main__", mod_spec)
  File "c:\users\yoshi\anaconda3\lib\runpy.py", line 85, in _run_code

    exec(code, run_globals)
  File "C:\Users\Yoshi\anaconda3\Scripts\pipreqs.exe\__main__.py", li
ne 7, in <module>
  File "c:\users\yoshi\anaconda3\lib\site-packages\pipreqs\pipreqs.py
", line 470, in main
    init(args)
  File "c:\users\yoshi\anaconda3\lib\site-packages\pipreqs\pipreqs.py
", line 409, in init
    follow_links=follow_links)
  File "c:\users\yoshi\anaconda3\lib\site-packages\pipreqs\pipreqs.py
", line 122, in get_all_imports
    contents = f.read()
UnicodeDecodeError: 'cp932' codec can't decode byte 0x93 in position
902: illegal multibyte sequence

と怒られます。
確かではありませんが、anaconda3の直下のフォルダにすでにRequirements.txtファイルは存在しているのだと解釈しております。
このままだとgithubのactionにてエラーが発生するので、解決策をご教示いただきたいです。
指定のフォルダにrequirements.txtをインストールすれは解決しそうなのですが、重複してrequirements.txtを作成することは不可能なのでしょうか？

※環境はOS:windows10。jupyterlabにてターミナルを起動しております。

Answer 1

エラーの内容としては、pandasが見つからないことが表示されています。

  - name: Install dependencies

    run: |
      \# pip更新
      python -m pip install --upgrade pip
    \# 必要なパッケージインストール

こちらのセクションでされているのは、pip自身の更新となります。

解決方法

以下、GitHub Actionsの公式ドキュメントです。
Pythonワークフローテンプレートでの開始
こちらのセクションを参照すると、途中に以下の様なセクションがあるかと思いますが、これはrequirements.txtに記載れている、必要なライブラリをインストールする手順になります。

    - name: Install dependencies
      run: |
        python -m pip install --upgrade pip
        if [ -f requirements.txt ]; then pip install -r requirements.txt; fi

現在試されているプロジェクト内にrequirements.txtが存在している様であれば、こちらをお試しください。

もし、現在のプロジェクト内にまだrequirements.txtが存在しない場合、pip freezeもしくはpipreqs等のツールを用いて生成し、お試しください。

手順詳細

https://github.com/pandas-dev/pandasの例を参考にご説明します。

1. pipreqsのインストール

プロジェクト内で必要なライブラリだけを洗い出すため、pipreqsをインストールします。

pip install pipreqs

2. requirements.txtの生成

pipreqsを用いて、requirements.txt(必要なライブラリのリスト)の生成を行います。

pipreqs .

> INFO: Successfully saved requirements file in ./requirements.txt

この時点で、現在のディレクトリにrequirements.txtが生成されていることが確認できるかと思います。

tree . | grep requirements.txt

> ├── requirements.txt

cat requirements.txt

> QtPy==1.9.0
> cycler==0.10.0
> botocore==1.16.24
> matplotlib==3.2.2
> scipy==1.5.0
> flake8==3.8.3
> traitlets==4.3.3
> nbconvert==5.4.1
> docutils==0.15.2
>....

3. yamlの更新

解決方法のセクションに記載したアクションを追記します。完成後のworkflowは以下の通りです。

name: Scheduler

on:
  push:

#   schedule:
#     - cron:  '* 1,6 * * 1-5'

jobs:
  build:
    # Ubuntuの最新版環境内で処理を実行することを指定
    runs-on: ubuntu-latest

    # 実行する処理＆コマンド指定
    steps:
      # リポジトリからチェックアウトして以下の処理を実行していく
      - uses: actions/checkout@v2
      - name: Set up Python 3.8
        uses: actions/setup-python@v1
        with:
          python-version: 3.8
      - name: Install dependencies
        run: |
          # pip更新
          python -m pip install --upgrade pip
          # 必要なパッケージインストール
          if [ -f requirements.txt ]; then pip install -r requirements.txt; fi

      - name: Run script
        run: |
          # pyの実行
          python top50pickUp.py

上記手順を踏んでいただくと、動作が行われるかと思いますのでお試し下さい。

必要なライブラリが増えた場合

開発途中で、Pandas以外にも必要なライブラリが増えた場合は、都度手順2のを実行し、requirements.txtを更新して下さい。

Comments

[HYoshitaka]

ご回答ありがとうございます。
ご指摘の通り、yamlファイルの中身を下記のように変更し、（下記参照）
------------------------------------------------------------------------
name: Scheduler

on:
push:
# schedule:
# - cron: '* 1,6 * * 1-5'

jobs:
build:
# Ubuntuの最新版環境内で処理を実行することを指定
runs-on: ubuntu-latest

# 実行する処理＆コマンド指定
steps:
# リポジトリからチェックアウトして以下の処理を実行していく
- uses: actions/checkout@v2
- name: Set up Python 3.8
uses: actions/setup-python@v1
with:
python-version: 3.8
- name: Install dependencies
run: |
# pip更新
python -m pip install --upgrade pip
pip install flake8 pytest
if [ -f requirements.txt ]; then pip install -r requirements.txt; fi
# 必要なパッケージインストール

- name: Run script
run: |
# pyの実行
python top50pickUp.py
---------------------------------------------------------------------------------------------------

jupyter lab のターミナルにおいても下記のように実行しました、（下記参照）
pip install pipreqs
Requirement already satisfied: pipreqs in c:\users\yoshi\ana
conda3\lib\site-packages (0.4.10)
Requirement already satisfied: yarg in c:\users\yoshi\anacon
da3\lib\site-packages (from pipreqs) (0.1.9)
Requirement already satisfied: docopt in c:\users\yoshi\anac
onda3\lib\site-packages (from pipreqs) (0.6.2)
Requirement already satisfied: requests in c:\users\yoshi\an
aconda3\lib\site-packages (from yarg->pipreqs) (2.22.0)
Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.2
6,>=1.21.1 in c:\users\yoshi\anaconda3\lib\site-packages (fr
om requests->yarg->pipreqs) (1.25.8)
Requirement already satisfied: chardet<3.1.0,>=3.0.2 in c:\u
sers\yoshi\anaconda3\lib\site-packages (from requests->yarg-
>pipreqs) (3.0.4)
Requirement already satisfied: idna<2.9,>=2.5 in c:\users\yo
shi\anaconda3\lib\site-packages (from requests->yarg->pipreq
s) (2.8)
Requirement already satisfied: certifi>=2017.4.17 in c:\user
s\yoshi\anaconda3\lib\site-packages (from requests->yarg->pi
preqs) (2019.11.28)

ですが、Actionsの過程において同様のエラーが出ます。（下記参照）
Run # pyの実行
Traceback (most recent call last):
File "top50pickUp.py", line 1, in <module>
import pandas as pd
ModuleNotFoundError: No module named 'pandas'
Error: Process completed with exit code 1.

yamlファイルの書き方がまずかったのか、
コマンドがまずかったのでしょうか？

[Pakio]

回答が言葉足らずで申し訳ありません。回答に手順詳細を追記しましたのでご確認お願い致します。

具体的には、pipreqsを入れて完了、ではなくそこから先requirements.txtを生成する必要がありました。其の手順を追記しています。

[HYoshitaka]

ご回答ありがとうございます。
ご教示の通りにターミナルにてコマンドを打ちましたが、掲載の通り、既にtxtファイルが存在していると言われ、
pipreps .
と入力しても、
掲載のようなエラーがでます。