競艇データベースを作りたい

Question

実現したいこと・前提

実現したいこと：過去の競艇のデータをいじくり回し、統計的な分析をRやPythonで実行したい

前提：当方、統計分析手法についての知識はありますが、基本的なプログラミング、データベースの作り方などは知識がなく、つまずいています。

実行したい手順

1.下記からデータをダウンロードし、データベースを作成
https://github.com/cstenmt/boatrace

2.データベースから目的に応じてデータを抽出し、RやPythonに接続。

3.RやPythonで分析。（分析の経験あり）

質問したいこと

・上記の手順は目的に適切なものでしょうか。

・1.の手順をどうすればよいのか分かりません。
それは私がgithub、SQL、pythonについての知識が不足しているからだと思いますが、どのように自分は学習していけばよいでしょうか。学習の指針を教えてほしいです。

Comments

[takasima20]

お好きなようにどうぞ。というか、貴殿のスキルが分からないことにはアドバイスのしようがないかなあ、と。
とりあえずがむしゃらにやってみてください。それでどうしてもつまづいた時に質問すると、優しい人が答えてくれることでしょう。まず、最初の一歩は自分で踏み出さないとですよ。

[boatrace]

投稿の削除をお願いします。

Answer 1

統計処理が目的なら、習得すべきはまず、

1. 適当なソースから「タブ区切りテキスト」が作れるようになること。
2. タブ区切りテキストを読んで「データフレーム」を作れるようになること。
3. データフレームからの条件抽出ができるようになること。
4. データフレームのデータから平均値とか計算できるようになること。

まずはここまでではないでしょうかね。データベースの勉強は後回しでいい気がします。

PythonならNumPy, SciPy Matplotlib, pandasというライブラリでカバーできるので、まずこれらが詳しく解説されている教科書を買いましょう。私が知っている範囲では『科学技術計算のためのPython入門』中久喜健司著・ 技術評論社は分かりやすくて役に立ちました。

Comments

[Yasumichi]

「当方、統計分析手法についての知識はありますが」とあったので R ぐらいは大丈夫かなとか、勝手に思ってデータベースについて、書いてしまいました。まだ、早かったですかね…。

[boatrace]

Rぐらいは大丈夫です。目的にあったデータベースの情報を欲していたので、的確なアドバイスでした。ありがとうございます。

Answer 2

sqlite3はpythonで標準で使えます。私はmysql派ですがpythonがあればインストール不要な
sqlite3からはじめても良いかもしれません。sqlite3はファイルベースのdatabaseですが
ローカルやデータ分析用で使う分にはpython+pandasなどのデータ分析に集中できると思います。
なれてきたらmysql、postgresqlと手を広げていけばいいのでお勧めです。
作成したdatabaseはファイルですのでコピーして他のsqliteが使える端末で使えます。

下記はsqlite3でデータベースを扱うサンプルです
（ただしデータベースによるpythonコードの違いはほとんどないと思います）。

関数化すると学習コストが抑えられて学習が進むと思います。

import sqlite3
import pandas as pd

#pandasを経由したsqlite3 Table データ表示

#関数化編==============================================
# select発行
def sql_select(db,sql):
    con = sqlite3.connect(db)
    df = pd.read_sql(sql,con)
    return df

#=======================================================

result = sql_select("test.db","select * from test")

print(result)

Comments

[退会済みユーザー]

SQLの管理ツールとして、A5M2は様々なデータベースを扱うことができるのでお勧めです。
SQLStudioなんかもおすすめです。

また、Eclipce、VScodeなどでも拡張機能をインストールすると簡易的にdatabaseを扱えるように
なります。

sqliteの管理ツールとしては、PupSQLite、DB Browser for SQLiteなどがあります。

[boatrace]

SQLについての段階的なアドバイスありがとうございます。色々試行錯誤してみようと思います。コードまで記載して頂いてありがとうございます。

Answer 3

大方の手順に問題はないと思います。

手元にデータベースソフトウェアはありますか？

例えば、PostgreSQL というデータベースソフトウェアを利用してみてはいかがでしょう。

• PostgreSQL: The world's most advanced open source database
• PostgreSQL 9.6.3 をインストールしてテーブルを作成する | ドラブロ – let bygones be bygones –
• PostgreSQL を初めて使ってみる - Qiita

また、pgAdmin というのを使うと便利です。

• pgAdmin - PostgreSQL Tools
• pgAdminIII のインストールと使用法

psql という、Postgres 付属のクライアントでも COPY や \copy を利用して、CSV をテーブルに取り込む機能がありますが、pgAdmin だとマウス操作でできます。

Comments

[boatrace]

postgreSQLが色々あって困惑していましたが、pgAdminが便利という情報は大変参考になりました。ありがとうございます。

Answer 4

jupyter notebookとSQLite3を組み合わせることで実現できます。

私もボートレースのデータ分析をしています。
データ分析を行うには、https://github.com/cstenmt/boatraceは情報が不足していますので、データベースを自作して運用しています。

https://github.com/takobouzu/BOAT_RACE_DB