質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.75%

  • Python

    6807questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • SQLite

    579questions

    SQLiteはリレーショナルデータベース管理システムの1つで、サーバーではなくライブラリとして使用されている。

  • スクレイピング

    282questions

PythonでスクレイピングしてきたデータをSQLiteに挿入する部分のコード

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 187

harunouta

score 69

前提・実現したいこと

現在手入力の部分のデータをスクレイピングしてきたデータをSQLiteに入れる部分のコードを書いています。参考にして動かしているコードが理解できず、自分が書きたいコードに応用することができていません。参考にしているコード(train3.py)

該当のソースコード

手入力で[1000000, "チョコレート", 120]というデータをSQLiteに挿入できているコード
この(code, name, price)にあたる[1000000, "チョコレート", 120]の部分を以下のようにスクレイピングで取得した時、

v['code'] = elem.text.strip()
v['name'] = elem.text.strip()
v['price'] = elem.text.strip()
con.execute("INSERT INTO master_data (code, name, price)VALUES (?, ?, ?)", [v['code'], v['name'], v['price'])

` のように書いてもうまくいかず、どのようにすればいいのかアドバイスをいただきたいです。

import sqlite3

#create database
con = sqlite3.connect("master_data.sqlite3")

#create a database
sql = u"""
create table if not exists master_data (
  code integer,
  name varchar(100),
  price integer
);
"""
con.execute(sql)

#insert a data
con.execute("INSERT INTO master_data (code, name, price)VALUES (?, ?, ?)", [1000000, "チョコレート", 120])

#retrieve records
c = con.cursor()
c.execute(u"select * from master_data")
for row in c: # rowはtuple
    print(row[0], row[1], row[2])
# -*- coding: utf-8 -*-

from bs4 import BeautifulSoup
import urllib.request as req
import sqlite3
import re

url = "http://www.keishicho.metro.tokyo.jp/kurashi/higai/kodomo/fushin/20_fushin.html"
dbname = 'database.db'
conn = sqlite3.connect(dbname)
c = conn.cursor()
table_name = 'test'

# train1の部分
def get_html():
    # urlopen()でデータを取得
    res = req.urlopen(url)

    # BeautifulSoup()で解析
    soup = BeautifulSoup(res, 'html.parser')

    # 任意のデータを抽出
    main = soup.find("div", id="main").find("div", class_="main_inner").find("div", class_="t-box2")
    news_list = main.find("table").find_all("tr")

    res = []
    for news in news_list:
        res += get_res(news)

    return res

# 記事から情報を抜き出すところ
def get_res(news):
    place = news.find('th').string
    main = news.find('td').find('p').text
    main_list = re.match('(.*警察署)([0-9]{1,2})月([0-9]{1,2})日((.)曜)、(.*)ころ、(.*)不審者の特徴:(.*)', main).groups()
    police = main_list[0]
    date = main_list[1] + main_list[2] + main_list[3]
    time = main_list[4]
    body = main_list[5]
    feature = main_list[6]

    return [(place, police, date, time, body, feature)]


def drop_table(tname):
    # executeメソッドでSQL文を実行する
    create_table = '''drop table if EXISTS {} '''.format(tname)
    c.execute(create_table)

# train2の部分
def create_table(tname):
    # executeメソッドでSQL文を実行する(型はひとまずcharで入れてます...)
    create_table = '''
create table if NOT EXISTS {} (
    place varchar(64),
    police varchar(32),
    date varchar(64),
    time varchar(64),
    body varchar(64),
    feature varchar(64))'''.format(tname)
    c.execute(create_table)

def insert_data(tname, data):
    # 一度に複数のSQL文を実行したいときは,タプルのリストを作成した上で
    # executemanyメソッドを実行する
    insert_sql = 'insert into {0} (place, police, date, time, body, feature) values (?,?,?,?,?,?)'.format(tname)
    c.executemany(insert_sql, data)
    conn.commit()

def select_all(tname):
    select_sql = 'select * from {0}'.format(table_name)
    res = ""
    for row in c.execute(select_sql):
        res += str(row)
    return res


if __name__ == '__main__':
    drop_table(table_name)
    create_table(table_name)
    test = get_html()
    insert_data(table_name, test)
    print(select_all(table_name))


    conn.close()

補足情報(言語/FW/ツール等のバージョンなど)

Python 2.7.12
SQLite3 3.11.0

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • can110

    2018/01/04 15:19

    pythonバージョンは間違いなく2.7でしょうか(urllib.requestは2.xは存在しないはず)?また「うまくいかない」の詳細を追記ください(当方環境では正常に動作)

    キャンセル

  • harunouta

    2018/01/04 15:48

    解決しました。ご指摘いただきましてありがとうございました。

    キャンセル

回答 1

check解決した方法

0

con.execute("INSERT INTO master_data (code, name, price)VALUES (?, ?, ?)", [v['code'], v['name'], v['price']])

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.75%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python

    6807questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • SQLite

    579questions

    SQLiteはリレーショナルデータベース管理システムの1つで、サーバーではなくライブラリとして使用されている。

  • スクレイピング

    282questions