SQL syntax

Question

実現したいこと

pythonでMySQLへデータを挿入したいのです。

前提

1. コネクターはMySQL Connectorです。
2. 辞書profileに入っているデータは下記の通りです。

{'登録': '繁殖', '品種': 'サラ', '性別': '牡', '生年月日': '2002/03/2516歳', '馬主': '金子真人ホールディングス（株）', '毛色': '鹿毛', '調教師': '池江泰郎（栗東）
', '生産牧場': 'ノーザンファーム', '産地': '早来産', '戦績': '国内：13戦12勝海外：1戦0勝', '総賞金': '145455.1万円', '市場取引': '2002年7350.0万円セレクトセールサ
ラブレッド当歳', '繋養先': '社台スタリオンステーション 勇払郡安平町電話：[phone]', '種付料': '2018年度：プライベート'}

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/mysql/connector/connection_cext.py", line 377, in c
md_query
    raw_as_string=raw_as_string)
_mysql_connector.MySQLInterfaceError: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to
 use near 'values (742976, ディープインパクト, Deep Impact, JPN, 繁殖, サラ, ' at line 1

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "horse_q.py", line 76, in <module>
    profile['市場取引'], profile['繋養先'], profile['種付料']))
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/mysql/connector/cursor_cext.py", line 264, in execu
te
    raw_as_string=self._raw_as_string)
  File "/usr/local/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/mysql/connector/connection_cext.py", line 380, in c
md_query
    sqlstate=exc.sqlstate)
mysql.connector.errors.ProgrammingError: 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for th
e right syntax to use near 'values (742976, ディープインパクト, Deep Impact, JPN, 繁殖, サラ, ' at line 1

該当のソースコード

cursor.execute('insert into horse \
                (id, name_ja, name_en, country, \
                 state, kind, sex, date_of_birth, owner, coat_color, \
                 trainer, breeding_farm, producting_area, past_performance, earning, \
                 market, maintin_farm, stud_fee \
                values (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)' %
                (start, name_ja, name_en, country,
                 profile['登録'], profile['品種'], profile['性別'],
                 profile['生年月日'], profile['馬主'], profile['毛色'],
                 profile['調教師'], profile['生産牧場'], profile['産地'],
                 profile['戦績'], profile['総賞金'],
                 profile['市場取引'], profile['繋養先'], profile['種付料']))

ソースコード全文

import mysql.connector
import urllib.request, urllib.error
from bs4 import BeautifulSoup
import re

connect = mysql.connector.connect(
    host='localhost', user='root', passwd='********', db='horse_test', charset='utf8')
cursor = connect.cursor()

# プロフィールの項目
profile_key_list = ['登録', '品種', '性別', '生年月日', '馬主', '毛色',
                    '調教師', '生産牧場', '産地', '戦績', '総賞金',
                    '市場取引', '繋養先', '種付料']
profile_dict = {i: [] for i in profile_key_list}
profile = {i: [] for i in profile_key_list}

start = 742976
stop = start

while start <= stop:

    url = urllib.request.urlopen('http://www.jbis.or.jp/horse/' + '{0:010d}'.format(start) + '/')
    html = BeautifulSoup(url, 'lxml')

    try:
        name_ja = html.find('h1', class_='hdg-l1-02').text
        name_en = html.find('div', class_='sup').text.strip().splitlines()[0]
        if name_ja == '＿＿＿＿＿＿＿＿＿':
            name_ja, name_en = 'unknown', 'unknown'
        elif '現在' in name_en:
            name_en = None
    except:
        name_ja,name_en = None, None

    try:
        country = re.search(re.compile(r'(.+?)'), (name_ja + name_en))[0]
    except:
        country = 'unk'
    name_ja, name_en = name_ja.replace(country, ''), name_en.replace(country, '')
    if name_en == '':
        name_en = None
    country = country.replace('(', '').replace(')', '')

    try:
        profile_table_html = html.find_all('table', class_='tbl-data-05')
        profile_table_text = profile_table_html[0].text.replace(' (アラブ血量)', '\n')
        profile_list = [i for i in profile_table_text.splitlines() if i not in ['', u'\xa0']]
    except:
        profile_list = []

    key = profile_list[0]
    assert key in profile_list

    for i in profile_list[1:]:
        if i in profile_dict:
            key = i
        elif i.strip() == '写真':
            break
        else:
            profile_dict[key].append(i.strip().replace(u'\u3000', ''))

    for i in profile_dict:
        profile[i] = ''.join(profile_dict[i])

    cursor.execute('insert into horse \
                    (id, name_ja, name_en, country, \
                     state, kind, sex, date_of_birth, owner, coat_color, \
                     trainer, breeding_farm, producting_area, past_performance, earning, \
                     market, maintin_farm, stud_fee \
                    values (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)' %
                    (start, name_ja, name_en, country,
                     profile['登録'], profile['品種'], profile['性別'],
                     profile['生年月日'], profile['馬主'], profile['毛色'],
                     profile['調教師'], profile['生産牧場'], profile['産地'],
                     profile['戦績'], profile['総賞金'],
                     profile['市場取引'], profile['繋養先'], profile['種付料']))

    start += 1

# 保存
connect.commit()
connect.close()

以上、よろしくお願い致します。

Comments

[m.ts10806]

「Python」もタグに追記しておいてください。DBへアプローチしている言語がある場合はその言語仕様も関係してきます。

[m.ts10806]

前の質問と同問題のように思いますが、新たに質問をたてる必要はあったのでしょうか・・・？　https://teratail.com/questions/138314

[RenNearco]

すみません後ほど修正させていただきます。前の質問はSQLというよりpythonでの問題だと思っていたのですが、回答していただいた通り修正したところSQLでの問題だと思ったので、今回新たに質問させていただきました。

Answer 1

下記のエラーを見ると、文字データなのに'で括られてませんね。

mysql.connector.errors.ProgrammingError: 1064 (42000): 
 You have an error in your SQL syntax;
check the manual that corresponds to your MySQL server version 
for the right syntax to use near 
'values (742976, ディープインパクト, Deep Impact, JPN, 繁殖, サラ, ' at line 1

%sを`で括らないと駄目なんじゃないかな。

後はINSERT構文の誤り

insert into テ―ブル名(カラム名・・・) values (値・・・)

valuesの前に)が無いですね。

Comments

[RenNearco]

valuesの前に)を付けても同様のエラーが出てしまいます。

%sを'で括ると下記のエラーが出てしまいます。
values ('%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s')' %
^
SyntaxError: invalid syntax

[sazi]

エスケープするとか、全体を"で括るとか

Answer 2

valuesの行を下記の通りにしたら無事挿入できました。
旧：values (%s, %s, …… %s, %s)'** %**
新：values (%s, %s, …… %s, %s)',

cursor.execute('insert into horse \
                (id, name_ja, name_en, country, \
                 state, kind, sex, date_of_birth, owner, coat_color, \
                 trainer, breeding_farm, producting_area, past_performance, earning, \
                 market, maintin_farm, stud_fee) \
                values (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)',
                (start, name_ja, name_en, country,
                 profile['登録'], profile['品種'], profile['性別'],
                 profile['生年月日'], profile['馬主'], profile['毛色'],
                 profile['調教師'], profile['生産牧場'], profile['産地'],
                 profile['戦績'], profile['総賞金'],
                 profile['市場取引'], profile['繋養先'], profile['種付料']))

回答してくださった方ありがとうございました。
(о´∀`о)(´∇｀)