トップに関する質問 Pythonでスクレイピング。DB接続しExcelにデータを入れる際エラー頻出。ご指導お願いします！

編集履歴

質問編集履歴

7. ソースコードなどの可読性を高めるために、ボールドや水平線などを入れた。

2019/12/03 16:15

投稿

rare-sugar

スコア4

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -10,11 +10,11 @@
 i.	環境
-OS:		Windows 10 Pro
+1. OS:		Windows 10 Pro
-Python環境	Anaconda (version 1.7.2)
+2. Python環境	Anaconda (version 1.7.2)
-Excel		MS Office 2013 Pro
+3. Excel	MS Office 2013 Pro
@@ -28,7 +28,7 @@
-A:	実現したいこと
+A:	### 実現したいこと
@@ -36,7 +36,7 @@
-B	行列数とデータ型
+B	### 行数列数とデータ型
@@ -54,6 +54,8 @@
 1.	**SQLとfor文で複数の画像を一挙にスクレイピング**し、いったんデータベース（SQLite）に格納するところまでは、問題なく成功。
 2.	それらの画像データを読み込みExcelへ書き出しする時点で、失敗する。jupyter notebook上に表示させるくらいは可能だが、Excelの場合はやはりExcel独特のセル処理の問題があるので、何列何行目のセルにきちんと入らないとExcelデータにならないようです。
@@ -154,7 +156,7 @@
          {' id':10',  'Structures':'10.png ':''}]
----
+---------------------------------------------------------------------
 **d = {}
@@ -176,7 +178,7 @@
 ```
+---------------------------------------------------------------------
 ### 試したこと
@@ -260,7 +262,9 @@
----
+------------------------------------------------------------------------
 for row in wspp.values:

6. ソースコードなどの可読性を高めるために、ボールドや水平線などを入れた。

2019/12/03 16:15

投稿

rare-sugar

スコア4

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -52,21 +52,21 @@
-1.	SQLとfor文で複数の画像を一挙にスクレイピングし、いったんデータベース（SQLite）に格納するところまでは、問題なく成功。
+1.	**SQLとfor文で複数の画像を一挙にスクレイピング**し、いったんデータベース（SQLite）に格納するところまでは、問題なく成功。
 2.	それらの画像データを読み込みExcelへ書き出しする時点で、失敗する。jupyter notebook上に表示させるくらいは可能だが、Excelの場合はやはりExcel独特のセル処理の問題があるので、何列何行目のセルにきちんと入らないとExcelデータにならないようです。
-3.	データ型を「リスト型」にすれば、for文でそのリストの中の画像を【add_image】メソッドで順次複数の画像を複数のセルの中に入れることは可能。現に、それでうまくいっています。
+3.	データ型を「リスト型」にすれば、for文でそのリストの中の画像を【**add_image**】メソッドで順次複数の画像を複数のセルの中に入れることは可能。現に、それでうまくいっています。
-4.	目的はリストではなくあくまでもデータベースとしてSQL文で上記の処理を実現したいのです。なにしろ、扱う画像ファイルは何千何万とあるのですから、何千何万ものリストを手入力で記述することは現実的ではありません。
+4.	目的はリストではなく**あくまでもデータベースとしてSQL文で上記の処理を実現したい**のです。なにしろ、扱う画像ファイルは何千何万とあるのですから、何千何万ものリストを手入力で記述することは現実的ではありません。
-5.	リストやタプルを変数化して短いコードで膨大な画像をExcelに格納できるのであればそれでもいいですから、とにかくこれらの画像をExcelシートのセルに入れるPythonコーディングをお教えください。
+5.	**リストやタプルを変数化して短いコードで膨大な画像をExcelに格納できるのであればそれでもいい**ですから、とにかくこれらの画像をExcelシートのセルに入れるPythonコーディングをお教えください。
@@ -154,23 +154,21 @@
          {' id':10',  'Structures':'10.png ':''}]
- -------------------------------中略-------------------------
+---
-# d = {}
+**d = {}
-# for x in xlImages
+for x in xlImages
-#    if x not in d.keys():
+    if x not in d.keys():
-#        d[x] = 1
+        d[x] = 1
-#    else:
+    else:
-#        d[x] += 1
+        d[x] += 1
+**
 wbbk.save('New_myImages.xlsx')
@@ -262,6 +260,8 @@
+---
 for row in wspp.values:
     sqlstr = "INSERT INTO TABLE1  ('id, 'Structures') VALUES(?,?)"

5. ソースコードとスクレイピングを可視化するために、アセチルカルニチン（カルニチン誘導体の一種）の画像データを添付。

2019/12/03 15:30

投稿

rare-sugar

スコア4

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -359,3 +359,7 @@
 ### 補足情報（FW/ツールのバージョンなど）
+!["1.png"アセチルカルニチン（カルニチン誘導体の一種）の画像データ](322f2fe988e6fde3462fb2824970be26.png)
+NCBI（米国立生物工学情報センター）の化学医学データベースサイトPubChemからidと2D画像データ（分子模型、化学組成）をスクレイピング。ちなみに、その1番目は、Acetylcarnitine。アセチルカルニチン（カルニチン誘導体の一種）で、2D画像データも参考のためUpしておきます。URLは、[リンク内容](https://pubchem.ncbi.nlm.nih.gov/compound/1)

4. ソースコードを<code>ボタンよりマークアップ開始

2019/12/03 14:50

投稿

rare-sugar

スコア4

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -108,7 +108,7 @@
 #  SQLを実行
-```Python & SQL
+```SQL
 c.execute(DROP_TABLE)
@@ -228,7 +228,7 @@
 (id INTEGER PRIMARY KEY,
-Structures BLOB)''
+Structures BLOB)'''
@@ -244,7 +244,7 @@
 c.execute(DROP_TABLE)
-c.execute(CREATE_ TABLE1)
+c.execute(CREATE_TABLE1)

3. ソースコードを<code>ボタンよりマークアップ開始

2019/12/03 14:26

投稿

rare-sugar

スコア4

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -100,146 +100,152 @@
 # 「カーソル」を取得
+```ここに言語を入力
 c = conn.cursor()
+```
 #  SQLを実行
-```ここに言語を入力
+```Python & SQL
 c.execute(DROP_TABLE)
+c.execute(CREATE_TABLE1)
+```
+エラーメッセージ
+OSError: cannot identify image file '11.png'
+### 該当のソースコード
+```Python
+from openpyxl.drawing.image import Image
+from openpyxl.styles import Alignment
+xlImages = [{'id':1',  'Structures':'1.png'},
+         {' id':2',  'Structures':'2.png,
+         {' id':3',  'Structures':'3.png,
+         {' id':4',  'Structures':'4.png,
+         {' id':5',  'Structures':'5.png,
+         {' id':6',  'Structures':'6.png,
+         {' id':7',  'Structures':'7.png,
+         {' id':8',  'Structures':'8.png,
+         {' id':9',  'Structures':'9.png,
+         {' id':10',  'Structures':'10.png ':''}]
+ -------------------------------中略-------------------------
+# d = {}
+# for x in xlImages
+#    if x not in d.keys():
+#        d[x] = 1
+#    else:
+#        d[x] += 1
+wbbk.save('New_myImages.xlsx')
+```
+### 試したこと
+```Python
+import sqlite3
+import openpyxl as px
+import sqlalchemy as sa
+import requests
+import cv2
+import pandas as pd
+import numpy as np
+dbName = 'pyDataBase.db'
+dbPath = r'C:\Users\shin\python_sqlite3\PubChem\pyDataBase.db'
+xlBook = 'xlDataBase.xlsx'
+xlPath = r'C:\Users\shin\python_sqlite3\PubChem\xlDataBase.xlsx'
+# テーブル作成をやり直したいときに備えます
+DROP_TABLE = "DROP TABLE IF EXISTS TABLE1"
+# テーブルの定義と作成
+CREATE_ TABLE1 = '''CREATE TABLE TABLE1
+(id INTEGER PRIMARY KEY,
+Structures BLOB)''
+# データベースを新規作成（DBに【接続】）
+conn = sqlite3.connect(' pyDataBase.db ')
+# 「カーソル」を取得
+c = conn.cursor()
+#  SQLを実行
+c.execute(DROP_TABLE)
 c.execute(CREATE_ TABLE1)
-```
-エラーメッセージ
-OSError: cannot identify image file '11.png'
-### 該当のソースコード
-from openpyxl.drawing.image import Image
-from openpyxl.styles import Alignment
-xlImages = [{'id':1',  'Structures':'1.png'},
-         {' id':2',  'Structures':'2.png,
-         {' id':3',  'Structures':'3.png,
-         {' id':4',  'Structures':'4.png,
-         {' id':5',  'Structures':'5.png,
-         {' id':6',  'Structures':'6.png,
-         {' id':7',  'Structures':'7.png,
-         {' id':8',  'Structures':'8.png,
-         {' id':9',  'Structures':'9.png,
-         {' id':10',  'Structures':'10.png ':''}]
- -------------------------------中略-------------------------------------
-# d = {}
-# for x in xlImages
-#    if x not in d.keys():
-#        d[x] = 1
-#    else:
-#        d[x] += 1
-wbbk.save('New_myImages.xlsx')
-### 試したこと
-import sqlite3
-import openpyxl as px
-import sqlalchemy as sa
-import requests
-import cv2
-import pandas as pd
-import numpy as np
-dbName = 'pyDataBase.db'
-dbPath = r'C:\Users\shin\python_sqlite3\PubChem\pyDataBase.db'
-xlBook = 'xlDataBase.xlsx'
-xlPath = r'C:\Users\shin\python_sqlite3\PubChem\xlDataBase.xlsx'
-# テーブル作成をやり直したいときに備えます
-DROP_TABLE = "DROP TABLE IF EXISTS TABLE1"
-# テーブルの定義と作成
-CREATE_ TABLE1 = '''CREATE TABLE TABLE1
-(id INTEGER PRIMARY KEY,
-Structures BLOB)''
-# データベースを新規作成（DBに【接続】）
-conn = sqlite3.connect(' pyDataBase.db ')
-# 「カーソル」を取得
-c = conn.cursor()
-#  SQLを実行
-c.execute(DROP_TABLE)
-c.execute(CREATE_ TABLE1)
 #  【INSERT文】に挿入するナマ・データを直接記述することはセキュリティ面で問題になるので、プレースホルダの？で代替
@@ -346,4 +352,10 @@
     conn.close() # 接続解除
+```
 ### 補足情報（FW/ツールのバージョンなど）

2. ソースコードを<code>ボタンよりマークアップ開始_2

2019/12/03 14:16

投稿

rare-sugar

スコア4

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -92,12 +92,144 @@
 # データベースを新規作成（DBに【接続】）
+```Python
+conn = sqlite3.connect('pyDataBase.db')
+```
+# 「カーソル」を取得
+c = conn.cursor()
+#  SQLを実行
 ```ここに言語を入力
+c.execute(DROP_TABLE)
-conn = sqlite3.connect('pyDataBase.db')
+c.execute(CREATE_ TABLE1)
 ```
+エラーメッセージ
+OSError: cannot identify image file '11.png'
+### 該当のソースコード
+from openpyxl.drawing.image import Image
+from openpyxl.styles import Alignment
+xlImages = [{'id':1',  'Structures':'1.png'},
+         {' id':2',  'Structures':'2.png,
+         {' id':3',  'Structures':'3.png,
+         {' id':4',  'Structures':'4.png,
+         {' id':5',  'Structures':'5.png,
+         {' id':6',  'Structures':'6.png,
+         {' id':7',  'Structures':'7.png,
+         {' id':8',  'Structures':'8.png,
+         {' id':9',  'Structures':'9.png,
+         {' id':10',  'Structures':'10.png ':''}]
+ -------------------------------中略-------------------------------------
+# d = {}
+# for x in xlImages
+#    if x not in d.keys():
+#        d[x] = 1
+#    else:
+#        d[x] += 1
+wbbk.save('New_myImages.xlsx')
+### 試したこと
+import sqlite3
+import openpyxl as px
+import sqlalchemy as sa
+import requests
+import cv2
+import pandas as pd
+import numpy as np
+dbName = 'pyDataBase.db'
+dbPath = r'C:\Users\shin\python_sqlite3\PubChem\pyDataBase.db'
+xlBook = 'xlDataBase.xlsx'
+xlPath = r'C:\Users\shin\python_sqlite3\PubChem\xlDataBase.xlsx'
+# テーブル作成をやり直したいときに備えます
+DROP_TABLE = "DROP TABLE IF EXISTS TABLE1"
+# テーブルの定義と作成
+CREATE_ TABLE1 = '''CREATE TABLE TABLE1
+(id INTEGER PRIMARY KEY,
+Structures BLOB)''
+# データベースを新規作成（DBに【接続】）
+conn = sqlite3.connect(' pyDataBase.db ')
 # 「カーソル」を取得
 c = conn.cursor()
@@ -110,132 +242,6 @@
-エラーメッセージ
-OSError: cannot identify image file '11.png'
-### 該当のソースコード
-from openpyxl.drawing.image import Image
-from openpyxl.styles import Alignment
-xlImages = [{'id':1',  'Structures':'1.png'},
-         {' id':2',  'Structures':'2.png,
-         {' id':3',  'Structures':'3.png,
-         {' id':4',  'Structures':'4.png,
-         {' id':5',  'Structures':'5.png,
-         {' id':6',  'Structures':'6.png,
-         {' id':7',  'Structures':'7.png,
-         {' id':8',  'Structures':'8.png,
-         {' id':9',  'Structures':'9.png,
-         {' id':10',  'Structures':'10.png ':''}]
- -------------------------------中略-------------------------------------
-# d = {}
-# for x in xlImages
-#    if x not in d.keys():
-#        d[x] = 1
-#    else:
-#        d[x] += 1
-wbbk.save('New_myImages.xlsx')
-### 試したこと
-import sqlite3
-import openpyxl as px
-import sqlalchemy as sa
-import requests
-import cv2
-import pandas as pd
-import numpy as np
-dbName = 'pyDataBase.db'
-dbPath = r'C:\Users\shin\python_sqlite3\PubChem\pyDataBase.db'
-xlBook = 'xlDataBase.xlsx'
-xlPath = r'C:\Users\shin\python_sqlite3\PubChem\xlDataBase.xlsx'
-# テーブル作成をやり直したいときに備えます
-DROP_TABLE = "DROP TABLE IF EXISTS TABLE1"
-# テーブルの定義と作成
-CREATE_ TABLE1 = '''CREATE TABLE TABLE1
-(id INTEGER PRIMARY KEY,
-Structures BLOB)''
-# データベースを新規作成（DBに【接続】）
-conn = sqlite3.connect(' pyDataBase.db ')
-# 「カーソル」を取得
-c = conn.cursor()
-#  SQLを実行
-c.execute(DROP_TABLE)
-c.execute(CREATE_ TABLE1)
 #  【INSERT文】に挿入するナマ・データを直接記述することはセキュリティ面で問題になるので、プレースホルダの？で代替
 #   executeメソッドの引数にはSQL文と、かつ挿入する実際値をリストやタプルの形で指定。今回は【文字列のタプルであるrow】を指定

1. ソースコードを<code>ボタンよりマークアップ開始_1

2019/12/03 14:08

投稿

rare-sugar

スコア4

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -92,6 +92,136 @@
 # データベースを新規作成（DBに【接続】）
+```ここに言語を入力
+conn = sqlite3.connect('pyDataBase.db')
+```
+# 「カーソル」を取得
+c = conn.cursor()
+#  SQLを実行
+c.execute(DROP_TABLE)
+c.execute(CREATE_ TABLE1)
+エラーメッセージ
+OSError: cannot identify image file '11.png'
+### 該当のソースコード
+from openpyxl.drawing.image import Image
+from openpyxl.styles import Alignment
+xlImages = [{'id':1',  'Structures':'1.png'},
+         {' id':2',  'Structures':'2.png,
+         {' id':3',  'Structures':'3.png,
+         {' id':4',  'Structures':'4.png,
+         {' id':5',  'Structures':'5.png,
+         {' id':6',  'Structures':'6.png,
+         {' id':7',  'Structures':'7.png,
+         {' id':8',  'Structures':'8.png,
+         {' id':9',  'Structures':'9.png,
+         {' id':10',  'Structures':'10.png ':''}]
+ -------------------------------中略-------------------------------------
+# d = {}
+# for x in xlImages
+#    if x not in d.keys():
+#        d[x] = 1
+#    else:
+#        d[x] += 1
+wbbk.save('New_myImages.xlsx')
+### 試したこと
+import sqlite3
+import openpyxl as px
+import sqlalchemy as sa
+import requests
+import cv2
+import pandas as pd
+import numpy as np
+dbName = 'pyDataBase.db'
+dbPath = r'C:\Users\shin\python_sqlite3\PubChem\pyDataBase.db'
+xlBook = 'xlDataBase.xlsx'
+xlPath = r'C:\Users\shin\python_sqlite3\PubChem\xlDataBase.xlsx'
+# テーブル作成をやり直したいときに備えます
+DROP_TABLE = "DROP TABLE IF EXISTS TABLE1"
+# テーブルの定義と作成
+CREATE_ TABLE1 = '''CREATE TABLE TABLE1
+(id INTEGER PRIMARY KEY,
+Structures BLOB)''
+# データベースを新規作成（DBに【接続】）
 conn = sqlite3.connect(' pyDataBase.db ')
 # 「カーソル」を取得
@@ -106,132 +236,6 @@
-エラーメッセージ
-OSError: cannot identify image file '11.png'
-### 該当のソースコード
-from openpyxl.drawing.image import Image
-from openpyxl.styles import Alignment
-xlImages = [{'id':1',  'Structures':'1.png'},
-         {' id':2',  'Structures':'2.png,
-         {' id':3',  'Structures':'3.png,
-         {' id':4',  'Structures':'4.png,
-         {' id':5',  'Structures':'5.png,
-         {' id':6',  'Structures':'6.png,
-         {' id':7',  'Structures':'7.png,
-         {' id':8',  'Structures':'8.png,
-         {' id':9',  'Structures':'9.png,
-         {' id':10',  'Structures':'10.png ':''}]
- -------------------------------中略-------------------------------------
-# d = {}
-# for x in xlImages
-#    if x not in d.keys():
-#        d[x] = 1
-#    else:
-#        d[x] += 1
-wbbk.save('New_myImages.xlsx')
-### 試したこと
-import sqlite3
-import openpyxl as px
-import sqlalchemy as sa
-import requests
-import cv2
-import pandas as pd
-import numpy as np
-dbName = 'pyDataBase.db'
-dbPath = r'C:\Users\shin\python_sqlite3\PubChem\pyDataBase.db'
-xlBook = 'xlDataBase.xlsx'
-xlPath = r'C:\Users\shin\python_sqlite3\PubChem\xlDataBase.xlsx'
-# テーブル作成をやり直したいときに備えます
-DROP_TABLE = "DROP TABLE IF EXISTS TABLE1"
-# テーブルの定義と作成
-CREATE_ TABLE1 = '''CREATE TABLE TABLE1
-(id INTEGER PRIMARY KEY,
-Structures BLOB)''
-# データベースを新規作成（DBに【接続】）
-conn = sqlite3.connect(' pyDataBase.db ')
-# 「カーソル」を取得
-c = conn.cursor()
-#  SQLを実行
-c.execute(DROP_TABLE)
-c.execute(CREATE_ TABLE1)
 #  【INSERT文】に挿入するナマ・データを直接記述することはセキュリティ面で問題になるので、プレースホルダの？で代替
 #   executeメソッドの引数にはSQL文と、かつ挿入する実際値をリストやタプルの形で指定。今回は【文字列のタプルであるrow】を指定