前提・実現したいこと
質問の観覧有難うございます。
pythonの勉強を始めた初心なのですが、現在『Pythonクローリング&スクレイピング』という本で勉強させていただいています。
youtubeの動画情報をMongoDBに収納し検索可能にする。を行うとしているのですが、下記のエラーが出てしまいます。
MongoDBがうまく起動していないかと思って色々試したのですが、
(scraping) hi:python test ○○$ brew services list
Name Status User Plist
mongodb started ○○ /Users/ ○○/Library/LaunchAgents/homebrew.mxcl.mongodb.plist
mysql stopped
unbound stopped
起動している用に思えます。
どうか助言をよろしくお願いします。
発生している問題・エラーメッセージ
Inserted 20 documents Traceback (most recent call last): File "save_youtube_video_metadata.py", line 77, in <module> main() File "save_youtube_video_metadata.py", line 21, in main save_to_mongodb(collection, items_per_page) File "save_youtube_video_metadata.py", line 63, in save_to_mongodb result = collection.insert_many(items, ordered=False) File "/Users/hiro/python test/scraping/lib/python3.7/site-packages/pymongo-3.7.2-py3.7-macosx-10.6-intel.egg/pymongo/collection.py", line 753, in insert_many blk.execute(write_concern, session=session) File "/Users/hiro/python test/scraping/lib/python3.7/site-packages/pymongo-3.7.2-py3.7-macosx-10.6-intel.egg/pymongo/bulk.py", line 521, in execute return self.execute_command(generator, write_concern, session) File "/Users/hiro/python test/scraping/lib/python3.7/site-packages/pymongo-3.7.2-py3.7-macosx-10.6-intel.egg/pymongo/bulk.py", line 349, in execute_command _raise_bulk_write_error(full_result) File "/Users/hiro/python test/scraping/lib/python3.7/site-packages/pymongo-3.7.2-py3.7-macosx-10.6-intel.egg/pymongo/bulk.py", line 140, in _raise_bulk_write_error raise BulkWriteError(full_result) pymongo.errors.BulkWriteError: batch op errors occurred ERROR: exit status 1
該当のソースコード
Python
1import os 2import sys 3 4from apiclient.discovery import build 5from pymongo import MongoClient, DESCENDING 6 7YOUTUBE_API_KEY = os.environ['YOUTUBE_API_KEY'] 8 9 10def main(): 11 ''' 12 メイン処理。 13 ''' 14 mongo_client = MongoClient('localhost', 27017) 15 16 collection = mongo_client.youtube.videos 17 18 collection.delete_many({}) 19 20 for items_per_page in search_videos('手芸'): 21 save_to_mongodb(collection, items_per_page) 22 23 show_top_videos(collection) 24 25 26def search_videos(query, max_pages=5): 27 ''' 28 動画を検索して、ページ単位でlistをyieldする 29 ''' 30 youtube = build('youtube', 'v3', developerKey=YOUTUBE_API_KEY) 31 32 search_request = youtube.search().list( 33 part='id', 34 q=query, 35 type='video', 36 maxResults=20, 37 ) 38 39 i = 0 40 while search_request and i < max_pages: 41 search_response = search_request.execute() 42 43 video_ids = [item['id']['videoId']for item in search_response['items']] 44 45 videos_response = youtube.videos().list( 46 part='snippet,statistics', 47 id=','.join(video_ids) 48 ).execute() 49 50 yield videos_response['items'] 51 52 search_request = youtube.search().list_next(search_request, search_response) 53 i += 1 54 55 56def save_to_mongodb(collection, items): 57 58 for item in items: 59 item['_id'] = item['id'] 60 61 for key, value in item['statistics'].items(): 62 item['statistics'][key] = int(value) 63 result = collection.insert_many(items, ordered=False) 64 print('Inserted {0} documents'.format(len(result.inserted_ids)), file=sys.stderr) 65 66 def show_top_videos(collection): 67 ''' 68 MongoDBのコレクションないでビュー数の上位を5位を表示する 69 ''' 70 71 for item in collection.find().sort('statistics.viewCount', DESCENDING).limit(5): 72 print(item['statistics']['viewCount'], item['snipper']['title']) 73 74 75if __name__ == '__main__': 76 77 main()
試したこと
ここに問題に対して試したことを記載してください。
補足情報(FW/ツールのバージョンなど)
ここにより詳細な情報を記載してください。
あなたの回答
tips
プレビュー