TypeError: a bytes-like object is required, not 'str'

Question

下記のプログラムを実行した際
「TypeError: a bytes-like object is required, not 'str'」というエラーが出てしまいます。
python2系から3系に移行したいと考えており現在3系で実行できるよう修正中です。
エラー解決のほかにも3系ならではのエラーが出そうな箇所がございましたらご指摘頂けると幸いです。

エラー内容
last_sf_modified = 2018/06/17 13:07:31
last_lo_modified = 2000/01/01 00:00:00
Traceback (most recent call last):
File "s2h_updater.py", line 17, in <module>
updated = s2h.sf_get_updated_companies(last_lo_modified)
File "/home/dbcon/s2h.py", line 48, in sf_get_updated_companies
r[e] = r[e].replace(''', '''')
TypeError: a bytes-like object is required, not 'str'

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import s2hdb
from datetime import datetime as dt
from operator import add
import numpy as np
import subprocess


path = “/home/dbcon/0615auto_dl_h.py”
#
# Salesforce handle Functions
#
def sf_get_last_modified_date():
    sf = s2hdb.sf_get_descriptor()
    q = "SELECT LastModifiedDate FROM Account " + \
                    "ORDER BY LastModifiedDate DESC LIMIT 1"
    r = sf.query_all(q)
    last_modified = dt.strptime(r["records"][0]["LastModifiedDate"],
                                    '%Y-%m-%dT%H:%M:%S.000+0000')
    return last_modified

def sf_get_updated_companies(last_modified):
    sf = s2hdb.sf_get_descriptor()
    q = "SELECT Name, Website, Description, Description_JP__c, " + \
        "Core_Technology__c, Core_Technology_JP__c, Development_Status__c, " + \
        "Development_Status_JP__c, Application__c, Application_JP__c, Tags__c, " + \
        "crunchbase_City__c, crunchbase_Region__c, crunchbase_Country__c, " + \
        "crunchbase_Founded_Date__c, crunchbase__Latest_Round_Funding_Type_Series__c, " + \
        "crunchbase_Profile_Image_URL__c, CreatedDate, Total_VC_Investment__c, Id " + \
        "FROM Account WHERE LastModifiedDate > " + \
        last_modified.strftime('%Y-%m-%dT%H:%M:%S.000+0000')
    results = sf.query_all(q)

    py = subprocess.call(“python %s” % path)
    print(py)
    #download()
    #print (results)
    coms = []
    for r in results["records"]:
        com = []
        elements = ['Name', 'Website', 'Description', 'Description_JP__c',
                    'Core_Technology__c', 'Core_Technology_JP__c', 'Development_Status__c',
                    'Development_Status_JP__c', 'Application__c', 'Application_JP__c', 'Tags__c',
                    'crunchbase_City__c', 'crunchbase_Region__c', 'crunchbase_Country__c',
                    'crunchbase_Founded_Date__c', 'crunchbase__Latest_Round_Funding_Type_Series__c',
                    'crunchbase_Profile_Image_URL__c', 'CreatedDate', 'Total_VC_Investment__c', 'Id']
        elements = [str(e) for e in elements]
        for e in elements:

エラー部分－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
            # Convert NoneType Object as ""
            if (r[e] is None):
                r[e] = str("")
            r[e] = str(r[e]).encode('utf-8')
            r[e] = r[e].replace('\'', '\'\'')
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－ーーーーー
            com.append('\'{0}\''.format(r[e]))
        # Duplication check.
        # It seems salesforce returns duplicated records.
        duplicated = False
        for c in coms:
            if coms[0] == '\'{0}\''.format(r["Name"]):
                   duplicated = True
        if (duplicated is True):
            continue
        #print(coms)
        coms.append(com)
    return coms


# Local DB handle functions
#

def lo_get_last_modified_date():
    con = s2hdb.lo_get_descriptor()
    cur = con.cursor()

    q = "SELECT last_modified from company ORDER BY last_modified DESC LIMIT 1"
    cur.execute(q)
    if (cur.rowcount == 0):
        # We want to move all from salesforce, so just set very early date
        last_modified = dt.strptime("2000/1/1 00:00:00", '%Y/%m/%d %H:%M:%S')
    else:
        last_modified = cur.fetchone()[0]
    cur.close()

    return last_modified

def lo_update_companies(data):
    if (len(data) == 0):
        return
    con = s2hdb.lo_get_descriptor()
    cur = con.cursor()

    coms = []
    for t in data:
        coms.append(t[0:21])
    #print (coms)
    q = "INSERT INTO company (legal_name, website, `desc`, desc_jp, core_tech, core_tech_jp, development_status, development_status_jp, " + \
        "application, application_jp, cat_name, City, Region, Country, founded_date, funding_series, picture, CreatedDate, total_funding, com_id) VALUES " + \
        ", ".join(map(lambda x : "(" + ",".join(x) + ")", coms)) + " " + \
        "ON DUPLICATE KEY UPDATE legal_name = VALUES(legal_name)"
    print (q)
    cur.execute(q)

    q = "INSERT INTO company (headquarter) " + \
    "SELECT GROUP_CONCAT(City, Region, Country SEPARATOR ', ') FROM company GROUP BY legal_name "
    cur.execute(q)
    con.commit()
    cur.close()

Comments

[YouheiSakurai]

もう少しご自身でコードを削ったり、うまくいかない部分を汎化させたりして、答えやすい質問に変更すると良いと思います。

[hayataka2049]

エラーが出た時点のコードをそのまま載せていただかないと、回答しづらいんですが・・・・

[beginner_py]

修正致しました。

Answer 1

とりあえず、

r[e] = r[e].replace('\'', '\'\'')
TypeError: a bytes-like object is required, not 'str'

このエラーに関しては、r[e]がbytes型なのに、引数の文字列はstr型（python2でいうunicode文字列）であるために発生しています。

bytes型のまま取り扱うのであれば、

r[e] = r[e].replace(b'\'', b'\'\'')

もうbytesはうんざりだからstrにしておきたいんだ、というのであれば（そうすることをおすすめしますが）、decodeしておきましょう。ちなみにstr(bytes)でstrに変換できたりはしません。

r[e] = r[e].decode()
r[e] = r[e].replace(b'\'', b'\'\'')

str→bytesはencode, bytes→strはdecodeです。

Comments

[hayataka2049]

今回はs2hdbが自作モジュールだと思うので（違ったらごめんなさい）、こっちを改修してstrで返させるようにした方が、根本的な解決にはなると思います