python2.7 pd.mergeでUnicodeEncodeErrorが出ます

Question

前提・実現したいこと

pythonと統計ダッシュボードのAPIを使って特定の地域のJSON形式のデータを取得し、表の形にしてExcelファイルにまとめようとしています。
データを１項目ずつ取得した後、pd.mergeを使ってデータフレームを結合しようとしているのですが、エラーが出てしまいます。

（6/21編集）
ppaulさんに指摘を受けた箇所を修正してみたのですが、やはり同じエラーが出ます。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "D:\Python\統計ダッシュボード_市区町村.py", line 136, in <module>
    main()
  File "D:\Python\統計ダッシュボード_市区町村.py", line 71, in main
    kekka=pd.merge(kekka,tmpdf,on=u'調査年',how='outer',sort='True')
  File "C:\Python27\ArcGISx6410.6\lib\site-packages\pandas\core\reshape\merge.py", line 48, in merge
    return op.get_result()
  File "C:\Python27\ArcGISx6410.6\lib\site-packages\pandas\core\reshape\merge.py", line 552, in get_result
    rdata.items, rsuf)
  File "C:\Python27\ArcGISx6410.6\lib\site-packages\pandas\core\internals\managers.py", line 1984, in items_overlap_with_suffix
    return (_transform_index(left, lrenamer),
  File "C:\Python27\ArcGISx6410.6\lib\site-packages\pandas\core\internals\managers.py", line 2004, in _transform_index
    items = [func(x) for x in index]
  File "C:\Python27\ArcGISx6410.6\lib\site-packages\pandas\core\internals\managers.py", line 1976, in lrenamer
    return '{x}{lsuffix}'.format(x=x, lsuffix=lsuffix)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-4: ordinal not in range(128)

該当のソースコード

#coding:cp932

import requests
import pandas as pd
import json
from pandas.io.json import json_normalize
import openpyxl

#保存場所
#fpath='D:\Python\統計ダッシュボード' #以下に修正
fpath=u'D:\Python\統計ダッシュボード'

#市区町村名
#City='旧仙台市'#以下に修正
City=u'旧仙台市'
CityCode='04201'

#リクエストurl
#GETメソッドで送る
baseurl='https://dashboard.e-stat.go.jp/api/1.0/'

def main():

    #リスト読み込み

    #toukei_list=fpath+"\"+u'系列コード.csv'#以下に修正
    toukei_list=fpath+"\"+u'系列コード.csv'

    #dtypeで指定しないと頭の0が落ちて戻せない
    df=pd.read_csv(toukei_list, sep=',',encoding='cp932',dtype='object')
    #
    codelist=list(df[u'系列コード'])
    komoku=list(df[u'項目名'])
    kflg=list(df[u'結合フラグ'])

    #空の辞書
    params={}

    #保存名
    filename=fpath+"\"+CityCode+"_"+City+".xlsx"

    geturl=baseurl+'Json/getData?'

    #excel
    wb=openpyxl.Workbook()
    wb.save(filename)
    with pd.ExcelWriter(filename,mode='a') as file:
        df.to_excel(file,sheet_name=u'コード一覧',index=False)
    wb=openpyxl.load_workbook(filename)
    wb.remove(wb['Sheet'])
    wb.save(filename)


    #送信
    for i in range(0,len(codelist)):
        params={
        'IndicatorCode':codelist[i],
        'RegionCode':CityCode,
        'Lang':'JP',
        'MetaGetFlg':'Y',
        'SectionHeaderFlg':'1',
        }
        res=requests.get(geturl,params=params)
        tmpdf=seikei(res.text)

        if i==0:
            kekka=tmpdf.copy()

        else:
            if kflg[i]==kflg[i-1]:
                    #調査年をキーとして結合する
                    kekka=pd.merge(kekka,tmpdf,on=u'調査年',how='outer',sort='True')
            else:
                with pd.ExcelWriter(filename,mode='a') as file:
                    kekka.to_excel(file,sheet_name=kflg[i-1],index=False)
                try:#最終行でエラー
                    if kflg[i]==kflg[i+1]:
                        kekka=tmpdf.copy()
                    else:
                        with pd.ExcelWriter(filename,mode='a') as file:
                         tmpdf.to_excel(file,sheet_name=kflg[i],index=False)
                except:
                  with pd.ExcelWriter(filename,mode='a') as file:
                    tmpdf.to_excel(file,sheet_name=kflg[i],index=False)

def seikei(resp):
       #辞書にする
        d=json.loads(resp)
        #result取り出し
        if d['GET_STATS']['RESULT']['status']=='0':
            #データ取得
            dic2=d['GET_STATS']['STATISTICAL_DATA']['DATA_INF']['DATA_OBJ']
            kdf=json_normalize(dic2)
            #調査年と値を取り出し
            kdf=kdf.loc[:,['VALUE.@time','VALUE.$']]
            #列見出し取り出し
            dic3=d['GET_STATS']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][0]['CLASS'][0]
            tname=dic3['@name']
            #値の列の見出しをリネーム
            dfnew=kdf.rename(columns={'VALUE.$':tname,'VALUE.@time':u'調査年'})
            dfnew[u'調査年']=dfnew[u'調査年'].str.replace('CY00','')
            #floatに変換
            StrtoFloat(dfnew,tname)
            #くりあー
            dic2[:]=[]
            dic3.clear()
        #データがない時の処理
        elif d['GET_STATS']['RESULT']['status']=='1':
            #系列コード取り出し
            nodatacode=d['GET_STATS']['PARAMETER']['indicatorCode'][0]
            dfnew=pd.DataFrame({u'調査年':'NODATA',
                                u'系列コード':nodatacode
                                }
                                ,index=[0])

        return dfnew

def StrtoFloat(data,string):
    #https://qiita.com/github-nakasho/items/796eaa24b5622bc93ea2
    if(data[string].dtype==object):
        #string列の-とXじゃない行はfloatにする
        data[string]=data[string].where((data[string] != '-') & (data[string] != 'X')).astype(float)
        #NaNを'-'にする
        data[string]=data[string].fillna('-')

■系列コード.csv

系列コード,項目名,出典,出典コード,結合フラグ
0201010000000010000,総人口（総数）,国勢調査,00200521,年齢３区分
0201010010000010010,総人口（０～14歳）,国勢調査,00200521,年齢３区分
0201010010000010020,総人口（15～64歳）,国勢調査,00200521,年齢３区分
0201010010000010030,総人口（65歳以上）,国勢調査,00200521,年齢３区分
0202000000000010000,世帯数（総数）,国勢調査,00200521,世帯・家族類型
0202010000000010010,一般世帯数,国勢調査,00200521,世帯・家族類型
0202010101000010010,親族のみの世帯数,国勢調査,00200521,世帯・家族類型
0202010101000010020,核家族世帯,国勢調査,00200521,世帯・家族類型
0202010101000010030,核家族以外の世帯,国勢調査,00200521,世帯・家族類型
0202010102000010010,非親族を含む世帯,国勢調査,00200521,世帯・家族類型
0202010103000010020,単独世帯,国勢調査,00200521,世帯・家族類型
0202010300000010010,高齢夫婦世帯数（高齢夫婦のみ）,国勢調査,00200521,世帯・家族類型
0202010401000010010,高齢単身世帯数（６５歳以上の者１人）,国勢調査,00200521,世帯・家族類型

試したこと

・エラー行が

 #調査年をキーとして結合する
kekka=pd.merge(kekka,tmpdf,on=u'調査年',how='outer',sort='True')

なので、直前にprint(kekka)とprint(tmpdf)を入れて見てみたが
両方に「調査年」列が存在していた

■気になっていること
・tmpdfの列の順番が[系列コード,調査年]となっている
・「#データがない時の処理」はエラーが出る前にも１度通っており、その時はエラーが出ず期待通りデータフレームが結合されている

原因がわかる方アドバイスをお願いします…

補足情報（FW/ツールのバージョンなど）

Python2.7
windows10

Answer 1

                    #調査年をキーとして結合する
                    kekka=pd.merge(kekka,tmpdf,on=u'調査年',how='outer',sort='True')

において、ループの２回目のときには「u'調査列'」だけではなく「u'系列コード'」列も重複していることが原因ではないかと思いつきました。
なので

                    #調査年をキーとして結合する
                    kekka=pd.merge(kekka,tmpdf,how='outer',sort='True')

としたところ、エラーが出なくなりました。

Answer 2

pyhotn2.7を使っているなら、

fpath='D:\Python\統計ダッシュボード'

は、

fpath=u'D:\Python\統計ダッシュボード'

City='旧仙台市'

は、

City=u'旧仙台市'

とかに修正しないとそもそも動きません。

将来のことを考えると、Python3系への移行をお勧めします。

Comments

[pia]

>fpath=u'D:\Python\統計ダッシュボード'
>City=u'旧仙台市'

元のコードでエラー直前までは動いており、Excelファイルも作成できているのですが、そこを直さないとエラーが直らないということでしょうか？

[ppaul]

python2.7では、ユニコード文字列を使う場合はu''とかu""を使わなければなりません。
たまたま動いているという理由で使い続けたいのであれば、今後予想していなかったエラーが発生する可能性はあります。それは気にしないで使い続けたいというのは個人の自由です。」

[pia]

普段は常にu'なんとか'の形で書いているのですが、確かデータフレームとかリクエストのあたりでエラーが出るんでu'を取ったような気がします。その辺は最初の方に書いたので詳しいことは忘れてしまいました。
今回出ているエラーには関係ない話ということで良いのでしょうか。今回出ているエラーを直したいので…

[pia]

ご指摘いただいたところを修正してみましたが、エラーは変わりませんでした。