geopandasでシェープを開いた時に属性の型を正しくしたい。

Question

前提・実現したいこと

geopandasでシェープを開いた時に属性の型を正しくしたい。

試したこと

import geopandas as gpd

gdf=gpd.read_file(r"C:\work\sample01\result\sample4.shp")

#dtypeを見ると型が正しく設定されていないようです。
for name,dtype in zip(gdf.columns.values,gdf.dtypes):
    print("%s %s" % (name,dtype))

#astypeすると型が変換されるみたい
gdf=gdf.astype({'test3': float, 'column': str,'D':'datetime64[ns]'})
for name,dtype in zip(gdf.columns.values,gdf.dtypes):
    print("%s %s" % (name,dtype))

開いた後だとastypeで型を変換できるようなのですが
これが普通のやり方なのでしょうか。

対象のファイルは、以下のコードで作ったものです。

import osgeo.ogr as ogr
import osgeo.osr as osr
from shapely.geometry import LineString

os.environ['SHAPE_ENCODING'] = "utf-8"

# shapefileドライバ
driver = ogr.GetDriverByName("ESRI Shapefile")

# Shape出力先を設定
data_source = driver.CreateDataSource(r"C:\work\sample01\result\sample4.shp")

# レイヤ作成
layer = data_source.CreateLayer("sample4", geom_type= ogr.wkbLineString)

# フィールド追加
field_name = ogr.FieldDefn("column", ogr.OFTString)
field_name.SetWidth(24)
layer.CreateField(field_name)

field_add=ogr.FieldDefn("Latitude", ogr.OFTReal)
field_add.SetWidth(4)
field_add.SetPrecision(2)
layer.CreateField(field_add)

field_add=ogr.FieldDefn("Longitude", ogr.OFTReal)
field_add.SetWidth(6)
field_add.SetPrecision(2)
layer.CreateField(field_add)

field_add=ogr.FieldDefn("test3", ogr.OFTReal)
field_add.SetWidth(8)
field_add.SetPrecision(4)
layer.CreateField(field_add)

field_add=ogr.FieldDefn("D", ogr.OFTDate)
field_add.SetWidth(20)
layer.CreateField(field_add)


feature = ogr.Feature(layer.GetLayerDefn())
feature.SetField("column", "test")
feature.SetField("Latitude", 2)
feature.SetField("Longitude", 5)
feature.SetField("D", '2017/11/12')

line = ogr.CreateGeometryFromWkt('LINESTRING (30 2.5, 30 5, 0 5)')
feature.SetGeometry(line)
layer.CreateFeature(feature)

feature = ogr.Feature(layer.GetLayerDefn())
feature.SetField("column", "あい")
feature.SetField("Latitude", 3)
feature.SetField("Longitude", 6)
feature.SetField("D", '2017/11/14')

line = ogr.CreateGeometryFromWkt('LINESTRING (1 3, 4 5, 0 5)')
feature.SetGeometry(line)
layer.CreateFeature(feature)

feature =None
data_source = None

違っているとわかった個所は
Dのフィールドとtest3のフィールドで
作った時は日付型と実数型だったのですが
読み込んだら共にObject型になっていました。

補足情報（FW/ツールのバージョンなど）

Python 3.9.2
geopandas 0.8.2

Comments

[etherbeg]

具体的に、どう正しくない（間違っている）ですか？　ご自分で作られたファイルですか、ダウンロードしたファイルですか？　他のファイルでも同じですか？

[xail2222]

対象のファイルを作ったコードと、違っていた点を記載しました。

[etherbeg]

ありがとうございます。何か分かりましたらまた書き込みさせていただきます。

Answer 1

test3 のフィールドが Object 型になったのは、test3 のフィールドに値が設定されていないからと思われます。値が None のみの列は Object 型になります。

>>> gdf = gpd.read_file("sample4.shp", encoding="utf-8")
>>> gdf.test3
0    None
1    None
Name: test3, dtype: object
>>> gdf['column_none'] = None
>>> gdf.dtypes
column           object
Latitude        float64
Longitude       float64
test3            object
D                object
geometry       geometry
column_none      object
dtype: object

値として np.nan を設定しておけば、値を入力しなくても、実数型が保持されます。

import numpy as np
(...)
feature.SetField("test3", np.nan)
(...)

>>> gdf.dtypes
column         object
Latitude      float64
Longitude     float64
test3         float64
D              object
geometry     geometry
dtype: object
>>> gdf.test3
0   NaN
1   NaN
Name: test3, dtype: float64

D のフィールドが Object 型になったのは、

1. fiona ライブラリがシェープファイルを読み込む際に、属性ファイルの Date 型を Python の str 型（正確にはその拡張型）に変換して読み込むことと、
2. geopandas が fiona からデータを受け取って GeoDataFrame を生成する際に、スキーマのデータ型情報を参照することはせず、データをそのまま pandas.DataFrame のコンストラクタに渡す（この場合だと単なる文字列として渡される）こと、

以上2点によるものと思われます。

ドキュメントをあたったり、いくつか試してみた限りでは、GeoDataFrame として読み込んだ後に日付型に変換するしかなさそうです。

Comments

[xail2222]

回答ありがとうございます。
初めに指定できれば処理速度的に良い気がしたのですが後でするしかなささそうですね…

[xail2222]

ってかgdf.dtypesの出力でカラム名まで出るんですね