解決済ですが、独自地図の実装であれば Google Maps API はもちろん、OpenLayers Leaflet などでも使用されている「地図タイル」を使用するのが手早いです。
Google Maps は(今はWebGLで描画していたような気がしますが)タイル画像を並べて表示することで地図を表現しています。
【タイル オーバーレイ | Google Maps Android API | Google Developers】
https://developers.google.com/maps/documentation/android-api/tileoverlay
このように独自タイルを表示する仕組みがあるので、それを利用するのはいかがでしょう。OpenLayers や Leaflet などはオープンソースなのでAPIキーの登録など煩雑な手順も無いのでお勧めです。
ご自分で作成されるなら、下記のようなスクリプト(MIT License)の処理を参考にすると手早いと思います。デモページはリンク切れしていますが、GitHubにコードがあります。
【[JS]スライダーなどのさまざまなUIエレメントのスクロール操作をスマホ対応・無限スクロール対応にするスクリプト -eco Scroll | コリス】
http://coliss.com/articles/build-websites/operation/javascript/jquery-plugin-eco-scroll.html
【GitHub - Juntamng/eco-Scroll: Eco-friendly jQuery Scroll Plugin】
https://github.com/Juntamng/eco-Scroll
以下タイル画像の作成の参考になりそうなリソースURL。大きな画像からタイルを分割するツールなどもありますが、割愛します。
【Bing Maps Tile System】
https://msdn.microsoft.com/en-us/library/bb259689.aspx
【YOLP(地図):タイル画像仕様 - Yahoo!デベロッパーネットワーク】
http://developer.yahoo.co.jp/webapi/map/openlocalplatform/v1/js/cassette/tile.html
【Documentation - Leaflet - a JavaScript library for interactive maps】
http://leafletjs.com/reference.html#tilelayer
【地理院地図|地理院タイル仕様】
http://maps.gsi.go.jp/development/siyou.html
【地図タイルについて - smellman's Broken Diary】
http://smellman.hatenablog.com/entry/2015/12/26/054520