R.Shigemoriさんの挙げられた「ゼロから作るDeepLearning」は数理系の背景がなくても読みやすい本です。
以前にこの本についてのご質問があるようなので、もう読破しているかもしれませんが。
本格的にやりたいのであれば、まず「深層学習」でしょうか。
https://www.amazon.co.jp/dp/B018K6C99A/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1
Tensorflowを直接触りたいモチベーションというのがよくわかりません。
Tensorflowの基礎レベルの関数を使用しないと実現できないようなニューラルネットワーク自体に関する先端的な研究をなさるのであれば別ですが。
そうであるのであれば、公式のAPIドキュメント読み漁って理解する他、ネットの随所に散りばめられた識者による情報を自分で集めるしかありません。
そのためにはまず基礎を固めないにはほとんど理解できないように思われます。
とりあえずニューラルネットワークやって動いているところが見たいのであれば、TFlearnなどを嫌厭する必要が無いように思います。
新しいバージョンのTensorflowに統合されたKerasを使用するのはグレーゾーンになるのでしょうか。
個人的にはKerasをおすすめします。
いろいろな活用法についてもネット上に豊富にあります。
実はニューラルネットワーク、特にTensorflowのようなフレームワークの入門書は良書が少ないです。
理由は2つあって、はやりで売れそうだから氾濫していることと、活発的な分野故に書籍がすぐに陳腐化するところにあります。
TensorflowとChainerではバージョンが新しくなるたびに後方互換性が崩れて過去のコードが走らなくなったりします。
書籍では理論に注力して、実際に使用例などはインターネットに当たった方が有益に時間とお金を使える気がします。
ある程度ニューラルネットワークの理論を理解し、コーディング・デバッグについてそれなりに自信がないと、Tensorflow自体を使っていると些細なところで詰まってなかなかやりたいことが進まないと思われます。
適用例のバリエーションからいうと「TensorFlow機械学習クックブック Pythonベースの活用レシピ60+」何ていうものもあります。
https://www.amazon.co.jp/TensorFlow機械学習クックブック-Pythonベースの活用レシピ60-impress-top-gearシリーズ-ebook/dp/B074SFHQLJ/ref=pd_sim_351_14?_encoding=UTF8&psc=1&refRID=664ZHFPQXCZE350PCA9W
例は多いですが、その分あまり興味のない分野の例も多いかもしれません。
バージョンによって走ったり走らなかったりという問題もあります。