サードパーティのライブラリやフレームワークを使わずjavascriptでサーバを構築できるようになるような知識を得るにはどうしたらいいでしょうか？

少し質問させてください。その返答によってはまた追記できるかもしれません。

通常は、やりたいことが先にあり、それを実現するのに自分で作らなくてもいいものがあればそれを使い、自分は自分にしか書けない部分に注力したい、と思うからライブラリやフレームワークを使うのだと思います。フレームワークやらプログラミング言語やら、さらには OS まで自分で作りたい、そして実際にそれを作ること自体が趣味という方もいらっしゃいますし、それはそれでよいと思いますが、多数派ではないでしょう。
なのでお望みの書籍もないんじゃないかなあ、と思います。

で、mop さんのこだわりで、何がよくって何がダメなのか、の線引きがよくわかっていないのですが、(1) Node.js を使ってはダメで、でも、(2) サーバを待ち受けて 「Hello, World」をブラウザに返したくて、でも (3) 使うのは JavaScript がよい、と。
そうなると、通信がらみの部分を自分で作って、JavaSctipt エンジンも乗せる、ということでしょうか。JavaScript エンジンとして V8 とか乗せるのは OK ですか。通信がらみの部分もライブラリなしで自分でゴリゴリ C 言語で書くのでしょうか。もし、そこまでやるとなったらそもそも JavaScript にこだわる理由はないような気がします。

というところを考えると、mop さんがやりたいことは、Node.js を使って npm は使わない、みたいな落としどころが適当なんじゃないかなあ、と思いました。

あ、JavaScript 界隈はフレームワーク、ライブラリ、ビルドシステムなど廃り流行が激しすぎるので、それに翻弄されたくない、というお気持ちは、本職じゃないけどそこそこコード書く人間として、よくわかります。

そういう用向きなら理解できるJavaScriptを取っ掛かりに、JavaScriptで構築されたライブラリやフレームワークのソースを片っ端から読んでみては
一昔前とは違って優れたソースがあちこちに転がっているので、やる気さえあれば大変恵まれた時代です

英語のドキュメントを読むような英語力もありません

とりあえずGoogle翻訳と友達になりましょう

ライブラリやフレームワークは先人の苦労の結晶なので、エンジニアなんですから「あまり勉強したくありません」みたいなことはなしにしましょう
結局人の幅ってボキャブラリーの幅だと思うんですよ
エンジニアならなおさらです

ライブラリやフレームワークのダメだと思う部分があったとして、なぜダメだと思うのかを模索するのも役立つことです

たぶんこんな事なのかなぁ
検索ワードとしては、
LAMP WEB server ： Linux / Apache / MySQL / PHP でのサーバー構築が検索できます。
JAVA install  ： JDK の インストールが検索できます。
Javascript は、クライアントサイドで実行するのが主目的な機能ですから、
html に埋め込むわけですよね？
クライアントサイドで、実行する機能だけでよければ、
ＯＳ：ＷＥＢサーバーを動かす機能
ＷＥＢサーバー：簡単には、http で送受信する機能
が、必要なだけで、最小構成では、ＯＳさえも不要です。
もっとも根本的な例：ＯＳ無、実行プログラム＋ランタイムだけで実現する例
第6回 Arduinoを使ってWebサーバーをつくろう！ 
http://deviceplus.jp/hobby/entry_006/
他、Arduino html で検索してみてください。
アセンブラが書けるならば、ランタイムも不要だけど、
IP / TCP の実装を、一からするのは、労多くしてなので、、
アセンブラでも、メーカー提供ライブラリを使います。
’
通信の仕組み原理や、ARPAnetがどうやって、The Internetになったのか、
なぜ、Gopherが生まれ、死に、httpが主流になっているのか、
イーサーネットが生まれた背景には、何があった？ＴＶが下地だった、なぜ？
アフリカ圏、東南アジア圏では、GUIではなく、未だに文字のみの
まるで、DOS時代の掲示板が好まれるのか？
なんて、周辺の情報を調べてみると、面白いのになぁ。