どれもはっきりとした定義はなく、なんとなくの意味合いで使われることが多いと思います。例えば React はライブラリと言われたりフレームワークと言われたりしますので、両者に明確な境界はないと思います。
ライブラリは広い意味では外から使用できる js 全体を指し、狭い意味では特定の機能を持つ関数やクラス、プロトタイプの集まりだと思います。
例: lodash (utility), axios (ajax), Rxjs (observer), jQuery (DOM操作などいろいろ便利セット), anime.js (animation)
ライブラリは、自分のコードからライブラリを「使う」だけで、主導権は自身にありますが、フレームワークは制御の反転と言われるように、ソフトウェアの骨組みを提供してくれるものです。フレームワークがアプリケーション全体の主導権を握り、自分の書くコードはフレームワークから適宜呼び出されるという形です。
例: React/Angular/Vue (front-end app), Bootstrap (UI/CSS), Express (web server)
プラグインはすでにあるソフトウェアに補助的に機能を付け加えるようなライブラリです。jQuery にはプラグインがたくさん作られています。
例: jQuery DataTables, jQuery Validation Plugin, UglifyJS Webpack Plugin