WordPressの良いところは、プラグインが豊富で、様々な機能を追加できる点にあります。
サーバとはいえ、所詮CPUやメモリ、ディスクなどで構成されるコンピュータです。パフォーマンスには限界があります。そのため、インストールするプラグインは、必要最小限に留めておくことが重要です。
必要なのか不必要なのかわからない場合、いったん無効にして様子を見るというのも重要です。全く問題が内容なら、削除しても大丈夫です。
可能であれば、あらかじめテスト用のサイトを準備しておくことをお勧めします。アップデートをする場合、新しいプラグインをインストールする場合など、サイトに何か問題が起こるのはたいてい、何かしらの作業を行った直後です。新しいプラグインを試すとき、削除するとき、アップデートするときなど、テスト用のクローンサイトがあると、未然にトラブルを防ぐことができます。
特に無料のプラグインだと、何かあった時のサポートが心配ですからね。