Nachdem ich einen Monitor mit höherer Auflösung gekauft hatte, wurde LR nochmals langsamer als zuvor. Teilweise wurde sogar der Bildschirm zwischendurch dunkel. Mit oder ohne (CUDA) Grafikkarte hat da keinen Unterschied gemacht.

Daher habe ich mir jetzt endlich einen neuen PC gegönnt und auch nicht geknausert:
i7-6700K, 16GB Ram + 500GB SSD

Jetzt gehts endlich einigermaßen geschmeidig.
Die Auslastung der Grafikkarte hab ich dann mal (mit GPUz) beobachtet. Obwohl die Karte uralt ist (Nvidia GTS 450), passiert auslastungsmäßig nicht wirklich viel. Ich gehe also davon aus, dass eine bessere Grafikkarte eher wenig bringt.