Yo tengo la misma gráfica que tú, el mismo modelo 3080. Igual hago streams en Twitch y no he tenido problemas con el Streamlabs. Una cosa que suele ser importante es ejecutar siempre el Streamlabs como Administrador.
Sobre el Fornite no te puedo decir mucho, no juego shooters ni competitivos. Igual sería cosa de que pruebes un día con otro juego también para hacer comparaciones.
Por ejemplo yo el Red Dead Redemption 2 tuve que usar Vulkan porque el DX12 no me lo capturaba bien el Streamlabs. A veces simplemente es acomodarte a la combinación que funcione con cada juego para stremearlo.
Otra cosa importante es que cuando juegues en stream no pongas la gráfica a trabajar en Ultra todo, ya que a fin de cuentas el stream sólo irá a máximo 60 fps, por lo que yo limito los fps de los juegos a 70-80fps, de modo que la gráfica y el procesador no estén estrujados a tope en el juego.
Como ya dijo
Metalion , al hacer streams tenemos el procesador usando no sólo el juego, también los demás programas abiertos.
Por eso no es lo mismo estar jugando sin stream, donde entonces puedes poner tu CPU y gpu que den lo máximo para darte muchos fps con todo ultra. A jugar mientras el equipo está con la codificación del stream y el Streamlabs abierto, etc
Por ello es mejor que limites los fps, así el hardware no va tan estrujado y podrás ofrecerle a la gente un directo fluido.