Eso es, depende de tus altavoces, decidirá que puedes usar.
Si usas cascos o un 5.1 en modo pack con ampli incluido, tipo los que compras para pc, puedes usar la salida analógica 5.1 de la tarjeta de sonido, y ahí si sera importante que la tarjeta de sonido sea mas o menos buena (dependiendo de la calidad de tus cascos y/o altavoces) ya que es ella la encargada de transformar digital en analogico.
Si usas altavoces sin autoamplificacion, necesitas un receptor AV, el cual puedes conectar directamente por analógico si es algo antiguo, o por HDMI
Por toslink o s/pdif solo puedes sacar audio codificado DTS o Dolby normal, o PCM en estéreo (este seria el sonido que sacan los juegos)
HDMI Para codecs mas modernos tipo DTS HD, atmos etc, o para juegos que quieras disponer de 5.1/7.1 por PCM
Conclusión, por lo que cuentas, que parece que es parecido a mi caso, seria pillarte un Receptor AV, y conectar por HDMI al PC, te vale para cascos o para Altavoces con o sin autoamplificar. Con esto puedes prescindir de la tarjeta grafica, ya que por lo menos en el caso de Nvidia, el sonido se te trasmite "sin tratar" por HDMI mediante el HD audio driver o algo asi se llama. Ya será el receptor AV el que haga el cambio digital/analógico.