Me pasa lo mismo que a ti; yo en este caso tengo una RX 480 Asus ROG Strix (comprada hace 1 semana junto a todo el PC, que es nuevo por completo), y viene con OC de fábrica a 1330mhz, y tiene esas caídas que comentas. Normalmente cierro el juego/programa, lo vuelvo a abrir y se soluciona.
Sospeché que era tema de drivers, ya que también me daba pantallazos azules y reinicios cuando estoy en Google Chrome, pero no me pasa mientras juego o hago cualquier otra cosa. Entonces quité la gráfica y llevo usando el ordenador con la integrada solamente desde hace 2 días, y usando continuamente Google Chrome en busca de fallos (además de que con la integrada no es factible jugar xD), y adivina... ni un solo fallo desde entonces!!
Seguramente la devuelva porque AMD no es de actualizar mucho los drivers, y nadie me garantiza que estos problemas se arreglarán, con lo que iré a por una gtx 1060 o incluso una 1070... Está claro que lo "barato" al final sale caro, antes de este ordenador tenía uno con gráfica nvidia y sacaban drivers cada semana (y nunca tuve ni 1 solo problema con drivers), y AMD los saca cada 2 meses, y por lo visto no muy bien optimizados... Que si, que lo de relieve, ganancias de rendimiento en dx12 y todo eso está muy bien, pero si no son capaces de hacer que funcionen de forma estable, de poco me sirve...