Pues en los mismos programas para subir la gpu (EVGA Precision X, MSI Afterburner...) puedes tocar las memorias. La memoria es bastante más fácil, cuando sea inestable tendrás un freezing o pantallazo verde de inmediato. Empeiza por 2150 que te los tendría que hacer y ve subiendo de 25MHz en 25MHz hasta que encuentres el tope. Comprueba que sea estable con un juego que no demore mucho en ejecutar o un stess test como Heaven, Valley o Firestrike. Si quieres afinar más pues ve de 10 en 10.
Una vez tengas el máximo, monitoriza con el HWinfo los errores de memoria mientras juegas. Aunque no tengas freezings o pantallazos, puedes seguir teniendo muchos errores que afecten a la estabilidad e incluso el rendimiento. Si es inestable verás que los errores empiezan a subir a lo loco. Baja la frecuencia lo suficiente hasta que deje de hacerlo. Hay gente que dice que no pasa nada por tener algunos errores, que es normal, pero yo prefiero tener la memoria 10MHz más lenta y asegurar los 0.