Es muy dificil saber que voltajes te haran falta, es a prueba y error, y si, 1.35v es el máximo recomendado por amd, tu puedes buscar un punto en 1.35, 1.30, 1.25 dependiendo de las temperaturas y la suerte con el silicio.
El mio llega a 4gz con 1.28v, pero se de mas de uno que para llegar a 3.9 necesita mas de 1.35v.
Sobre poner una refrigeración líquida barata, no oo hagas, para eso, pilla un buen disipador, de 50-60 euros, tienes los cryorig, noctua, be quiet, y algunos mas, como los scyte mugen, que son muy buenos disipadores, y te van a dar mejor rendimiento y menos problemas que una aio barata.
Yo lo que hice fue poner 1.35v fijos en la bios, y luego fui subiendo las frecuencias, el mio hace con 1.3625v los 4.1 ghz, pero como sube mucho la temperatura, lo tengo en 4.0Gz y va realmente bien.
Con ese cooler master si tienes buena ventilación en la caja, puedes llegar a meter casi el máximo recomendado, pero a te digo que es a prueba y error.
Un saludo.