Hola FLamenkino, primeros recordemos que siempre suele valer la pena hacer OC, siempre y cuando este se vea reflejado en el rendimiento. Esto quiere decir, por ejemplo, que si tu tienes un core i7 6700K en su frecuencia nominal y una tarjeta de video GTX 960, y juegas en FULL HD, no tendrás un aumento considerable en los FPS en los juegos, por dos principales motivos:
1- El CPU ya es demasiado potente para la tarjeta,
2- Al jugar en resoluciones altas, desde FULL HD hacia arriba, la mayor fuerza la hace el GPU, entonces para aumentar esos FPS, hay que aumentar el rendimiento de la gráfica, distinto seria el caso si en lugar de hace run I7 con esa GTX 960 habría un CPU más básico y/o antiguo, ahí ya cambia el asunto.
Volviendo a tu caso puntual, yo creo que puedes ganar unos cuadros subiendo la frecuencia de reloj de tu CPU, para poder hacer OC tenemos que contar con una Placa Base adecuada, sistema de disipación acorde y una buena fuente de poder.
No mencionas que disipación tienes, pero más abajo parecen decir que estás con el disipador STOCK de INTEL, y ya con eso, tienes que olvidarte del OC, puedes cambiar el sistema e disipación del CPU y ahí ya estarías en condiciones de hacerle OC a tu PC.
Saludos y espero que te sea util mi comentario.