Estas mezclando cosas distintas. Por un lado tienes la CPU (7950X3D) y por otro lado tienes el chipset, que es la parte de la placa base que se encarga de comunicarlo todo con todo (para que me entiendas). Si traduces la palabra chipset, te da "conjunto de chip(s)". La idea es que la placa base ademas de la CPU tiene otras tantas cosas, como USB, chip de Audio, adpatadores de red, etc. Los drivers del chipset son imprescindibles para el funcionamiento correcto de la placa base.
En el caso de tu duda sobre por que hace falta si Windows y incluye drivers, pues sencillo. En teoria Microsoft queriendo facilitar el tema de magia oscura para mucha gente de los drivers, da la opcion a los fabricantes de certificarlos con Microsoft para incluirlos en el sistema operativo (WHQL que veras por ahi). Eso esta muy bien pero como puedes imaginar tiene el problema de los desfases de tiempo y la irremediable dejadez con el tiempo.
Por tanto, instalar los drivers del chipset deberia garantizarte que se solucionan los problemas conocidos y se asegura el mejor rendimiento posible, exactamente igual que en una tarjeta grafica o un volante de simulacion. ¿Quiere decir eso que no funcionara algo si no los tienes instalados y "dejas" lo que viene con Windows? No, pero simplemente no tendras la revision al dia del chipset de tu placa base.
Y si claro que se pueden desinstalar, pero si me he explicado bien creo que entenderas que es un poco sinsentido.
Y respecto al procesador, ahi el tema es un poco mas complejo. Normalmente el fabricante (AMD, Intel, Qualcomm) manda revisiones de su "driver" a Microsoft con el funcionamiento correcto por que rara vez se modifica. En el caso de las cpu es todo mas a nivel de microcodigo que es totalmente independiente de sistema operativo. Es por eso que de base un sistema operativo moderno soporta cualquier procesador. Y razon por la que entre otras cosas no tienes que preocuparte de la cache L3 de un X3D.
Resumen, siempre es buena idea instalar los drivers del chipset y usar un sistema operativo actualizado en el aspecto de drivers de dispositivos.