胡善祥在明朝的口碑非常不错，但他最终还是被废黜了。这其中的原因有很多，其中最主要的原因是因为他和权臣张居正的矛盾。张居正是明朝的一位非常有权势的官员，他认为胡善祥的权力过大，对明朝的统治构成了威胁。因此，张居正积极打压胡善祥，最终导致了他的被废黜。
此外，胡善祥在处理国家事务上也存在一些失误，这也为张居正提供了打压他的理由。虽然胡善祥在民间有着良好的口碑，但在政治斗争中，他最终败给了张居正这位更具权势和影响力的官员。
