Reformado no ano 1825, a súa construción remontase sen embargo a mais de dous séculos antes. Foi a casa do Señor do Couto de San Paio, abade do Mosteiro de San Paio de Abeleda a finais do século XVI, e estivo asociado á súa familia. De feito, varios dos seus membros atópanse enterrados nunha capela da igrexa de San Paio.
O pazo é de planta rectangular e dous plantas, mais unha torre que ten tres. Encostada a ela hai unha capela, que foi erixida no século XVIII e conserva un retablo de estilo barroco. A planta baixa, hoxe bodega, foi cárcere. Na fachada destacan varios escudos, que son os dos cenobios que San Paio de Abeleda tiña como anexos: San Martín de Celeiros e San Andrés de Fontela en Chandrexa de Queixa, Santa María de Pedraza en Chantada e Santa María de Torbeo en Quiroga.
Situado no lugar de O Couto, parroquia de San Paio, actualmente é unha vivenda privada.