Tuvo a su servicio, como secretario personal, a Lope de Vega quién dijo del Conde "yo que tantas veces a sus pies, cual perro fiel, he dormido". Fue mecenas de Góngora y Cervantes. Este último le dedica las obras Los trabajos de Persiles y Segismunda, la segunda parte de El Quijote, las Novelas Ejemplares y Comedias y entremeses. En el lecho de muerte, el último escrito de Cervantes es una carta dirigida al Conde de Lemos.
Pedro Fernández de Castro es autor de poemas, comedias, obras de teatro y cartas de un alto valor literario. Las obras de mayor trascendencia son las de carácter político fantástico en defensa del Reino de Galicia. Es "El búho gallego haciendo corte con las demás aves de España" un alegato en la defensa del Reino y su derecho a voto en las Cortes.
Las intrigas palaciegas frustraron las aspiraciones del Conde. Caído en desgracia en la Corte, se retira a Monforte. Sólo regresa a Madrid con ocasión de la enfermedad de su madre. Apenas vive unos años más en su palacio de la madrileña plaza de Santiago. De su fallecimiento dice Lope de Vega "mucho ay que hablar, que no es para papel", aludiendo a una posible conspiración cortesana contra él.
