El pueblo se encuentra situado en la loma del monte de San Miguel, cerca del pueblo de Oncala, con calles empedradas o encementadas. El pueblo, antaño paso obligado de los rebaños mesteños, se distribuye alrededor de una plaza, con grandes casonas de piedra, edificadas en su mayoría en el siglo XVII. Conserva el conjunto urbano más armónico y mejor recuperado de la tradicional arquitectura merinera, debido a la conservación de las casas serranas y señoriales de los ricos ganaderos de la Mesta, algunas de ellas blasonadas.

Con respecto al patrimonio natural, hay que destacar que aquí comienza el segundo acebal más grande de Europa, de interés también el nacimiento del río Merdancho.

Castilfrío cuenta, además, con un interesante centro de interpretación sobre "Castros y Pelendones", pues en el cerro del Castillejo, próximo a la localidad, se pueden contemplar las ruinas del considerado mejor ejemplo de castro celtibérico.