Desde principios del siglo XVI, La Breña se convirtió en la mejor zona vinícola de la isla. Las tierras pedregosas y faltas de agua eran especialmente apropiadas para este cultivo. Por entonces la exportación de vinos a las colonias americanas representaba la principal riqueza de La Palma.
Desde un principio, la propiedad de la tierra quedó en manos de grandes hacendados que residían en la ciudad. Algunos de estos comerciantes eran de origen flamenco y perpetuaron su nombre en la toponimia de la zona. Tal es el caso del lugar conocido como Vandama, en El Cantillo, Breña Baja, nombre que figura entre la amplia nómina de apellidos flamencos arraigados en La Palma a partir del siglo XVI. Al igual que los mercaderes flamencos, los negociantes castellanos burgaleses adquirieron igualmente tierras en la mejor zona vinícola de la isla.
A partir del siglo XVII, la nobleza palmera se consolidó definitivamente como un cuerpo cerrado, en una casta de poderosos y privilegiados, vinculada por lazos de sangre e intereses económicos. Para mantenerse como grupo social dominante, la aristocracia local se valió tanto de los contratos matrimoniales de carácter endogámico como de la institución del mayorazgo a favor de la primogenitura familiar. La fundación del mayorazgo, que actuaban como instrumento de protección de los patrimonios familiares, cobra cada vez más fuerza a medida que avanza el siglo XVII, paralelamente al endurecimiento de las estructuras sociales. Estos bienes no podían partirse ni dividirse, evitando la disgregación de la fortuna familiar al permanecer vinculados en cabeza del hijo mayor.
En La Breña radicaban las propiedades de los mayorazgos más pudientes de la isla. De este modo el actual núcleo de San Antonio tiene su origen en una hacienda de viña de principios del siglo XVII, en torno a la cual se desarrolló el núcleo de población más importante de Breña Baja. Ésta era propiedad del presbítero Pedro Escudero de Sigura, doctor y protonotario apostólico de Su Santidad, el cual fundó dentro de su hacienda de Breña Baja la ermita de San Antonio.
El vecindario de La Breña en el siglo XVII, residía en su mayoría en viñas propias o arrendadas. La mayoría, por la situación de sus viviendas, eran labradores, con sus cultivos de viñas y sementeras. Se trata, pues, de un término rural de pequeños campesinos, que generalmente trabajaban en viñas ajenas, en régimen de arriendo o medianería bajo unas condiciones muy duras.
Muy pocos campesinos eran propietarios de la tierra que trabajaban y a lo sumo poseían pequeñas suertes, cercados y asientos de viña o tierra calma, dentro de los que construían su vivienda, de no más de una fanega de extensión. Las casas estaban habitadas por una media de cinco personas, de modo que en ellas residían más de una unidad familiar, unidas por lazos de parentesco. Las familias son extensas, formadas por padres, hijos, yernos y nietos, tipo de familia numerosa explicable por la economía de la zona, fundamentalmente agraria, necesitada de brazos para el trabajo del campo.
Las casas de estos campesinos estaban muy separadas unas de otras, eran construidas de piedra seca cubierta con paja y piso formado con bosta de buey bien apisonada, haciendo un suelo bastante parejo y duradero. El ajuar casero y el mobiliario eran muy modestos.
Las duras condiciones de opresión en las que vivía el campesinado y la escasez de recursos, agravada por la crisis que sufre la isla a lo largo del siglo XVII (malas cosechas, sequía, la caída del comercio...) obligaron a emigrar a numerosos jóvenes a Indias. Los emigrantes eran generalmente labradores y gentes sin oficio, la mayoría hijos de campesinos sin posibilidad de acceder a la tierra y que aspiraban a mejorar su posición dentro del estamento al que pertenecían. América se convirtió, gracias a su abundancia y prosperidad, en tierra de promisión, que atrajo a los naturales de las Islas en su búsqueda de ascenso y de inserción en el grupo de los privilegiados.
La isla, y Breña Baja, se benefició del esfuerzo y la iniciativa de los indianos que desde América remitieron el dinero, oro, plata, productos en especie, como el tabaco o cacao, con el que fue posible financiar empresas artísticas, que quedan actualmente reflejadas en el patrimonio eclesiástico insular.