On ignore quand le château de La Selve fut construit.

En 1291 on parle des murs du temple. Il y avait donc dès les Templiers des fortifications.

En  1317 il est fait mention de la tour de l'hôpital.

Fut-il construit par les Templiers ou les Hospitaliers on n'en sait rien.

Il fut brûlé pendant les guerres de religion et les archives détruites

Laurent de Raymond, issu de la famille de ce nom, la plus riche et la plus influente de La Selve, commandeur des Hospitaliers à l'époque de ces guerres et ses successeurs à la tête de la commanderie s'employèrent à relever le château de ses ruines.

Hercule de Vintimille Revest fit construire les quatre tours. D'après un document ancien, ce château, dépouillé de toute élégance, était d'une architecture lourde, massive ,sans reliefs ni ornements. Les murs étaient percés de petites fenêtres distribuées de façon irrégulière. La façade côté couchant était flanquée de deux grosses tours carrées d'au moins cinq étages.

Celle du nord, abaissée existe toujours.

Dans cette tour se trouvaient les greniers dans lesquels était entreposé le blé des redevances féodales perçues jusqu'à la révolution.Le rez de chaussée était occupé par les caves, au premier étage la salle d'honneur où se tenaient les assemblées. La tour du midi aujourd’hui disparue servait d'habitation. A l'arrière du château et en direction du levant, se trouvaient deux grandes ailes. Dans celle du nord était située l'église, appuyée à l'ouest sur la tour nord et surmontée par un clocher peu élevé.

Le chevet de l'église s'avançait à l'est vers le cimetière qui l'entourait et la séparait du chemin.

Ancien cimetière dans lequel furent ensevelis tant de hauts personnages de l'époque, seigneurs et "rics omes d'esta terra". qui s'étaient donnés corps et biens aux Templiers, à charge pour ces derniers de les faire ensevelir à La Selve.

L'aile du midi, aussi appelée "l'audience" servait de tribunal et se terminait par la tour ronde dite "des prisons".

Entre ces deux ailes, la grande cour intérieure était fermée par une haute muraille reliant le clocher à la tour des prisons.

Du côté méridional,un angle de cette muraille fut aménagé, pendant la révolution,en atelier pour la fabrication de salpêtre.

Les "communs" du château se trouvaient au midi  et comprenaient une grange de 12 cannes de longueur, un jardin, une basse-cour et un four.

La clef de voûte de l'ancienne église  représentait un agneau signe des chrétiens jusqu'au 6ème synode de Constantinople, en 680' date à laquelle cette figure symbolique fut remplacée par le Christ attaché à la Croix. Mais l'agnus déi fut aussi  l'une des effigies traditionnelles de l'ordre du Temple.