Lortet est installé en bordure de la Neste puis s’est développé par la suite autour de la D929 en direction des vallées. Le village est dominé par une imposante falaise percée de cavités naturelles qui ont été aménagées mais aussi fortifiées, lesquelles ont été utilisées par l’homme à diverses époques.
En effet, l’occupation par l’homme du village de Lortet remonte à la Préhistoire. Une grotte, aujourd’hui protégée et fermée, a recelé un mobilier archéologique qui compte parmi les nombreux trésors de la préhistoire : le fameux bâton de renne sculpté aux cerfs et saumons, véritable chef d’œuvre de l’art magdalénien. Les 200 objets actuellement retrouvés dans cette grotte se trouvent actuellement au musée de Saint-Germain-en-Laye.
Dominant la Neste avec une altitude qui varie entre 600 et 725 mètres, les grottes fortifiées de Lortet représentent un ensemble castral très complet et parfaitement adapté à un site naturel.
C’est derrière un haut mur rocheux et au creux d’une brèche que se cache un très bel escalier en colimaçon d’une hauteur de 17 mètres construit au 12ème ou 13ème siècle et qui permettait l’accès au niveau fortifié. Ce sont des galeries au beau milieu de la roche qui relient les différentes salles de cet habitat troglodyte pour lesquelles différents usages ont été clairement identifiés : une chapelle avec une abside semi circulaire, des corps de logis et un système défensif tel un chemin de ronde aménagé à l’avant des plateformes sud.
Du fait du manque de documentation, il est difficile de savoir si les grottes fortifiées de Lortet ont réellement été utilisées en tant qu’habitat permanent ou bien si elles n’étaient utilisées qu’en lieu de repli en cas de danger.
Un arrêté du Parlement de Toulouse daté de 1615 donne l’information vérifiée de la présence d’une forteresse dite « Al pé de roca » au lieu-dit Castet, au pied du Mont.
L’accès à ce site historique d’exception est interdit au public pour des raisons de préservation mais aussi et surtout en raison des risques de chutes.
Une falaise d’escalade occupe la partie sud du village. Entièrement équipée, elle propose plusieurs voies de différentes difficultés.
Les bords de la rivière proposent une agréable aire de pique-nique. Depuis le village, plusieurs promenades permettent de découvrir les alentours, avec notamment le tour du Mont.
Un parcours de pêche à la mouche et au toc « no kill » est aménagé sur la rivière dans la traversée du village.
La commune compte 209 habitants (recensement 2016).
Blason de la commune
«D’azur au mont cousu de sinople sommé d’un château cousu de sable et chargé, en pointe, d’une rivière ondée d’or».