Die Geschichte der Stadt Yssingeaux reicht bis in die galloromanische Zeit zurück. Damals war Yssingeaux auf dem Mont Saint Roch (Saint-Roch-Höhe) angesiedelt, einer kleinen Erhebung östlich der heutigen Stadt. Die Festung ragte über das Tal der Siaulme empor und beherrschte einen der natürlichen Wege zwischen dem Rhône-Tal und dem Tal der Loire. Man vermutet, dass Cäsars Legionen bis hierhin vordrangen.

Zu Beginn des 15. Jhs. wurde die ganze Region des Velay durch einfallende Barbarenhorden völlig verwüstet. Auch die Festung Yssingeaux wurde zu dieser Zeit zerstört. Forscher gehen davon aus, dass die Stadt dann etwas westlicher wieder aufgebaut wurde, dort wo heute das Dorf Villeneuve steht, und erst später kehrte die Ansiedlung wieder an seine ursprüngliche Lage auf dem kleinen Pass zwischen der Conor-Höhe und St.-Roch-Höhe zurück. Im Mittelalter umringte ein Wall mit Türmen die Stadt. Das könnte ungefähr dort gewesen sein, wo heute die Place Foch, die Rue des Fossés (Grabenstraße) und die Esplanade du Ravelin sind bzw. die Rue Saint-Dominique, Porte du Prieuré, Porte Nôtre-Dame und Porte Saint-Antoine. Die Straßen, die zu diesen Toren führten, tragen noch diese Namen. Die heutige Place Carnot bildete die damalige Stadtmitte (früher Place Conor), auf diesem Platz stand ein Kloster (Place du Prieuré) direkt im Anschluss an die Kirche.

Yssingeaux wurde im 15. Jh. eine kleine ville close mit einer befestigten Burg, einer Priorei, Wall und Graben. Es hatte sogar einige Stadtquartiers. Zum Großteil datiert das heutige Gebäude mit seinem Bergfried aus der zweiten Hälfte des 15. Jhs. Zu dieser Zeit war dessen Erbauer, Jean de Bourbon, Bischof von Le Puy-en-Velay (1443-1485) und nutzte das château forte als Station zwischen dem Bischofssitz in Le Puy und der bischöflichen Sommerresidenz in Monistrol-sur-Loire. Das Bauwerk diente vor der Revolution von 1789 längere Zeit als Frauenkloster, danach wurde es Gerichtshaus und später Kaserne. Im Jahre 1807 erwarb die Stadt das Gebäude, es wurde maison commune (Gemeindehaus) und ist heute das Hôtel de Ville (Rathaus). Yssingeaux hat unter den Religionskriegen im 16. Jh. zum Glück kaum gelitten. Am 4. August 1621 belagerten die Hugenotten aus dem Gebiet des Vivarais die Stadt, wurden aber zurückgeschlagen.
Die Überreste der Schutzmauern und der letzte Turm der Stadt wurden bedauerlicherweise während der Revolution niedergerissen.

Anfang des 19. Jhs. besaß die Stadt in Konturen schon beinahe ihr heutiges Aussehen und besaß fünf Quartiers: Les Tanneries (die Gerbereien), Laréna, Les Joinilles, Seignecroze und Pompet.