Die Gegend um den Alpsee gewinnt im ausgehenden Mittelalter an Bedeutung. Hier verläuft die Handelsroute von Tirol zum Bodensee und die Aussicht auf Zolleinnahmen war attraktiv für die Herrschenden. Die einflussreiche Adelsfamilie Montfort aus dem Bodenseegebiet erwarb 1332 von den Herren von Schellenberg die Burg Rothenfels und begründete die Herrschaft Montfort im Allgäu. Aus der Gegend um Lindau stammten auch die Herren von Laubenberg auf der benachbarten Burg Laubenbergerstein, oberhalb der Iller-Zollbrücke bei Immenstadt.
Bereits wenige Jahrzehnte später, im Jahre 1360, erhält die kleine Siedlung „Ymendorff“ ihr Stadtrecht, das eine Stadtbefestigung und das Recht Märkte auszurichten, umfasst.
Im 16. Jahrhundert verkauften die Grafen Montfort die Herrschaften Rothenfels und Staufen an die mit ihnen verwandten Grafen von Königsegg-Rothenfels aus Oberschwaben. Die Grafen von Königsegg-Rothenfels wählten Immenstadt als Regierungssitz und Residenzstadt ihrer Grafschaft. Bis ins Jahr 1804 prägten sie die Entwicklung Immenstadts mit. Das Gebiet der Grafschaft reichte vom Niedersonthofener See bis ins Kleine Walsertal und weiter bis in das Westallgäu. Benachbart waren zahlreiche kleine und größere Territorien , unter anderem das Fürststift Kempten und das Hochstift Augsburg.
In Immenstadt gehen verschiedene Einrichtungen auf die Grafen Montfort und Königsegg-Rothenfels zurück: Die Spitalstiftung aus dem späten 15. Jahrhundert, als eine der ältesten; das im 17. Jahrhundert gegründete Kapuzinerkloster oder die 1665 erbaute Loreto-Wallfahrtskapelle in Bühl.
Das gräfliche Hofleben umfasste eine Reitschule samt Marstall, ein Brauhaus, die gräfliche Hofmühle, und eine zum Stadtschloss gehörende Hofgartenanlage. Der ummauerte Garten wies eine Kastanienallee, Sommerhaus, Springbrunnen, Gewächshaus, Salon mit Galerie, ein Wildgehege und im 17. Jahrhundert einen Chinesischem Turm auf.
Hohe Verschuldung zwang den letzten regierenden Grafen 1804 zum Verkauf an das österreichische Haus Habsburg. 1806 kam die Grafschaft Königsegg-Rothenfels zu Bayern.
Der aufwendig hergestellte Plattenharnisch mit einzelnen Metallplatten, die den gesamten Körper schützen sollten, könnte aus der Zeit des Immenstädter Grundherrn Hugo XIII. Graf zu Montfort-Tettnang-Rothenfels (1445-1491) stammen, der 1452 in Rom zum Ritter geschlagen wurde. Tatsächlich entstand diese Rüstung erst im 19. Jahrhundert – im Rahmen einer weitverbreiteten Ritterromantik.