Mit der französischen Vichy-Regierung unter dem „Chef de l’Etat Français“ Marschall Philippe Pétain, ihren Dienststellen und Einrichtungen kamen im September 1944 auch die bei ihr akkreditierten Botschafter von Deutschland, Italien und Japan mit ihrem Personal nach Sigmaringen. Während die Botschaft von Japan unter Botschafter Mitami in der Brauereigaststätte Zoller-Hof in der Leopoldstraße und die italienische Botschaft des faschistischen Regimes von Saló unter Konsul Longhini im Chalet an der Gorheimer Straße etwas abseits vom Stadtkern eine Bleibe fanden, bekam Botschafter Otto Abetz mit der „Deutschen Botschaft Paris“ Räume des Fürstlichen Archivgebäudes in der Karlstraße 32 inmitten zahlreicher Behörden als Dienstsitz zugewiesen. Dabei handelte es sich um die 1938 vom Staatsarchiv Sigmaringen in der 1. Etage des Fürstlichen Archivs angemietete ehemalige Dienstwohnung des Fürstlichen Archivars mit dem davor befindlichen Korridor.

Das Staatsarchiv Sigmaringen und das Fürstlich Hohenzollernsche Haus- und Domänenarchiv waren 1865 nach der im Anschluss der Fürstentümer Hohenzollern 1850 an Preußen erfolgten Aufteilung der Archivalien der ehemaligen Haus- und Landesarchive von Hohenzollern-Hechingen und Hohenzollern-Sigmaringen entstanden. Während das Fürstlichen Archiv 1873 als Dienstsitz das eigens für diesen Zweck errichtete Gebäude Karlstraße 32 zugewiesen bekam, wurde das Staatsarchiv zunächst in einem Raum im damaligen Oberamtsgebäude Karlstraße 15 (heute Polizeirevier/Polizeiwache Sigmaringen) und ab 1906 in Räumen im Erdgeschoß eines neu erbauten Privathauses in der Hedinger Straße 8 in Sigmaringen untergebracht. Die Verwaltung des inzwischen hauptamtlich besetzten Staatsarchivs mit den wichtigsten Archivalien und der Dienstbibliothek gelangte 1938 schließlich in die angemieteten Räume im Fürstlichen Archivgebäude. Das restliche Archivgut verblieb im Magazin in der Hedinger Straße.

Der Kriegsverlauf 1944 wirkte sich schließlich auch auf das Archivwesen in Sigmaringen am Fuße der Schwäbischen Alb aus. So hatte die Generaldirektion der preußischen Staatsarchive bereits am 30. August die vorübergehende Schließung des Staatsarchivs Sigmaringen zum 30. September 1944 angeordnet. Der kommissarische Leiter des Archivs, Staatsarchivinspektor Hans Georg Schaffner, sollte mit Wirkung zum 1. Oktober 1944 an das Staatsarchiv Wiesbaden abgeordnet werden. Demnach hätte das Staatsarchiv ohne Personal auch weiterhin in den angemieteten Räumen verbleiben können. Doch dann kam alles ganz anders. So meldete Schaffner seiner Generaldirektion mit Bericht vom 14. September 1944, dass die durch die Schließung des Staatsarchivs frei werdenden Räume im Fürstlichen Archivgebäude nunmehr für Zwecke der Deutschen Botschaft genutzt werden sollten.

Doch bevor die Räume von der Deutschen Botschaft genutzt werden konnten, musste erst einmal das darin befindlichen Archiv- und Bibliotheksgut entfernt werden. Bei einer Besichtigung der Räume soll Gesandtschaftsrat Dr. Hofmann von der Deutschen Botschaft, wie Schaffner seinem von der Wehrmacht eingezogenen Vorgesetzten, Staatsarchivrat Dr. Franz Herberhold, in einem Schreiben vom 14. Oktober 1944 berichtete, sogar vorgeschlagen haben, das „Zeug“, wie er das darin verwahrte Dokumentationsgut bezeichnete, „einzustampfen“. Dies hätte die Vernichtung der gesamten vorpreußischen Überlieferung des Staatsarchivs bedeutet. Ein solches Schicksal ist dem Staatsarchiv schließlich erspart geblieben. Die Archivalien wurden vielmehr ordnungsgemäß in das Magazin Hedinger Straße 8 in Sigmaringen, in die Erzabtei Beuron im Donautal und in das Schloss Haigerloch ausgelagert. Nach Schaffner waren diese Arbeiten am 27. September 1944 abgeschlossen.

In einem weiteren Bericht vom 12. Oktober 1944 erfahren wir, dass die von dem Staatsarchiv zuvor genutzten Räume im Fürstlichen Archivgebäude bereits von der Deutschen Botschaft bezogen waren. Die Botschaft gab sich mit diesen Räumen jedoch nicht zufrieden. Es wurden vielmehr noch zwei weitere Räume in der 1. Etage des Archivgebäudes für Botschafter Abetz und Gesandtschaftsrat Dr. Hofmann sowie für den allgemeinen Bedarf noch zwei weitere Räume im Hochparterre beschlagnahmt, die bisher vom Fürstlichen Archiv genutzt worden waren. Beschlagnahmt für Zwecke der Deutschen Botschaft Paris wurden ferner zwei Räume im damaligen Gebäude der Fürstlichen Hofkammer in der Karlstraße 17 (heute Sitz des Amtsgerichts Sigmaringen) und ein Zimmer im Vorderbau der der damaligen Städtischen Oberschule für Mädchen in der Karlstraße 12.

Über die Zustände im ehemaligen Archivlokal in der Karlstraße 32 berichtete Schaffner seinem Vorgesetzten Dr. Herberhold: „In jedem Zimmer ist jetzt Telefon, im hinteren Zimmer eine Zentrale eingerichtet, ein Berliner Apparat verbindet innerhalb von einer halben Minute mit Berlin, Franzosen gehen aus und ein und von der friedlichen Ruhe des Archivs ist nichts mehr zu spüren…“ Die Vorgänge in der Botschaft sind in den hier vorliegenden einschlägigen Quellen jedoch nicht dokumentiert. Auch den Zeitgenossen blieben diese verborgen. Dieser Sachverhalt wird vor allem auch durch den Bericht von Maximilian Schaitel in seinem Tagebuch über die Truppenrevue zum Jahrestag der Gründung der französischen Miliz am 19. Februar 1945 in der Karlstraße deutlich, an der Botschafter Abetz in großer „Diplomatenuniform“ teilgenommen haben soll. Dem Zeitzeugen war somit völlig entgangen, dass Otto Abetz bereits im November 1944 seines Postens enthoben und durch Botschafter Otto Reinebeck, der sich zuvor bei Jacques Doriot, dem Chef der französischen Volkspartei, auf der Insel Mainau aufgehalten hatte, ersetzt worden war.

Nach dem Kriegsende konnte das Staatsarchiv die angemieteten Räume im Fürstlichen Archivgebäude wieder beziehen und die ausgelagerten Archivbestände 1945/46 zurückführen. 1947 begann es, nunmehr als Archiv des neu gebildeten Landes Württemberg-Hohenzollern, damit, Räume für Archivzwecke im Prinzenbau (Karlstraße 1 + 3) anzumieten. Nach dem Tausch einzelner Räume zwischen dem Fürstlichen Archiv und dem Staatsarchiv 1961, gab Letzteres seine nunmehrige Dependance im Fürstlichen Archivgebäude 1966 schließlich ganz auf.

Im Frühjahr 1978 wurde das Fürstlich Hohenzollernsche Haus- und Domänenarchiv im Staatsarchiv Sigmaringen unter Eigentumsvorbehalt hinterlegt. Die in dem darüber abgeschlossenen Vertrag vereinbarte Überführung des Fürstlichen Archivs ins Staatsarchiv konnte freilich erst nach der Sanierung und dem Umbau des Prinzenbaus für Archivzwecke in den Jahren 1990/91 erfolgen.

Das nunmehr leer stehende ehemalige Dienstgebäude des Fürstlichen Archivs wurde im Dezember 1998 schließlich verkauft und darin anschließend Appartements und eine Arztpraxis eingerichtet. Infolge der hierzu erforderlichen Baumaßnahmen hat der ehemalige Archivzweckbau starke Veränderungen im äußeren Erscheinungsbild, vor allem aber in seiner inneren Struktur erfahren.

Otto H. Becker