Mit Bericht des Landratsamts Sigmaringen vom 6. September 1944 an den Sigmaringer Regierungspräsidenten wurde die Sicherstellung und damit auch die Beschlagnahme des gesamten Zoller-Hofs gemäß der §§ 5 und 25 des Reichsleitungsgesetzes vom 1. September 1939 für „besondere Unterbringungszwecke“ angekündigt. Der besondere Zweck der Beschlagnahme bestand in der Unterbringung der Botschaft des Kaiserreiches Japan im Zoller-Hof in Sigmaringen, die zuvor in Vichy ihren Sitz hatte.
Das Gebäude des Zoller-Hofs wurde 1844 von dem Brauer und Landwirt Karl Graf erbaut und 1934 nach Plänen und unter der Bauleitung des Architekten Friedrich Imbery völlig umgebaut. Im Erdgeschoß befanden sich danach die Gasträume und im Obergeschoß die Gastzimmer. Im Oberstock wurden die Wohnung des Pächters, die Räume für die Dienstboten und das Bügelzimmer usw. untergebracht. Für die Japaner hatte man tatsächlich offenbar nur das Obergeschoß mit den Gastzimmern beschlagnahmt. Die Tochter der damaligen Pächterfamilie Schmidt aus Bad Nauheim äußerte in einem Schreiben aus dem Jahr 1976, dass sie über die Ereignisse im Schloss und in der Stadt draußen in der Leopoldstraße kaum etwas erfuhren. Wortwörtlich schrieb sie: „Wir lebten dort draußen fast wie auf einer Insel“. Die Japaner seien äußerst liebenwürdig gewesen. Mit dem Botschafter würden sie heute noch brieflich in Verbindung stehen. Herr und Frau Laval seien einmal als Gäste der Japaner bei Ihnen gewesen. Bei dieser Gelegenheit habe sich Ministerpräsident Laval auch in ihr Gästebuch eingetragen. Darin befände sich außerdem ein Foto mit Laval, Abel Bonnard und zwei anderen Persönlichkeiten, aufgenommen im September 1944 in Belfort.
Trotz der Abgeschiedenheit der japanischen Botschaft an der Peripherie der Stadt Sigmaringen erregte der Botschafter Takanobu Mitani aus dem Land der aufgehenden Sonne bei der zumeist katholischen Bevölkerung der Stadt Sigmaringen großes Aufsehen: Er war nämlich katholisch und pflegte in Begleitung seiner Frau und seiner Tochter inmitten der Gläubigen im Kirchenschiff von St. Johann am sonntäglichen Gottesdienst teilzunehmen. Geradezu begeistert trug Maximilian Schaitel die folgenden Zeilen in sein Tagebuch ein: „Wenn das Reich des Tenno zur Regierung Pétain einen katholischen Botschafter schickt, dann ist das für Marschall Pétain, der alle Sonntage seiner Christenpflicht genügt, eine Ehre und fein empfunden und taktvoll und diplomatisch klug. Haben doch die Plutokratenmächte USA und England im katholischen Spanien Frankos katholische Botschafter entsandt. Wie handelt unser Vaterland in diesem Punkte? Was muß man von der deutschen Gabe, fremde Völker zu behandeln, denken, wenn man weiß, dass das Straßburger Münster, das Heiligtum aller Elsässer, nicht mehr zur Abhaltung von Gottesdiensten benutzt werden durfte?“
Otto H. Becker