Frau Anna von Pienzenau verfolgte einen anderen Plan, sie zog es vor, im nämlichen Jahr wieder zu heiraten und ging die Ehe ein mit dem Grafen Konstantin Fugger zu Kirchberg und Weißenhorn, einem Urenkel des Stammvaters der Augsburger Fuggerfamilie, Hanns Fugger. Mit dieser Verbindung ging Zinneberg in den Besitz der Fugger über und verblieb für die nächsten 230 Jahre auch in deren Händen. Aus dieser Zeit gibt es aus dreierlei Gründen wenig Erfreuliches zu berichten: In die Zeit ihrer Regentschaft fiel der 30-jährige Krieg, ihm folgte die Pest und auch die Fugger selbst erwiesen sich ihren Grundholden, d.h. ihren unfreien Untertanen gegenüber als unnachgiebige und rechthaberische Herren und waren dem zu Folge nicht besonders beliebt.
Der 30-jährige Krieg (1618 - 1648) verschonte auch unsere Heimat nicht. 1632 überschritt der Schwedenkönig Gustav Adolf mit seinen Soldaten die Donau und fiel in das Land zwischen Isar und Inn ein. Die Stadt München blieb jedoch von Zerstörung und Plünderung weitgehend verschont. Sie hatte sich für 300.000,- Reichstaler beim Schwedenkönig freigekauft. Und so zogen die Schweden weiter und fielen in das Land südöstlich von München ein, wo sie sich reiche Beute versprachen. Auch in unserer Region gibt es zahlreiche schriftliche, aber auch monumentale Zeugen aus dieser Zeit, z.B. die Schwedenkapelle in Berganger. Glonn und Schloss Zinneberg litten ebenfalls sehr stark unter diesem Krieg. So wird aus dem Jahre 1632 berichtet, dass die Fuggerschen Soldaten den Schweden eine schwere Niederlage zugefügt und 25 schwedische Soldaten niedergemacht hätten. Diese ließen dies jedoch nicht auf sich sitzen, kehrten nach Glonn und Zinneberg zurück und hausten hier schrecklich. Der Glonner Pfarrherr Melchior Schmalzmayr schreibt im Jahr 1632 darüber folgendes: „Glonn, all der im Kugelfelde viel der Bauern umgebracht worden, ist durch die Schweden bis an ein Badstuben ganz abgebrannt worden." Auch Schloss Zinneberg wurde ganz niedergebrannt. Es wird berichtet, dass dabei 70 Glonner das Leben verloren. Bis in die heutige Zeit hinein hält sich das Gerücht, dass zwischen dem Schloss und dem Ort Glonn eine unterirdische Verbindung existierte, durch die sich wenigstens einige Bürger und Bauern, Frauen und Kinder retten konnten. Man erzählt sich folgendes: „Als in Glonn der Kampf auf dem Kugelfeld tobte, flohen die Glonner durch diesen Gang nach Zinneberg; als die Soldaten auf dem Schloss einfielen, flohen sie wiederum, diesmal jedoch wieder zurück nach Glonn." Einen historischen Nachweis für diese Geschichte gibt es aber nicht. Bereits acht Jahre nach der Zerstörung des Schlosses, im Jahre 1640, ließ der Fuggergraf Johannes Friedrich das Schloss wieder erbauen. Nach dem Schwedeneinfall kam ein weiteres, vielleicht noch größeres Leid über die Menschen, die Pest. Sie brach im Jahre 1634 - vielleicht auch auf Grund des Krieges - mit Macht aus und verbreitete sich unaufhaltsam im ganzen Land, griff auf alle Orte über und hauste fürchterlich. Aus Glonn wird berichtet, dass diese Seuche 100 Menschen dahingerafft hat. Pfarrherr M. Schmalzmayr berichtet in seinen Aufzeichnungen weiter von vielen Häusern, die durch die Pest gänzlich ausgestorben seien. Der Pest schloss sich eine Mäuseplage an, die auf den Feldern die Ernte vernichtete und so die Not weiter verschlimmerte.
Zu diesen für die Menschen schon extrem schwierigen Lebensbedingungen kam noch die Regentschaft der Fugger selbst hinzu. Zahllose Prozessakten und Niederschriften geben Aufschluss über die Einforderung des Zehents, des Scharwerks und die Ableistung von Hand- und Spanndiensten. Die Fuggergrafen schraubten die Anforderungen immer höher, ohne Rücksicht auf die Umstände zu nehmen, ob z.B. die Ernte infolge eines Unwetters vernichtet war oder ob auf Grund eines Unglücksfalles oder einer Krankheit ein Bauer die Arbeit nur schwer oder gar nicht verrichten konnte. Die Fugger waren hier unerbittlich. Auch mit dem Pfarrherrn von Glonn kam es zu einem langwierigen Streit, Graf Johannes Friedrich weigerte sich, ein Drittel des von ihm eingeforderten Zehents an die Pfarrei Glonn weiterzugeben. Der Streit eskalierte und so kam es 1665 sogar zur Exkommunikation des Grafen durch den Bischof von Freising. Dass er dies nicht so ganz ernst nahm, beweist folgendes Zeugnis, das er im gleichen Jahr seinem Hausgeistlichen ausstellte. Er schrieb hier:
„Allen und jedem einzelnen, welche dieses Zeugnis lesen oder darin Einsicht nehmen, Gruß im Herrn und meine innigste Ergebenheit! Ich, Johannes Friedrich Fugger, Graf von Kirchperg und Weißenborn, Herr von Zinneberg, Kämmerer der erlauchten Fürsten, der Kurfürsten von Bayern und des Erzbischofs von Salzburg, wie auch Schatzmeister des Ritterordens von Ober-Bayern, gebe unter einem bekannt, daß der Hochwürdigste Abt, Herr Doktor P. Benedikt Herschl, O.S.B. zugehörig zum Kloster Tegernsee, bei mir auf meinem Schloss in Zinneberg als Gast durch 4 Jahre und gut 5 Monate das Amt eines Schloßkaplans verwaltet hat und in dieser Zeit durch Würde an Tugenden, ehrenhaftes Leben, Frömmigkeit, Besonnenheit und andere Tugenden, wie auch durch eifrige Verkündigung des Wortes Gottes (was in der benachbarten Pfarrkirche selten geschah) - sich auszeichnete, so daß er mir und meinen Hausbewohnern, wie auch durchwegs allen, zum besten Vorbild und zur Erbauung gereichte. Ich hätte ihm auch sehr gerne weiterhin Gastfreundschaft gewährt, wenn er nicht auf Grund seiner großen Fähigkeiten eine Berufung wo anders hin erhalten hätte. Durch diese Empfehlungen, zum Zeichen an Wahrheit mit eigenhändiger Unterschrift und mit meinem gebräuchlichen Siegel versehen, will ich, oben genannter Graf, den scheidenden Hochwürdigsten Herrn Abt Benedikt, ihrer Gunst empfehlen.
Gegeben im obgenannten Zinnenberger Schloß
6. Oktober 1665 Johannes Fridericus Fugger, Graf von Z i n n e n b e r g."
Im Jahre 1717 kam es ebenfalls zu einem sehr heftigen, langwierigen und, was die Briefwechsel betrifft, sehr umfangreichen Streit zwischen dem Glonner Pfarrer Herrn Georg Sartor und dem Grafen Max Emanuel Fugger. Gegenstand dieser Auseinandersetzung war auch hier wieder die Verweigerung von Zehentabgaben an das Glonner Pfarramt. Nach einem 15 Jahre lang dauerndem Streit kam es 1732 endlich zu einem Vergleich, der auch von allen Beteiligten unterschriftlich akzeptiert wurde. Ende des 17. Jahrhunderts erging an Michael Wening der Auftrag, alle namhaften Gebäude Bayerns aufzunehmen, Zeichnungen davon zu machen und sie auch zu beschreiben. Für das Schloss Zinneberg wurde dieser Auftrag in doppelter Form durchgeführt, es gibt davon 2 Kupferstiche aus dem Jahre 1701, jedoch von unterschiedlichen Seiten; der erste zeigt eine Südansicht des Schlosses; auf dem anderen Stich sind vier Schlösser oder Burgen zusammengefasst: Mauerstetten, Ottenhofen, Wildenholzen und Zinneberg. Das Schloss wird hier von der südöstlichen Ansicht, also ungefähr aus der Glonner Perspektive dargestellt. Dazu gibt es eine ausführliche Beschreibung. Es heißt hier: „Beschrieb des Schloßgutes Zinneberg und seiner Nebengüter nach der Historico Topographico Descriptio (Beschreibung der Churfürsten- und Herzogthums Ober- und Niederbayern)".
Seine Beschreibung beginnt so: „Schloß und Hofmark in Oberbayern, Rentamt München, Bisthum Freising, Gericht Schwaben, eine Viertelstunde von Glonn allwo die Straße von Rosenheim gehet, linker Seits gelegen..." Mit dem Ende des 18. Jahrhunderts endete die Zeit, in der die Grafen Fugger das Schloss hier bewohnten und auch selbst bewirtschafteten. Graf Johann Baptist starb 1795 und Graf Emanuel war unverheiratet geblieben. Das Schloss verblieb jedoch nach wie vor im Besitz der Fugger, diese setzten zu dessen Verwaltung Administratoren ein, einer davon war Ritter Kern aus Höhenrain. Mit dem königlichen Edikt vom 30. Juli 1820, eigenhändig unterzeichnet vom bayerischen König Max Joseph, wurde genehmigt, „daß unserer Kämmerer Emanuel Graf Fugger auf seinen im Landgericht Ebersberg liegenden Gütern Zinneberg und Mattenhofen ein Patrimonialgericht zweyter Klasse errichte". Dies Gericht II. Klasse regelte im wesentlichen die Angelegenheiten, die heute den Notaren obliegt. Dieses Recht beinhaltete somit zusätzliche Einkünfte durch Gebühren. So blieb sich das Geschlecht der Fugger in ihrer Zeit der Regentschaft bis zum Ende in ihrer Einstellung nach Gewinnstreben treu.