Erstmals erwähnt wurde Kollnburg in einer Urkunde aus dem Jahr 1153. Die Kallenberger, Calmberger oder Kolnberger, die Besitzer der Burg, waren Ministerialen der Grafen von Bogen. Entlang des historischen Baierweges, dem alten Handelsweg (Säumerweg) von Straubing nach Böhmen, wurden im Verlauf des 11. Jahrhunderts verschiedene Verwaltungssitze (Ministerialensitze) eingerichtet (Böhmersried, Baierweg, Rechertsried, Reichsdorf, Viechtach), darunter auch die Veste Kollnburg. Ein genaues Datum der Errichtung ist nicht belegt. Bis ins 14. Jahrhundert kann das Geschlecht der Kallenberger auf der Burg nachgewiesen werden.

Nach dem Aussterben des Bogener Grafengeschlechts 1242 und dem Antritt der Wittelsbacher Herzöge als deren Nachfolger begann im 14. Jahrhundert der Niedergang des Geschlechts der Kallenberger. Gutshöfe, Mühlen und andere Besitzungen sowie die Veste Kollnburg selber wurden veräußert. 1363 gelangt Kollnburg in den Besitz der Nußberger, einem selbstbewussten Rittergeschlecht der Region, in dessen Hand es bis 1472 verbleibt. Unter den Nußbergern erlebte Kollnburg einen glanzvollen Aufstieg. Es stand ihnen die Niedergerichtsbarkeit (Hofmarkgerichtsbarkeit) zu, sie waren also Richter bei allen Streitbarkeiten außer Kapitalverbrechen.

Zur Vernichtung der Veste Kollnburg kam es unter Hanns dem Nußberger, dem letzten Nußberger in Kollnburg. Er schloss sich insgesamt 42 Rittern des Bayerischen Waldes und des Straubinger Landes an, die sich gegen Herzog Albrecht IV. auflehnten (siehe hierzu auch Geschichte der Burg Neunußberg). Sie gründeten am 1. September 1466 in Regensburg den sogenannten "Böcklerbund". Als Erkennungszeichen trugen sie an einer Kette an der Brust einen Bock. Hanns von Nußberg auf Kollnburg sagte im August 1468 dem Herzog Dienst und Gerechtigkeit auf und bestritt, dass er noch weiter bayerischer Landsasse sei. Vielmehr sei er freier Edelmann. Herzog Albrecht IV hatte den Bund verboten und als sich die Ritter nicht an das Verbot hielten, zog er im November 1468 gegen die Aufständischen zu Felde. Unter den Burgen, die er eroberte, befand sich auch Kollnburg, das im Sturm ein Opfer der Flammen wurde. Hanns von Nußberg auf Kollnburg floh nach Böhmen, söhnte sich aber ein Jahr später mit dem Herzog aus und kam als Mitglied des herzoglichen Rats sogar in seine Dienste. Ungeachtet dessen, wurde den Nußbergern aller Besitz genommen und als Lehen vergeben. 1493 verkaufte Herzog Albrecht IV Schloss Kollnburg mit Zubehör and Hanns von Fuchsstein zu Glaubendorf.

Von dieser Zeit an war Kollnburg in vielen Händen. Besitzer waren u.a. : die Laiminger, die Orthner von Orth, Freiherr Karl Friedrich zu Karg, Franz Andreas von Kastner. Unter letzterem wurde im November 1817 das Schloss samt Besitzungen versteigert. Die Zertrümmerung des Besitzes erfolgte unter dem Folgebesitzer Franz Carl aus Straubing, die Bewohner Kollnburgs wurde freie Eigentümer ihrer Häuser. Nach weiteren Besitzwechseln gelangte das kaum noch bewohnbare Schloss endgültig in bürgerliche Hände. Das sog. "untere Schloss" wurde abgerissen, den Rest des "oberen Schlosses" erwarb die Sektion Viechtach des Bayerischen Wald-Vereins am 11. November 1895.

Renovierungen:
1912 für 12.00.- Goldmark
1983 Renovierung von Kollnburg (und Neunußberg) für ca. 300.000.- DM
2003 erneute Renovierung Kollnburgs für 18.000.- Euro (Neunußberg für 25.000.- Euro)