Pfalzgraf Botho von Kärnten hatte 1057 die Juragüter des verstorbenen Markgrafen und Herzogs Otto von Schweinfurt durch die Ehe mit dessen Tochter Judith erheiratet. Da er sich 1070 "comes de Pottensteine" nannte, war der Bau der Burg, die den Namen des Pfalzgrafen trug, wohl schon vorher erfolgt. Mangels männlicher Erben hatte Botho seine Juraburg noch vor seinem Tode ( 1104) der Bamberger Kirche übergeben. Bischof Otto I. von Bamberg hielt sich sogar zweimal - 1118 und 1121 - auf der Burg auf. Zwischen 1114 und 1365 ist ein Bamberger Ministerialengeschlecht mit 24 bekannten Personen nachgewiesen, das sich nach dem Sitz nannte. Um 1121 begegnet Wecelo de Botensteine, der schon 1114 ohne Familienname erscheint. Erchinbertus dapifer de Botenstein war von 1203 bis 1221 Bamberger Truchseß. Ob die heilige Elisabeth 1227 tatsächlich auf der Burg weilte - wie dies die Legende behauptet - konnte bisher nicht bewiesen werden.
Pottenstein war schon vor 1323/27 mit Stadtrechten ausgestattet worden, denn im ersten bischöflichen Urbar findet sich der Eintrag: Botenstein castrum et oppidum sunt Epi(scopi). 1348 war Pottenstein Sitz eines Bamberger Amtes mit ausgedehntem Hochgerichtssprengel. Der Bezirk wurde durch die Einverleibung der Ämter Tüchersfeld (1492), Leienfels (1594) und Gößweinstein (1637) wesentlich vergrößert.
1128 wurde Pottenstein von dem staufischen Herzog Friedrich von Schwaben - dem Vater Kaiser Friedrich Barbarossas - überfallen. Während der Stauffer den Ort nieder brannte, scheint sich die Burg gehalten zu haben. 1525 besetzten und plünderten aufständische Bauern das Bergschloss, doch konnten die Bürger Pottensteins den Abbruch verhindern. Bei der Beschießung und Einnahme durch markgräfliche Truppen am 18. Mai 1553 entstand ein Schaden von 20000 fl.
Der östlich der Hauptburg gelegene Vorhof ist vermutlich schon Ende des 14. Jahrhunderts entstanden. In ihn gelangte man über eine Schlagbrücke, durch zwei Tore und ein Torhaus. Hier befanden sich das untere Kastenhaus, das nach Abbruch des alten Baues 1497 wieder errichtet wurde (= Neuer Kasten), weitere Stallungen und das 1679 neu erbaute Vogthaus sowie eine Zisterne. In die obere Burg führte eine gedeckte Gangtreppe auf hoch gemauertem Schwibbogen. Das untere Ende dieses Ganges im Vorhof sicherte eine Zugbrücke. Der Schlossturm hatte einen Aufzug mit Erker. Nach den Verwüstungen im Markgrafenkrieg wurde die Kapelle nicht mehr aufgebaut. Das Zeughaus ließ man 1580/81 auf dem Gemäuer des alten, 1553 verbrannten Schütthauses hochführen. Der alte, im 11. Jahrhundert entstandene Turm war 1703 bereits Ruine, 1712 fielen Steine herab, so dass 1720 ausgewaschene Quader abgetragen werden mussten. Außer der bereits erwähnten Gangtreppe führte ab 1682 noch ein Aufzug in die Oberburg. Trotz zweier Zisternen auf der Burg musste ein Esel täglich Frischwasser vom Tal herauf tragen.
Die weitere Geschichte der Burg ist - wie bei Gößweinstein und Streitberg - ein Kampf gegen den Verfall. Der Oberamtmann zog 1749 in die Stadt hinab. Das Schloss diente als Getreidespeicher. Mauerteile westlich der Kemenate stürzten 1779 zu Tal, worauf die Mauer fast gänzlich eingelegt werden musste. Weitere Mauerteile wurden 1785 und 1812 abgetragen. Zwei Nebengebäude auf der Südseite der oberen Burg mussten 1785 abgebrochen werden. 1801 wohnte nur ein Wächter im Schloss. Der alte Turm überragte um 1800 nicht einmal mehr die Kemenate und wurde 1816 abgerissen. Ein Teil der südlichen Schlossmauer rutschte 1854 ab, 1872 brach man den Stadelbau (= Neuer Kasten von 1497) auf der Südseite des Vorhofes ab. Die baufällige Außenmauer wurde durch drei Stützpfeiler gefestigt.
1878 kaufte der Nürnberger Apotheker Kleemann das Schloss vom Königreich Bayern. Ihm ist es zu danken, dass die stolze Veste in ihrem damaligen Bestand auf uns gekommen ist. Seit 1918 gehört die Burg den Freiherren von Wintzingerode.
