Klášter v Pohledu byl vystavěn ve 13. století, převážně z vybraných odpustků. Další peníze přidali šlechtici z okolí, kteří do kláštera posílali své dcery na výchovu. Klášter byl několikrát vypleněn, mimo jiné i husity.
Podle jedné z pověstí zde zemřel i Jan Žižka z Trocnova, se svými vojáky, poté co jim jeptišky podaly otrávené jídlo, čímž se mstily za předchozí hromadné znásilnění.
V dalších letech se začínají množit informace o neřestném a rozpustném životě místních klášternic. Jihlavská kronika hovoří o sňatku duchovního a jeptišky, dále pak je znám románek abatyše a klášterního sloužícího Jirky, jenž za toto provinění skončil na šibenici.
Když do země vpadla švédská vojska, zbývalo v klášteře pouhých šest jeptišek. Vojáci klášter vyrabovali a vyloupili, jeptišky se naštěstí rozutekly a schovaly v nedalekých hlubokých lesích.
V dalších letech byl klášter postupně přestavěn na zámek.