Tollare känner sin historia från 1403. Då köpte Jöns Pedersen Daen gården som omfattade 550 tunnland. Som borgmästare i Stockholm tog han sig namnet Johannes Petri. Hans änka Margit Laurensdotter skänkte 1465 Tollare till Gråbrödraklostret i Stockholm. Efter reformationen 1527 drogs kyrkans gods in. Gustav Vasa förlänade Tollare till Jakob Bagge, amiral i kungens flotta. Under de kommande århundradena ägdes Tollare av olika ståndspersoner. När ryssarna härjade och brände i skärgården 1719 nådde de aldrig Tollare. Huvudbyggnaden från 1600-talet klarade sig.
1834 köptes Tollare av järngrossisten Anton Frestadius. Han byggde på Herrgården med en andra våning och försåg huset med balkonger och fönsterkupor. Hans barn förskönade huset ännu mera så att det blev ett rätt förnämligt corps de logi.
1895 var det dags för en ny ägare Fredrik Carlson, grosshandlare och hattfabrikör som 1918 sålde Tollare till Johan Alfred Hedenström. Han grundade Tollare pappersbruk och bodde på gården till sin död 1931. Arvingarna sålde den till Conrad Åhlberg som kort därefter sålde huvudbyggnaden med 17 tunnland mark till Stockholms distrikt av Godtemplarorden, en del av nuvarande IOGT-NTO.
1878 anlades här Sveriges första tennisbana som numera är nedlagd. Ungefär samtidigt byggdes kägelbanan som fortfarande är i drift. Ångbåten från Stockholm lade till vid Tollares brygga. Här drevs en omfattande kurs och pensionatsverksamhet. Sommartid bodde era hundra ungdomar i en särskild tältstad.
1945 beslöts att Tollare skulle bli IOGTs folkhögskola. Den första vinterkursen började 1952.