Vischer wurde am 30.06.1807 in Ludwigsburg als Sohn eines Pfarrers geboren. Er besuchte das Gymnasium in Stuttgart und ab 1821 das Seminar in Blaubeuren. 1825 begann er sein Studium der Theologie und Philosophie in Tübingen. Er pflegte Freundschaften mit Mörike und D. F. Strauß. 1830 wurde er Vikar in Horrheim bei Vaihingen, 1831 Repetent in Maulbronn, 1833 in Tübingen. Dort erhielt er eine Stelle als Privatdozent für Philosophie und Ästethik und wurde 1844 Professor. Wegen einer allzu freimütigen Antrittsrede wurde er für 2 Jahre suspendiert. 1855 wechselte er als Professor ans Polytechnikum nach Zürich, von 1866-1877 war er Professor für Ästhetik in Stuttgart. Vischer starb am 14.09.1887 in Gmunden am Traunsee.