Era um dos 10 filhos de um artesão modesto. Desde menino já sobressaia por sua capacidade de resumir precisamente o sermão dominical do pastor. Um nobre da região decidiu finalmente cuidar da sua educação, na escola principesca de Pforta, onde passou seis anos muito difíceis, pois, Fichte sofria com a rigidez da hierarquia, tentando por vezes até fugir. Entretanto, neste mesmo período, Fichte começou a atualizar-se nas discussões mais importantes que estavam acontecendo nos meios filosóficos. Ocupou-se principalmente, da controvérsia entre Lessing e o teólogo Goeze, pastor principal de Hamburgo, sobre a relação entre iluminismo e teologia.
Talvez não apenas por influência de seus pais, mas também por sua própria vontade, Fichte passa a estudar teologia, em 1780, em Jena. No embate que existia entre a liberdade e o determinismo, Fichte manifestava-se a favor do determinismo.
Devido à necessidade financeira e sem haver concluído seus estudos, Fichte passa a trabalhar como preceptor a partir de 1784, primeiramente em Leipzig, depois em Zurique, onde conhece Johana Rahn, uma sobrinha do poeta Klopstock (que mais tarde será sua esposa).
Fichte decidiu devotar sua vida à filosofia, depois de ler as três Críticas de Immanuel Kant, publicadas em 1781, 1788 e 1790. Em 1790, ele volta para Leipzig, onde um pupilo seu pede para ter lições sobre a filosofia kantiana. Apesar de mal conhecer as obras de Kant, Fichte aceita o pedido e passa a estudar com afinco as obras de Kant, dando conta das três críticas em poucas semanas. A leitura das críticas foi muito importante para que Fichte superasse o determinismo, fazendo com que se evidenciasse que o "novo mundo" é o mundo da liberdade, que se evidenciava como a chave para entender toda a estrutura da razão. Segundo diz o próprio Fichte em carta a Johana "a vontade humana é livre, e a felicidade não é o fim do nosso ser, mas a dignidade de ser feliz". São portanto, essas convicções que tornam Fichte um filósofo, aos 28 anos.
Sua investigação de uma crítica de toda a revelação obteve a aprovação de Kant, que pediu a seu próprio editor para publicar o manuscrito. O livro surgiu em 1792, sem o nome nem o prefácio do autor, e foi saudado amplamente como uma nova obra de Kant. Quando Kant esclareceu o equívoco, Fichte tornou-se famoso da noite para o dia e foi convidado a lecionar na Universidade de Jena.
Fichte foi um conferencista popular, mas suas obras teóricas são difíceis. Acusado de ateísmo, perdeu o emprego e mudou-se para Berlim.
Exerceu forte influência sobre os representantes do nacionalismo alemão, assim como sobre as teorias filosóficas de Friedrich Schelling, G.W.F. Hegel e Arthur Schopenhauer. Os Discursos à nação alemã são sua obra mais conhecida.