Babinski nasceu em Paris a 17 de novembro de 1857, em uma família polonesa que emigrara para a França em 1848, fugindo da repressão czarista. Seu pai, que terminaria a sua carreira como bibliotecário da Escola de Minas, era engenheiro, mas, muito engajado nos movimentos oposicionistas poloneses, deixava muitas vezes o lar, para participar de atividades nacionalistas. Assim, foi a mãe que teve o papel mais importante na educação dos dois filhos, Joseph e seu irmão mais velho Henri, também engenheiro, e que, sob o pseudônimo de Ali-Bab, publicou um célebre tratado de Gastronomia prática. Os dois irmãos, tendo permanecido solteiros, estiveram muito próximos durante toda a vida.
Depois de uma residência nos serviços de Legrand du Saulle e de Vulpian, de uma sólida formação anatomopatológica adquirida nos laboratórios de Cornil e Ranvier, Babinski defendeu sua tese sobre a esclerose em placas, e em 1886 tornou-se chefe de clínica no serviço de Charcot, em plena fase dos estudos sobre histeria. É interessante notar que, no mesmo ano, a freqüência a esse serviço por dois médicos da mesma idade, tendo um mesmo passado de neuropatologistas, Babinski e Freud, teria sobre suas carreiras uma ação determinante exatamente oposta.
Nomeado médico dos Hôpitaux em 1890, Babinski assumiu imediatamente um serviço no Hospital de La Pitié. Permaneceria ali até sua aposentadoria em 1927. Em 1892, apresentou-se ao concurso para professor, apoiado por Charcot, que, sabendo-se doente, talvez visse nele o seu sucessor. Bouchard era o presidente da banca, e estava em maus termos com Charcot. Babinski foi eliminado. Nunca tentaria uma segunda chance, e renunciou à carreira universitária. Em 1914, foi eleito para a Academia de Medicina. Morreu a 29 de outubro de 1932, dois anos depois do irmão.
A obra de Babinski, inclusive paradoxalmente a sua obra neurológica, foi muito influenciada pelo problema da histeria, sobre a qual a sua posição, calcada na de Charcot até o falecimento do mestre em 1893, mudaria várias vezes. A única constante parece ser uma oposição irredutível a Bernheim e ao que ele chamava a sua "universidade de aldeia", enquanto que, inconfessadamente, suas concepções se aproximavam pouco a pouco das da Escola de Nancy.
Em 1886, Babinski publicou no primeiro número da Revista de Hipnotismo Experimental e Terapêutico um artigo intitulado "Pesquisas que servem para estabelecer que certos fenômenos nervosos podem ser transferidos de um paciente para outro sob a influência do ímã" (depois de estabelecer, como afirmava, "condições tais que qualquer idéia de simulação ou sugestão deve ser absolutamente afastada"). O artigo, que foi retomado no mesmo ano em Progresso Médico se referia não só ao hipnotismo, mas também à metaloscopia de Burq, e até às teorias "fluídicas". Três anos depois, em "Grande e pequeno hipnotismo", que foi publicado nos Archives de Neurologie, Babinski atacou violentamente a escola de Nancy, "o que, aliás não exige longas argumentações, pois ela consiste essencialmente em negar tudo o que se afirma em Paris"… Atacou também Bernheim, que "não atribui nenhuma importância à existência de fenômenos somáticos, que para ele são apenas obra de sugestão". Ora, a sugestão, "isto é, a idéia introduzida no cérebro" (Bernheim), constituía para os estudiosos de Nancy "a chave da hipnose", e quando, na memorável sessão da Sociedade Neurológica do dia 7 de janeiro de 1901, Babinski propôs a sua nova "Definição da histeria", foi justamente à sugestão que ele se referiu: "O que caracteriza as perturbações primitivas [da histeria] é o fato de que é possível reproduzi-Ias por sugestão "com uma exatidão rigorosa, em certos pacientes, e fazê-Ias desaparecer sob a influência exclusiva da persuasão." E propôs o termo de pithiatismo (do grego, eu persuado + curável), "para substituir vantajosamente" a palavra histeria, prestando ao mesmo tempo uma homenagem inconsciente a Peitó, divindade do cortejo de Afrodite, e, através dela, ao caráter sedutor da histérica. Deixando de assimilar histeria e hipnotismo e negando o fator afetivo, assimilava então histeria e sugestão, indo além do pensamento de Bernheim, que afirmava – com razão – que a sugestão ultrapassa amplamente o quadro da histeria.
O gênio de Babinski se manifestava em outras questões. Todos os que o conheceram exaltavam as suas qualidades de observador taciturno, obstinado e minucioso. Na tradição de Charcot, desejava aplicar ao estudo da histeria o olhar descritivo do neurologista, tentando pacientemente descobrir os sinais objetivos que distinguissem o sintoma histérico do sintoma orgânico. Se esse método, no caso da histeria, se revelou errôneo, permitiu a Babinski refinar a semiologia neurológica, codificar um procedimento de exame rigoroso, precisar as correlações anatomoclínicas que, por exemplo, iriam levá-Io a demonstrar, em 1896, a especificidade da extensão do grande artelho (hálux) em caso de lesão do feixe motor piramidal ("sinal de Babinski") ou ainda, 15 anos depois, graças apenas à precisão do seu exame clínico, a localizar e fazer operar com sucesso, por Paul Lecène, um tumor da medula espinhal, assinando assim a certidão de nascimento da Escola Francesa de Neurocirurgia.