José nace en Constantinopla en una familia muy cristiana y en la que un tío materno, san Platón, abad, daba un ejemplo admirable de santidad. Movidos por este ejemplo los miembros de la familia profesaron la vida religiosa: su madre y su hermana se hicieron monjas en Constantinopla y él mismo con sus hermanos y su padre se retiró a sus tierras de Sacudion donde fundaron un monasterio. La familia hubo de correr la suerte de Platón. Cuando éste se enfrentó al emperador Constantino VI a cuentas de su matrimonio adulterino, el monasterio de Sacudion fue cerrado y los monjes tuvieron que dispersarse. Volvieron en 797, pero los ataques árabes hicieron al lugar tan inseguro que los monjes se trasladaron al monasterio de San Juan Bautista de Constantinopla, conocido como Studion, y a sus monjes como estuditas. Superior de este monasterio fue san Teodoro Studita, hermano de nuestro santo.
El año 806 José fue designado obispo de Tesalónica y tres años más tarde tuvo problemas con el nuevo patriarca de Constantinopla, san Nicéforo, cuya designación consideró ilegal porque el designado no estaba todavía ordenado. Y como, además, su hermano y él se negaron a la comunión litúrgica con el sacerdote que había bendecido el citado matrimonio de Constantino VI, san Nicéforo convocó un concilio en el que fueron ellos, san Platón y otros monjes, primero llevados a prisión y luego desterrados a las islas de los Príncipes en el mar de Mármara. Desposeído de su sede, se le nombró un sucesor. Dejado libre, volvió a estar desterrado entre el año 815 y el 821 a causa de su negativa a aceptar la doctrina iconoclasta a la que se opuso con toda firmeza. Relegado a Tesalia, vino a morir de hambre el 15 de julio del 832 y es tenido por mártir. Se conservan de él himnos y homilías.