Po skončení hráčské kariéry se Černý věnoval trénování. Působil v Rakousku, Itálii a vedl týmy jako Žilina, Prostějov, Ytong Brno a Kometa, která tehdy hrála druhou ligu. Na přelomu tisíciletí se však rozhodl s vrcholovým trénováním skončit kvůli nespokojenosti s poměry v hokeji a společnosti. Nadále se však věnoval koučování mladých talentů.
Kromě hokeje měl Černý i další zájmy. Vystudoval střední školu elektrotechnickou a později pedagogickou fakultu, kde se zaměřil na tělesnou výchovu. Jeho velkou vášní byl chov poštovních holubů a udržování kondice prací na zahradě. Černý se řídil zásadou, že nesmí být líný a nesmí nikomu závidět. Věřil, že úspěch je výsledkem tvrdé práce a poctivosti, a proto fandil každému, kdo dosáhl úspěchu poctivou cestou.
V roce 2007 byl Josef Černý uveden do Síně slávy mezinárodní federace IIHF a o rok později i do Síně slávy českého hokeje, čímž se jeho jméno navždy zapsalo do historie tohoto sportu.
