Co se týče osobního života, Filip Rajmont je otevřeně gay. Kvůli vztahu se studentem na DAMU, kde působil jako učitel, byl ze školy vyhozen. Sedm let žil s hercem Ivanem Luptákem a měl vztah s režisérem Danielem Špinarem, který později prošel změnou pohlaví a stal se Danielou Špinar. Filip také uzavřel registrované partnerství s režisérem Vladimírem Drhou, které bylo založeno na silném přátelství. Když Drha onemocněl rakovinou, Filip se o něj staral až do jeho smrti v roce 2017. Registrované partnerství jim umožnilo, aby Filip mohl dostávat informace o Drhově zdravotním stavu.
V současnosti je Filip Rajmont single a věnuje se osobnímu i profesnímu restartu. Ve volném čase rád chodí na dlouhé procházky a plave.
