職場の人妻をサシ飲みに誘ったら断られたし晒されたんだが

職場中に「あいつ人妻でもかまわず誘ってくる」とか噂されて
いつ仕事辞めるか秒読み段階なんだが
こんなにリスキーなもんなの？どうしたら良い？