神祇不拝っつう言葉が一人歩きしているだけでしょ。
「帰依しない」けど「軽んじない」ってことで良いんじゃないの。