親密な取引先、古い友人が暴力団関係者。トラブルなく切るには

相手が暴力団関係者ではないかという噂があったり、「普通の会社と様子が違うな」と感じたりした場合、どのように対処すべきか。