Бог поражает мечем, если народ не угоден Ему. Рефаимы как народ были уничтожены - это рука Божья. Остались только фрагментарные потомки, упоминаемые в дальнейшем.
Лично я склонен думать, что во фразе "Бог посетил их" подразумевается именно Небесное вмешательство Бога, типа такого -"И сошел Господь посмотреть город и башню, которые строили сыны человеческие".