Na versão atual do Rails associações belongs_to ignoram qualquer opção passada usando :dependent. Mas à partir da nova versão você poderá usar :dependent => :destroy e :delete em associações belongs_to.

Exemplos:

belongs_to :author_address
belongs_to :author_address, :dependent => :destroy
belongs_to :author_address_extra, :dependent => :delete, :class_name => "AuthorAddress"

E para aqueles que acham que isto não faz sentido, lembrem-se que o belongs_to não precisa ter o has_many na outra ponta para ser usado. Como no exemplo abaixo:

class Person < ActiveRecord::Base
  belongs_to :address, :dependent => :destroy
end

class Address < ActiveRecord::Base
end