Isso irá variar de prefeitura para prefeitura.

Algumas prefeituras aceitam a emissão da nota fiscal com estes campos vazios, outras exigem todas as informações preenchidas e com validação de campos.

O ideal é emitir a nota fiscal com o endereço do próprio contratante.