根据规定,销售货物或提供应税劳务的,其纳税义务发生的时间为收讫销售款或者取得销售款凭据的当天。先开具发票的,为开具发票的当天。本题中,6月3日,甲公司就80万元贷款全额开具了增值税专用发票,所以答案选B。