根据《国家税务总局关于进一步完善税务登记管理有关问题的公告》（国家税务总局公告2011年第21号）第三点：纳税人到外县（市）临时从事生产经营活动的，应当在外出生产经营以前，按照外出经营活动所应缴纳的货物与劳务税税种向相应的县级以上（含本级）主管税务机关申请开具《外出经营活动税收管理证明》。外出经营活动应缴纳增值税的，向国税机关申请开具；外出经营活动应缴纳营业税的，向地税机关申请开具；外出经营活动为兼营行为的，可向国税或地税机关申请开具，税务机关不得拒绝。因此，该纳税人应由地税部门开出外经证明。