如果商家拒绝发货并拒绝退钱,您在与商家协商无果后,确实可以直接向人民法院起诉维权。根据《中华人民共和国消费者权益保护法》的相关规定,消费者有权要求经营者履行退货、退款等义务。若商家故意拖延或无理拒绝,您有权通过法律途径寻求救济,包括向人民法院提起诉讼。