非法淘沙通常由河道管理部门负责。根据《中华人民共和国河道管理条例》第四十条,在河道管理范围内采砂、取土、淘金,必须按照经批准的范围和作业方式进行,并向河道主管机关缴纳管理费。如果非法淘沙行为构成犯罪,则应由公安机关处理,依据《刑法》第三百四十三条进行处罚。