поле с типом ключ-уникальный, и запрос вида INSERT IGNORE INTO
и не надо будет даже проверять на совпадения.
собрать все в один большой запрос и залить
Просмотр поста #544013: или фильтр или удаление дубликатов
ramzes