Как удалить дубликаты в файле
Как удалить дубликаты в файле
Есть файл со строками. В нём больше 10 тыс. записей. Надо удалить все дубликаты. Как это можно сделать в FREE версии?
Re: Как удалить дубликаты в файле
// исходный файл $file1 ="data\\1.csv"; // файл без дубликатов $file_deduped ="data\\dedup.csv"; // ////////////////////// php функции // считываем файл в массив $arr=file($file1); // удаляем дубликаты с помощью php функции $result = array_unique($arr); file_put_contents($file_deduped, implode("", $result));
Это чистый PHP код. Для удаления дубликатов из файла в Хумане есть функция $textfile->dedupe($infilepath,$outfilepath,$timeout=COMMAND_TIME);, но она похоже не работает во free версии, а вот php код будет работать в любом случае.
Re: Как удалить дубликаты в файле
Спасибо работает. А вот $textfile->dedupe у меня тоже не работает.