Как удалить дубликаты в файле

Все вопросы касательно бесплатной версии программы можно задать здесь
Ответить
Аватара пользователя
screamer
Сообщения: 5
Зарегистрирован: 26 мар 2018, 19:03

Как удалить дубликаты в файле

Сообщение screamer » 26 мар 2018, 19:07

Есть файл со строками. В нём больше 10 тыс. записей. Надо удалить все дубликаты. Как это можно сделать в FREE версии?

Аватара пользователя
spaiker
Сообщения: 33
Зарегистрирован: 14 сен 2017, 02:01

Re: Как удалить дубликаты в файле

Сообщение spaiker » 26 мар 2018, 19:53

// исходный файл
$file1 ="data\\1.csv";
// файл без дубликатов
$file_deduped ="data\\dedup.csv";  

// ////////////////////// php функции 
// считываем файл в массив
$arr=file($file1);

// удаляем дубликаты с помощью php функции
$result = array_unique($arr);

file_put_contents($file_deduped, implode("", $result));

Это чистый PHP код. Для удаления дубликатов из файла в Хумане есть функция $textfile->dedupe($infilepath,$outfilepath,$timeout=COMMAND_TIME);, но она похоже не работает во free версии, а вот php код будет работать в любом случае.

Аватара пользователя
screamer
Сообщения: 5
Зарегистрирован: 26 мар 2018, 19:03

Re: Как удалить дубликаты в файле

Сообщение screamer » 26 мар 2018, 20:11

Спасибо работает. А вот $textfile->dedupe у меня тоже не работает.

Ответить