Быстро удалить дубли в огромных файлах

[CLAY]

В данном случае мы рассмотрим и настроим софт на удаление дублей.
Бат файл открывается любым блокнотом:

Открываем наш бат файл:
В файле пишем:
Код:
App.Merge.exe o="rez_out.txt" t=4 "rez.txt"
pause

rez.txt - файл, в котором мы хотим удалить дубликаты.
rez_out.txt - файл, который мы получим в итоге.

Да и не забудьте положить файлы в эту же папку.

Софт может объединять сразу несколько файлов и после удалять дубли, для этого просто вписываем нужные нам файлы:
Код:
App.Merge.exe o="rez_out.txt" t=4 "rez.txt" "rez2.txt" "rez3.txt"
pause

rez.txt - файл, в котором мы хотим удалить дубликаты.
rez2.txt - 2-й файл, в котором мы хотим удалить дубликаты.
rez3.txt - 3-й файл, в котором мы хотим удалить дубликаты.
rez_out.txt - общий файл, который мы получим в итоге.

Также можно прописать различные опции:
o=[out-file] - Выходной файл.
t=[threads] - Потоки, используется для ускорения сортировки вверх только.
c=[mem] - Используется для управления, сколько оперативной памяти для использования в МБ. По умолчанию 1024. блокированного в 3072.
min=[num] - Минимальная длина слова. По умолчанию = 1
max=[num] - Максимальная длина слова. По умолчанию = 4096.

Формат команды:
App.Merge.exe o="output-file.txt" t=4 [options] ... "word-list1.txt" "word-list2.lst" "directory1" ...

Для анализа отчета словесного списка:
App.Merge.exe r = "словарь-list1.txt"

Двойные кавычки необходимы для имени пути / файлов, которые содержат пробелы. Можно также указать пути к каталогам, если вы хотите объединить / сортировать множество файлов в папках.

Скачать:

You must be registered for see links

или

You must be registered for see links

VT -

You must be registered for see links

 

[Patrik24rus]

приветствую, прошу перезалить файл