7 måder til at fjerne duplikatlinjer i tekstfiler

En almindelig tekstfil er en af ​​de mest almindelige måder at gemme indtastede data på en computer. Det er ikke kun meget simpelt at oprette en tekstfil, men også utroligt let at redigere en, fordi den kan gøres ved hjælp af noget enkelt som det indbyggede Windows Notepad-værktøj. En tekstfil er også et universelt format, hvilket betyder, at den er læsbar på flere platforme, inklusive Windows-pc'er, Mac, Linux, telefoner, tablets og alt derimellem.

Hvis du har et antal store tekstbaserede filer, som du har brug for at læse igennem eller har flettet flere tekstfiler til en for at gøre det lettere, er det fornuftigt at fjerne alle tekstlinjer, der er duplikater af hinanden. Du kan gennemgå filen manuelt og fjerne duplikaterne selv, men det er meget lettere at lade processen håndteres automatisk. Her viser vi dig en række forskellige måder, hvorpå du kan få duplikatlinjer fjernet fra dine tekstfiler.

Brug et tredjepartsværktøj til at slette duplikatlinjer

En enkel og almindelig måde at fjerne duplikatlinier fra en tekstfil er at bruge et dedikeret tredjepartsværktøj.

1. TextCrawler TextCrawler er et meget kraftfuldt freeware-program, der hovedsageligt er bygget til opgaven at søge og udskifte data i tekstfiler. Trods sin kraft er TextCrawler stadig relativt let at bruge, og muligheden for at fjerne duplikatlinjer findes faktisk i et separat vindue, kaldet Scratchpad.

Hvis du vil åbne Scratchpad-installationen og starte TextCrawler og gå til menuen Funktioner> Scratchpad, eller trykke på F2. Indsæt teksten i vinduet, og tryk på knappen Do, fjern muligheden for at fjerne duplikatlinjer skal som standard vælges i rullemenuen, den skal ikke vælges på forhånd. Tryk derefter på Gem for at oprette en ny tekstfil, eller kopier og indsæt teksten tilbage i din foretrukne teksteditor. Rullemenuen har også andre muligheder for at fjerne hvide mellemrum og sortere teksten i stigende eller faldende rækkefølge.

Download TextCrawler

2. Notepad ++

Notepad ++ er en funktionsrig teksteditor, men har ikke en integreret funktion til at fjerne duplikatlinjer, men indstillingen kan dog tilføjes via det eksterne pluginsystem Notepad ++ -anvendelser. Selvom nogle allerede er inkluderet, er TextFX-pluginet ikke installeret som standard og skal tilføjes manuelt.

På menulinjen Notepad ++ skal du klikke på Plugins> Plugin Manager> Vis Plugin Manager og finde TextFX Characters- plugin fra listen. Marker afkrydsningsfeltet, klik på Installer og genstart programmet, når du bliver bedt om det, og TextFX-menuen vil være tilgængelig. For at bruge funktionen til fjernelse af duplikatlinie, indlæses en tekstfil i Notepad ++ og vælg al teksten (Ctrl + A), gå til TextFX> TextFX Tools og vælg indstillingen "+ Sorter kun output UNIK (ved kolonne) linjer".

Gå tilbage til den samme TextFX-værktøjsmenu, og klik enten på "Sorter linjer mellem store og små bogstaver (ved kolonne)" eller "Sorter linjer mellem store og små bogstaver (ved kolonne)", fremhævet med gult ovenfor. Dette vil fjerne duplikatlinierne og enten forlade eller fjerne dem med forskellige kabinetter. Gem derefter filen ud igen.

Download Notepad ++

3. Fjernelse af duplikatlinjer

Duplicate Lines Remover er fra sikkerhedsfirmaet NoVirusThanks.org og har nogle nyttige funktioner. Af en eller anden grund er programmets webside blevet fjernet fra deres hjemmeside, men heldigvis er det officielle downloadlink stadig tilgængeligt. Kun et installationsprogram er tilgængeligt, men du kan gøre programmet bærbart ved hjælp af Universal Extractor.

For at fjerne duplikatlinjer skal du gennemse eller slippe en fil i vinduet, klikke på Kontroller, og hvis duplikatlinier findes, skal du klikke på Fix og vælg et gemt navn. Du kan også batchbehandle et antal filer på én gang, inklusive i undermapper, ved hjælp af fanen Fil scanning. Vær dog opmærksom på, at det automatisk vil oprette .bak-sikkerhedskopier og erstatte de originale filer med de behandlede filer. Brug maskeboksen, og tilføj en filtypenavn for at stoppe alt, hvad der behandles. En dedikeret kommandolinjeversion er tilgængelig i pakken for mere avancerede brugere.

Download Duplicate Lines Remover

4. TextMechanic Offline

Offline-delen af ​​navnet er at differentiere dette værktøj fra online TextMechanic-tjenesten, da de to ikke er relateret. Dette værktøj er en bærbar eksekverbar og vært hos SourceForge. Ud over at fjerne duplikater og tomme linjer, kan TextMechanic Offline også slette linjer, der indeholder specifik tekst eller finde og erstatte tekst.

Indsæt teksten, der skal behandles, i TextMechanic-vinduet, inden du trykker på knappen " Fjern duplikatlinjer " efterfulgt af knappen " Fjern tomme linjer ". Hvis du ikke trykker på begge knapper, vil teksten indeholde tomme linjer, hvor duplikaterne er blevet fjernet. Tryk til sidst “ Gem på udklipsholder ”, så den korrigerede tekst kan indsættes tilbage i din teksteditor. Dette værktøj er små og små bogstaver, så linjer skal være identiske i både store og små bogstaver, hvis de skal fjernes.

Download TextMechanic Offline

Slet duplikatlinjer vha. Indbyggede Windows-kommandoer

Ved hjælp af en blanding af indbyggede Windows-kommandoer er det muligt at fjerne duplikatlinier inden for tekstfiler.

5. Brug af et batch script

At sætte disse kommandoer sammen i et enkelt batch-script muliggør hurtig og nem behandling. Dette kan også være nyttigt, hvis din computer har begrænsninger, der kører tredjepartssoftware. Skriptet, vi bruger, blev fundet på StackOverflow og ændret for at gøre det lettere at betjene.

Du skal blot downloade DeDupe Zip-filen og udpakke den, der er to BAT-filer inde, den ene er store og små bogstaver og ændrer ikke linjer, medmindre deres sag også er identisk, den anden script er uanselig for store og små bogstaver. Hvis du vil slette duplikatlinjer i en fil, skal du bare slippe tekstfilen på .BAT-filen, og den vil automatisk behandle og udskrive filen i den samme mappe med et _duped-suffix. Linjerne omordnes ikke, men fjernes på plads, hvilket er ideelt, hvis du vil beholde den samme linjerækkefølge som originalen.

Download DeDupe-batchfiler

Slet duplikatlinjer ved hjælp af en onlinetjeneste

Der er mange onlinetjenester, der gør jobbet med at fjerne duplikatlinjer fra teksten, vi har valgt et par, der skal dække dine behov.

6. TextMechanic

Ikke at forveksle med TextMechanic Offline-værktøjet, som ikke er relateret, dette websted har en række forskellige online tekstbaserede manipuleringsværktøjer. Ud over kun at fjerne duplikatlinjer, hvis du vil have alle andre værktøjer tilgængelige på én gang, skal du bruge All-in-One Text Manipulation Notepad.

Der er to måder at få din tekst ind i vinduet, brug enten knappen Indlæs fil for at søge efter den, eller tryk på den blå C-knap for at rydde den aktuelle tekst i vinduet og indsætte din egen tekst i. Klik derefter på knappen Fjern duplikatlinjer, er sagsfølsomheden og fjernelse af tomme linjefelt tilgængelige for at kontrollere, om din tekst kræver det. Når det er gjort, skal du klikke på knappen Gem som, eller trykke på S for at vælge al tekst, højreklikke og kopiere den (eller trykke på Ctrl + C) klar til at indsætte i en teksteditor.

Besøg TextMechanic Fjern duplikatlinjer

7. Fjern duplikatlinjer

Ligesom TextMechanic.com ovenfor har webstedet TextFixer en række HTML-, antal- og tekstmanipuleringsværktøjer, hvor siden Duplicate Line Removal Tool kun er et.

Indsæt teksten, der skal behandles i det øverste vindue, tryk på knappen Fjern duplikatlinjer, så resultatet vises i det nederste vindue, der er klar til at blive valgt og kopieret. Dette værktøj har et par nyttige sorteringsindstillinger, såsom sortering i alfabetisk rækkefølge eller omvendt sorteringsrækkefølge. Linjefjerningen er store og små bogstaver, så et enkelt bogstav eller lille bogstav på en linje betyder forskellen mellem den forbliver eller fjernes.

Besøg TextFixer Duplicate Line Removal Tool

Et par andre online værktøjer til fjernelse af duplikatlinjer inkluderer DeDupeList.com, Fjern duplikatlinjer af Text-Utils.com og List Scrubber Tool.