Echt grote tekst- en CSV-bestanden openen

MS Excel kan 1.048.576 rijen weergeven. Hoewel dat bij normaal gebruik misschien een heel groot aantal lijkt, zijn er tal van scenario's waarin dat niet genoeg is.

Of je nu naar logbestanden of grote datasets kijkt, het is gemakkelijk om CSV - bestanden met miljoenen rijen of enorme tekstbestanden tegen te komen. Aangezien Excel zulke grote bestanden niet kan ondersteunen, hoe opent u ze dan precies? Dat zoeken we uit.

Waarom kunnen normale teksteditors(Normal Text Editors) geen echt grote bestanden openen(Open Really Large Files) ?

Een computer heeft gigabytes aan opslagruimte, dus waarom kunnen teksteditors geen grote bestanden openen?

Hier spelen twee factoren een rol. Sommige toepassingen hebben een hardgecodeerde limiet voor de hoeveelheid gegevens die ze kunnen weergeven. Het maakt niet uit hoeveel geheugen uw pc heeft, ze zullen het gewoon niet gebruiken.

Het tweede probleem is RAM . Veel teksteditors hebben geen harde limiet voor het aantal rijen, maar kunnen vanwege geheugenbeperkingen geen grote bestanden weergeven. Ze laden het hele bestand in het systeem- RAM , dus als dit geheugen niet groot genoeg is, mislukt het proces.

Methode #1: Gratis editors gebruiken

De beste manier om extreem grote tekstbestanden te bekijken, is door... een teksteditor te gebruiken. Niet zomaar een teksteditor, maar de tools die bedoeld zijn om code te schrijven. Dergelijke apps kunnen meestal probleemloos grote bestanden aan en zijn gratis.

Grote tekstbestandsviewer(Large Text File Viewer) is waarschijnlijk de eenvoudigste van deze toepassingen. Het is heel gemakkelijk te gebruiken, werkt snel en heeft een zeer lage voetafdruk. Het enige nadeel? Het kan de bestanden niet bewerken. Maar als u alleen grote CSV -bestanden wilt bekijken, is dit zonder twijfel de beste tool voor de klus.

Als u ook grote tekstbestanden wilt bewerken, moet u Emacs proberen . Oorspronkelijk gemaakt voor Unix -systemen, werkt het ook perfect op Windows en kan het grote bestanden aan. Evenzo zijn Neovim en Sublime Text twee lichtgewicht IDE's die kunnen worden gebruikt om gigabyte-formaat CSV - tekstbestanden te openen.

Als je alleen maar naar gegevens zoekt via grote logbestanden, dan is klogg de juiste tool voor jou. Een update-vork van de populaire glogg , deze applicatie stelt je in staat om met gemak complexe zoekbewerkingen uit te voeren door enorme tekstbestanden. Omdat computergegenereerde logbestanden vaak miljoenen rijen kunnen hebben, is klogg ontworpen om probleemloos met dergelijke bestandsgroottes te werken.

Methode(Method) #2: Opsplitsen in meerdere delen(Into Multiple Parts)

Het hele probleem met het proberen om grote CSV- bestanden te openen, is dat ze te groot zijn. Maar wat als u deze zou opsplitsen in meerdere kleinere bestanden?

Dit is een populaire oplossing, omdat het over het algemeen niet nodig is om de interface van een nieuwe teksteditor te leren. In plaats daarvan kunt u een van de vele CSV-splitters gebruiken die online beschikbaar(one of the many CSV splitters available online) zijn om het grote bestand op te splitsen in een aantal gemakkelijk te openen bestanden. Elk van deze bestanden is dan normaal toegankelijk.

Dit is echter niet de beste manier om dit aan te pakken. Het splitsen van een groot bestand kan vaak leiden tot rare typefouten of onjuist geconfigureerde bestanden. Bovendien voorkomt het afzonderlijk openen van elk blok dat u in één keer door de hele gegevens filtert.

Methode #3: Importeren in een database

Tekst- en .csv-bestanden die zich uitstrekken tot meerdere gigabytes zijn over het algemeen grote datasets. Dus waarom importeer je ze niet gewoon in een database?

SQL is tegenwoordig de meest gebruikte opmaaktaal voor databases. Er zijn veel versies van SQL(many versions of SQL) in gebruik, maar de gemakkelijkste is waarschijnlijk MySQL . En gelukkig is het mogelijk om een ​​CSV-bestand om te zetten in een MySQL-tabel(convert a CSV file into a MySQL table) .

Dit is zeker niet de gemakkelijkste methode om met grote CSV- bestanden om te gaan, dus we raden dit alleen aan als je regelmatig met grote datasets te maken wilt hebben. Als MySQL te zwaar klinkt, kunt u in plaats daarvan altijd uw .csv-bestanden naar MS Access importeren .

Methode(Method) #4: Analyseren met Python -bibliotheken

Als je werkt met een .csv-bestand met miljoenen rijen gegevens, zul je er natuurlijk niet veel verstand van hebben. U wilt waarschijnlijk de gegevens filteren en specifieke zoekopdrachten uitvoeren om trends te begrijpen.

Dus waarom zou u geen Python-code schrijven(write Python code) om precies dat te doen?

Nogmaals, dit is niet de meest gebruiksvriendelijke methode. Hoewel Python niet de moeilijkste programmeertaal is om te leren(Python isn’t the hardest programming language to learn) , is het codering, dus het is misschien niet de beste aanpak voor jou. Maar als je merkt dat je dagelijks hele grote CSV -bestanden moet ontleden, wil je misschien (CSV)de taak automatiseren met wat Python-code(automate the task with some Python code) .

Methode #5: Met Premium Tools

De teksteditors die we in de eerste methode zagen, waren geen speciale tools bedoeld voor CSV - verwerking. Het waren hulpprogramma's voor algemene doeleinden die ook konden worden gebruikt om met grote .csv-bestanden te werken.

Maar hoe zit het met gespecialiseerde toepassingen? Zijn er geen apps die zijn gemaakt om dit probleem op te lossen?

Er zijn, eigenlijk. CSV Explorer , bijvoorbeeld, bouwt voort op het proces dat we in de laatste twee methoden hebben beschreven ( SQL - database en Python -code) om een ​​app te maken die CSV - bestanden van elke grootte kan bekijken en bewerken. U kunt alles doen wat u van een spreadsheetprogramma verwacht, zoals grafieken maken of de gegevens filteren in CSV Explorer .

Een andere optie is UltraEdit . In tegenstelling tot de vorige tool is dit niet alleen bedoeld voor .csv-bestanden, maar voor elk type tekstbestand. Het kan gemakkelijk tekst- en CSV - bestanden verwerken tot enkele gigabytes, met een interface die lijkt op veel van de gratis editors die we eerder hebben besproken. 

Het enige nadeel van deze tools is dat het premium-applicaties zijn, waarvoor je een betaalde licentie nodig hebt om ze te kunnen gebruiken. Je kunt altijd hun gratis proefversies uitproberen om hun functies te bekijken, of als je maar een eenmalig gebruik hebt.

Wat is de beste manier om grote tekst-(Large Text) en CSV-bestanden(CSV Files) te openen ?

In dit tijdperk van Big Data is het niet ongebruikelijk om tekstbestanden tegen te komen die in gigabytes lopen, wat zelfs moeilijk te bekijken kan zijn met ingebouwde tools zoals Kladblok(Notepad) of MS Excel . Om zulke grote CSV -bestanden te kunnen openen, moet u een toepassing van derden downloaden en gebruiken.

Als u dergelijke bestanden alleen maar wilt bekijken, dan is Large Text File Viewer de beste keuze voor u. Om ze daadwerkelijk te bewerken, kun je een functierijke teksteditor zoals Emacs proberen , of een premium tool zoals CSV Explorer gebruiken .

Technieken zoals het splitsen van het CSV -bestand of het importeren in een database vereisen gewoon te veel stappen. Je kunt beter een betaalde licentie krijgen van een speciale premium tool als je merkt dat je veel met enorme tekstbestanden werkt.



About the author

Ik ben een computertechnicus met meer dan 10 jaar ervaring, waarvan 3 jaar als a店員. Ik heb ervaring met zowel Apple- als Android-apparaten en ben vooral bedreven in het repareren en upgraden van computers. Ik kijk ook graag films op mijn computer en gebruik mijn iPhone om foto's en video's te maken.



Related posts