Webscraping^(Web) is het extraheren van gegevens, informatie of afbeeldingen van een website met behulp van een geautomatiseerde methode. Zie^(Think) het als kopiëren en plakken op volautomatisch.

We schrijven of gebruiken een app om naar de websites te gaan die we willen en maken een kopie van de specifieke dingen die we van die websites willen. Het is veel nauwkeuriger dan het downloaden van een hele website^{(downloading an entire website)} .

Zoals elke tool kan webscraping ten goede of ten kwade worden gebruikt. Enkele van de betere redenen om websites te schrapen, zijn het in een zoekmachine rangschikken op basis van de inhoud, prijsvergelijkingen of het volgen van beursinformatie. Je zou het zelfs als een soort onderzoekstool kunnen gebruiken.

Hoe kan ik websites schrapen met Excel ?

Geloof het of niet, Excel heeft al heel lang de mogelijkheid om gegevens van websites te extraheren, in ieder geval sinds Excel 2003 . Het is gewoon dat webscraping iets is waar de meeste mensen niet aan denken, laat staan ​​dat ze denken aan het gebruik van een spreadsheetprogramma om het werk te doen. Maar het is verrassend eenvoudig en krachtig. Laten we eens kijken hoe het werkt door een verzameling Microsoft Office - sneltoetsen te maken.

Vind de sites die u wilt schrapen

Het eerste dat we gaan doen, is de specifieke webpagina's vinden waarvan we informatie willen krijgen. Laten we naar de bron gaan en zoeken op https://support.office.com/ . We gaan de zoekterm 'veelgebruikte sneltoetsen' gebruiken. We kunnen het specifieker maken door de naam van de specifieke app te gebruiken, zoals Outlook , Excel , Word , enzovoort. Het kan een goed idee zijn om de resultatenpagina van een bladwijzer te voorzien, zodat we daar gemakkelijk terug kunnen komen.

Klik^(Click) op het zoekresultaat, "Sneltoetsen in Excel voor Windows". Zoek op die pagina de lijst met Excel - versies en klik op Nieuwere versies^{(Newer Versions)} . Nu werken we met de nieuwste en beste.

We zouden terug kunnen gaan naar onze pagina met zoekresultaten en de resultaten voor alle andere Office - apps op hun eigen tabbladen openen en er een bladwijzer voor maken. Het is een goed idee, zelfs voor deze oefening. Dit is waar de meeste mensen stoppen met het verzamelen van Office^(Office) -snelkoppelingen, maar wij niet. We gaan ze in Excel zetten, zodat we ermee kunnen doen wat we willen, wanneer we maar willen.

Excel openen en schrapen

Open Excel en start een nieuwe werkmap. Sla de werkmap op als Office-snelkoppelingen^{(Office Shortcuts)} . Als je OneDrive hebt, sla het daar dan op zodat de AutoSave -functie werkt.

Nadat de werkmap is opgeslagen, klikt u op het tabblad Gegevens .^(Data)

Klik in het lint van het tabblad Gegevens op ^(Data)Van web^{(From Web)} .

Het venster Van de wizard Van web wordt geopend. ^{(From Web )}Hier plaatsen we het webadres of de URL van de website waarvan we gegevens willen schrapen. Schakel over naar uw webbrowser en kopieer^(copy) de URL.

Plak de URL in het URL -veld van de Van web^{(From Web)} - wizard. We kunnen ervoor kiezen om dit in de basis-^(Basic) of geavanceerde^(Advanced) modus te gebruiken. De geavanceerde^(Advanced) modus geeft ons veel meer opties om toegang te krijgen tot de gegevens van de website. Voor deze oefening hebben we alleen de basismodus nodig. Klik ^(Click) op OK^(OK) .

Excel zal nu proberen verbinding te maken met de website. Dit kan enkele seconden duren. Als dat zo is, zien we een voortgangsvenster.

Het Navigator- venster wordt geopend en we zien aan de linkerkant een lijst met tabellen van de website. Wanneer we er een selecteren, zien we aan de rechterkant een tabelvoorbeeld. Laten we de tabel Veelgebruikte sneltoetsen^{(Frequently used shortcuts )} selecteren .

We kunnen op het tabblad Webweergave^{(Web View)} klikken om de eigenlijke website te zien, als we rond moeten kijken naar de gewenste tabel. Wanneer we het vinden, kunnen we erop klikken en het wordt geselecteerd voor import.

Nu klikken we op de knop Laden^(Load) onderaan dit venster. Er zijn andere opties die we kunnen kiezen, die complexer zijn en buiten het bestek van onze eerste scrap vallen. Houd er rekening mee dat ze er zijn. De webscraping-mogelijkheden van Excel zijn zeer krachtig.

De webtabel wordt na enkele seconden in Excel geladen . We zien de gegevens aan de linkerkant, waar het nummer 1 in de onderstaande afbeelding staat. Nummer 2 markeert de query die is gebruikt om de gegevens van de website te krijgen. Wanneer we meerdere query's in een werkboek hebben, selecteren we hier degene die we moeten gebruiken.

Merk^(Notice) op dat de gegevens in de spreadsheet komen als een Excel - tabel. Het is al zo ingesteld dat we de gegevens kunnen filteren of sorteren.

We kunnen dit proces herhalen voor alle andere webpagina's die de Office - snelkoppelingen hebben die we willen voor Outlook , Word , Access , PowerPoint en elke andere Office - app.

Geschraapte gegevens actueel^{(Scraped Data Current)} houden in Excel

Als bonus voor jou gaan we leren hoe we onze geschraapte gegevens vers kunnen houden in Excel . Dit is een geweldige manier om te illustreren hoe krachtig Excel is voor het schrapen van gegevens. Zelfs hiermee doen we alleen de meest elementaire scraping die Excel kan doen.

Laten we voor dit voorbeeld een webpagina met aandeleninformatie gebruiken, zoals https://www.cnbc.com/stocks/ .

Ga door wat we eerder hebben gedaan en kopieer en plak de nieuwe URL uit de adresbalk.

U komt in het Navigator- venster en ziet de beschikbare tabellen. Laten we de belangrijkste Amerikaanse aandelenindices^{(Major U.S. Stock Indices)} selecteren .

Zodra de gegevens zijn geschraapt, zien we de volgende spreadsheet.

Aan de rechterkant zien we de zoekopdracht voor Major US Stock Indexes . Selecteer^(Select) dat zodat het wordt gemarkeerd. Zorg^(Make) ervoor dat we ons op het tabblad Hulpmiddelen voor tabellen en in het ^{(Table Tools)}ontwerpgebied^(Design) bevinden. Klik vervolgens op het pijltje naar beneden onder Vernieuwen^(Refresh) . Klik vervolgens op Verbindingseigenschappen^{(Connection Properties)} .

In het venster Query-eigenschappen^{(Query Properties )} , onder het tabblad Gebruik^(Usage) , kunnen we bepalen hoe deze informatie wordt vernieuwd. We kunnen een specifieke tijdsperiode instellen om te vernieuwen, of om te vernieuwen wanneer we de werkmap de volgende keer openen, of om op de achtergrond te vernieuwen, of een combinatie hiervan. Zodra we hebben gekozen wat we nodig hebben, klikt u op OK om het venster te sluiten en door te gaan.

Dat is het! Nu kunt u vanuit een Excel^(Excel) - spreadsheet aandelenkoersen, sportuitslagen of andere gegevens volgen die regelmatig veranderen . Als je goed bent met vergelijkingen en functies in Excel^{(Excel equations and functions)} , kun je bijna alles doen met de gegevens.

Probeer misschien aandelentrends te identificeren, een fantasiesportpool op het werk te runnen of misschien gewoon het weer in de gaten te houden. Wie weet? Uw fantasie en de gegevens die op internet beschikbaar zijn, zijn de enige beperkingen.

Use Excel as a Tool to Copy Data from the Web

Web scrapіng is the aсt of extractіng data, information, or images from a website using an automated method. Think оf it as cоpy and paste оn full automatic.

We either write or use an app to go to the websites we want it to and make a copy of the specific things we want from those websites. It’s much more precise than downloading an entire website.

Like any tool, web scraping can be used for good or evil. Some of the better reasons for scraping websites would be ranking it in a search engine based on its content, price comparison shopping, or monitoring stock market information. You might even use it as a research tool of sorts.

How Can I Scrape Websites with Excel?

Believe it or not, Excel has had the ability to extract data from websites for a long time, at least since Excel 2003. It’s just that web scraping is something most people don’t think of, let alone think of using a spreadsheet program to do the job. But it’s surprisingly easy, and powerful. Let’s learn how it’s done by making a collection of Microsoft Office keyboard shortcuts.

Find the Sites You Want to Scrape

The first thing we’re going to do is find the specific web pages from which we want to get information. Let’s go to the source and search at https://support.office.com/. We’re going to use the search term “frequently used shortcuts”. We can make it more specific by using the name of the specific app, like Outlook, Excel, Word, and so on. It may be a good idea to bookmark the results page so we can easily get back there.

Click on the search result, “Keyboard shortcuts in Excel for Windows”. Once on that page, find the list of Excel versions and click on Newer Versions. Now we’re working with the latest and greatest.

We could go back to our search results page and open the results for all the other Office apps in their own tabs and bookmark them. It’s a good idea, even for this exercise. This is where most people would stop in collecting Office shortcuts, but not us. We’re going to put them in Excel so we can do whatever we want with them, whenever we want.

Open Excel and Scrape

Open Excel and start a new workbook. Save the workbook as Office Shortcuts. If you have OneDrive, save it there so the AutoSave feature will work.

Once the workbook is saved, click on the Data tab.

In the ribbon of the Data tab, click on From Web.

The From Web wizard window will open. This is where we put the web address or URL of the website from which we want to scrape data. Switch to your web browser and copy the URL.

Paste the URL in to the URL field of the From Web wizard. We could choose to use this in Basic or Advanced mode. The Advanced mode gives us a lot more options on how to access the data from the website. For this exercise, we only need Basic mode. Click OK.

Excel will now attempt to connect to the website. This may take a few seconds. We’ll see a progress window, if it does.

The Navigator window will open, and we’ll see a list of tables from the website on the left. When we select one, we’ll see a table preview on the right. Let’s select the Frequently used shortcuts table.

We can click on the Web View tab to see the actual website, if we need to look around for the table we want. When we find it, we can click on it and it will be selected for import.

Now, we click on the Load button at the bottom of this window. There are other options we could choose, which are more complex and beyond the scope of doing our first scrape. Just be aware that they are there. Excel’s web scraping capabilities are very powerful.

The web table will be loaded in Excel after a few seconds. We’ll see the data on the left, where the number 1 is in the picture below. Number 2 highlights the Query used to get the data from the website. When we have multiple queries in a work book, this is where we select the one we need to use.

Notice that the data comes into the spreadsheet as an Excel table. It’s already set up for us to be able to filter or sort the data.

We can repeat this process for all the other web pages that have the Office shortcuts that we want for Outlook, Word, Access, PowerPoint, and any other Office app.

Keeping Scraped Data Current in Excel

As a bonus for you, we’re going to learn how to keep our scraped data fresh in Excel. This is a great way to illustrate just how powerful Excel is for data scraping. Even with this, we’re only doing the most basic scraping that Excel can do.

For this example, let’s use a stock information web page like https://www.cnbc.com/stocks/.

Go through what we did before and copy and paste the new URL from the address bar.

You’ll get to the Navigator window and see the tables available. Let’s select the Major U.S. Stock Indices.

Once the data is scraped we’ll see the following spreadsheet.

On the right, we see the query for Major U.S. Stock Indexes. Select that so it is highlighted. Make sure we’re in the Table Tools tab and in the Design area. Then click on the down arrow under Refresh. Then click on Connection Properties.

In the Query Properties window, under the Usage tab, we can control how this information refreshes. We can set a specific time period to refresh, or to refresh when we open the workbook the next time, or to refresh in the background, or any combination of these. Once we choose what we need, click on OK to close the window and continue.

That’s it! Now you can track stock prices, sports scores, or any other data that changes frequently from an Excel spreadsheet. If you’re good with Excel equations and functions, you can do almost anything you want with the data.

Maybe try to identify stock trends, run a fantasy sports pool at work, or maybe just keep track of the weather. Who knows? Your imagination and the data available on the Internet, are the only limits.

Related posts

• Gebruik de nieuwe functie "Gegevens uit afbeelding invoegen" van Excel Mobile

• Samenvattingsfuncties gebruiken om gegevens in Excel samen te vatten

• Gebruik Excel om een ​​effectieve rentevoet te berekenen uit een nominale rentevoet

• Uw Excel-gegevens in kaart brengen

• Gegevens filteren in Excel

• Sparklines gebruiken in Excel

• Gebruik Format Painter in Word om opmaak te kopiëren en te plakken

• Foutbalken toevoegen in Excel

• Zelfstudie Microsoft Excel Basics – Leren hoe u Excel kunt gebruiken

• Overeenkomende waarden vinden in Excel

• Een macro opnemen in Excel

• AutoTekst maken en gebruiken in Microsoft Word

• Wat-als-analyse in Microsoft Excel begrijpen?

• Excel AutoRecover- en AutoBackup-functies gebruiken

• Datums aftrekken in Excel

• Documenten vergelijken en combineren in Word gebruiken

• Een Excel-werkblad invoegen in een Word-document

• Hoe VERT.ZOEKEN in Excel te gebruiken

• Variantie berekenen in Excel

• Wijzigingen bijhouden in Excel