Hey zusammen,
Für eine Projektarbeit suche ich ein Tool welches Daten von Internetseiten wie den statistischen Bundesamt, Bundesanzeiger, usw. automatisch in Excel überträgt.
Hat jemand ne Idee?
Danke schonmal
Du redest vermutlich von Web Scraping, d.h. HTML Inhalte einer Webseite zu extrahieren. Kann hier verschiedene Pakete empfehlen:
R: rvest
Python: scrapy, beautifulsoup, selenium, etc.
Mit etwas rumprobieren und Tutorials anschauen kann man das auch als Novize zum laufen bringen.
Eine Alternative wäre auch eine Übertragung via API
https://www.destatis.de/DE/Service/OpenData/api-webservice.html
Falls es auch etwas weniger technikaffin sein kann: Beim statistischen Bundesamt kannst du ohnehin die Daten i.d.R. direkt als Excel exportieren. Ob beim Bundesanzeiger Web Scraping funktioniert, weiß ich nicht, ich habe aber meine Zweifel (man muss ja schon bei jedem einzelnen Abruf diese nicht-maschinenlesbare Zeichenkette eingeben). Schau mal, ob du über deine Unibibliothek Zugang zu einer der gängigen Unternehmensdatenbanken wie Amadeus oder Orbis hast. Dort bekommst du dieselben Daten (und noch viel mehr) auch noch gleich standardisiert bzw. für weitere Analysen aufbereitet im Excel-Format.
Ob sich Web Scraping lohnt, hängt natürlich davon ab, was für Daten genau du benötigst.
antwortenVon was für Daten sprichst du? Welche Mengen? Wenn die Daten im Browser als Tabelle angezeigt werden, kannst du diese oft auch einfach markieren und per copy-paste in Excel einfügen.
Selbst wenn es sehr viele Daten sind und du ne halbe Stunde mit kopieren beschäftigt bist, geht es wahrscheinlich deutlich schneller, als wenn du mit irgendwelchen Tools und Skripten anfängst.
Klingt vielleicht ziemlich stumpf, aber oft denkt man garnicht dran, dass es so einfach sein kann.
Bin übrigens Informatiker und beschäftige mich hauptsächlich mit Automatisierung.
antwortenIhr scheint euch nicht einmal mit den Grundfunktionen von Excel auszukennen. Man benötigt überhaupt keine "Tools" oder was auch immer. Man kann auch direkt aus einer Text- oder Excel Datai Daten in Excel importieren.
antwortenWiWi Gast schrieb am 10.10.2020:
Von was für Daten sprichst du? Welche Mengen? Wenn die Daten im Browser als Tabelle angezeigt werden, kannst du diese oft auch einfach markieren und per copy-paste in Excel einfügen.
Selbst wenn es sehr viele Daten sind und du ne halbe Stunde mit kopieren beschäftigt bist, geht es wahrscheinlich deutlich schneller, als wenn du mit irgendwelchen Tools und Skripten anfängst.Klingt vielleicht ziemlich stumpf, aber oft denkt man garnicht dran, dass es so einfach sein kann.
Bin übrigens Informatiker und beschäftige mich hauptsächlich mit Automatisierung.
Wenn Du wirklich "Informatiker" wärst, dann würdest Du so etwas niemal empfehlen, sondern jeden davon abraten, aufgrund der Formatierung. Mit Copy Paste kann man mehr falsch als richtig machen. Das ist die schlechteste Idee von allen.
antwortenWiWi Gast schrieb am 11.10.2020:
Von was für Daten sprichst du? Welche Mengen? Wenn die Daten im Browser als Tabelle angezeigt werden, kannst du diese oft auch einfach markieren und per copy-paste in Excel einfügen.
Selbst wenn es sehr viele Daten sind und du ne halbe Stunde mit kopieren beschäftigt bist, geht es wahrscheinlich deutlich schneller, als wenn du mit irgendwelchen Tools und Skripten anfängst.Klingt vielleicht ziemlich stumpf, aber oft denkt man garnicht dran, dass es so einfach sein kann.
Bin übrigens Informatiker und beschäftige mich hauptsächlich mit Automatisierung.
Wenn Du wirklich "Informatiker" wärst, dann würdest Du so etwas niemal empfehlen, sondern jeden davon abraten, aufgrund der Formatierung. Mit Copy Paste kann man mehr falsch als richtig machen. Das ist die schlechteste Idee von allen.
Was genau meinst du? Die Formatierung der Tabellen? Datentypen?
Bei einem Tool-import aus einer generischen Seite wird man auch diverse import-fehler anpassen müssen. Da kommt man nicht drumrum. Aber je nach Website funktioniert die copy-paste methode echt gut, ggf macht man den umweg über eine textdatei und importiert diese dann.
WiWi Gast schrieb am 11.10.2020:
Was genau meinst du? Die Formatierung der Tabellen? Datentypen?
Bei einem Tool-import aus einer generischen Seite wird man auch diverse import-fehler anpassen müssen. Da kommt man nicht drumrum. Aber je nach Website funktioniert die copy-paste methode echt gut, ggf macht man den umweg über eine textdatei und importiert diese dann.
Oje, Du weißt noch nichht einmal was Formatierungen sind. Formatierungen können z.B. Schriftart- und größe sein, Abstände oder Formeln etc.
Und grade wenn Formeln übernommen werden, dann sind die copy paste Daten für den Müll. Das kann man sich auch gleich sparen.
antwortenFür viele Tabellen benötigt es gar kein Tool.
Einfach in Excel gehen => Daten => Im Reiter "Daten abrufen und transformieren" auf "Aus dem Web" und dort dann die URL eingeben.
Nehme ich beispielsweise ariva.de erhalte ich bereits alle Tabellen der Startseite (immerhin 16 Tabellen).
WiWi Gast schrieb am 11.10.2020:
Wenn Du wirklich "Informatiker" wärst, dann würdest Du so etwas niemal empfehlen, sondern jeden davon abraten, aufgrund der Formatierung. Mit Copy Paste kann man mehr falsch als richtig machen. Das ist die schlechteste Idee von allen.
Nein, seine Idee ist die Vernünftigste. Der Kollege, der mit webscrapping kam, übertreibt einfach.
antworten
Am Rande des Universums: Wen das Internet mal wieder genervt hat, der kann es ganz einfach abschalten. Wir zeigen euch, wo und wie.
Ein Haushalt ohne Internetanschluss? Für die meisten Familien undenkbar. Der Sohn möchte zocken, die Tochter lernt und die Mutter arbeitet im Homeoffice. Wenn jetzt noch der Vater seinen Lieblingsfilm schauen will, ist die Bandbreite schnell erschöpft. Zum Glück wissen Internetanbieter mittlerweile, dass die erforderliche Bandbreite in Familien deutlich höher als im Singlehaushalt ist. Doch worauf kommt es bei der Tarifwahl alles an und worauf muss geachtet werden?
Die privaten Haushalte in Deutschland gaben im Jahr 2012 durchschnittlich knapp 25 Euro im Monat für kombinierte Telekommunikationsdienstleistungen wie zum Beispiel Internet- und Telefon-Flatrates aus. Das war ein Zuwachs von mehr als 20 Euro gegenüber 2007.
Studenten verbringen einen großen Teil der Zeit am Tag im Internet. Daher muss der Internetanschluss schnell genug sein. Da meist wenig Geld da ist und die Studentenbude auch noch finanziert werden muss, soll der Anschluss möglichst günstig sein. Doch worauf müssen junge Studenten noch achten und welche Online-Dienste sind besonders wichtig im Studium?
Gerade Studenten müssen häufig auf ihr Geld achten, da sie nicht so viele finanzielle Möglichkeiten wie Berufstätige mit einem regelmäßigen Einkommen haben. Doch viele Studenten wissen gar nichts von den Angeboten und Optionen aus unterschiedlichen Bereichen wie Kultur und Lifestyle, die einem dabei helfen, bares Geld zu sparen.
Wer surf nicht jeden Tag zu beginn die gleichen Webseiten an? Dabei kann man sich die Klicks sparen: »Morning Coffee« speichert Lesezeichen nach Tagen bzw Uhrzeit und öffnet dann beim Start von Firefox die zum Tag passenden Webseite.
Das Internet ist die zweitliebste Freizeitbeschäftigung deutscher Teenager. Noch beliebter sind nur Treffen mit Freunden. Das geht aus einer repräsentativen Erhebung für den Hightech-Verband Bitkom hervor.
Die kostenlose Software von Web.de wählt automatisch den billigsten Tarif und schützt vor Dialern. In der neuen Version ist die Freeware mit voller Kostenkontrolle.
Die Internetverbreitung in Deutschland steigt weiter an: 42,7 Millionen Erwachsene sind online. Dies sind 1,9 Millionen Internet-Nutzer mehr als im Vorjahr.
In Deutschland hat sich die Zahl der Internet-Nutzer weiter erhöht. Ende 2006 waren nach einer Untersuchung des Marktforschungsinstituts EITO im Auftrag des BITKOM 60 Prozent der Deutschen online.
Als erster DSL-Anbieter Deutschlands bietet United Internet künftig einen Mobilfunkvertrag als kostenlose Beigabe zum Online-Anschluss. Mobilfunkpartner ist Vodafone, die Abrechnung läuft über United Internet.
Das Alternativ-Telefonbuch von teltarif im Internet schafft Abhilfe: Hier werden die Nummern der Telefonanschlüsse veröffentlicht, von denen bekannt ist, dass die teuren 0180er-Anrufe auf sie umgeleitet werden.
Das Internet erweist sich im Alltag als immer hilfreicher, allerdings macht es nur dann wirklichen Spaß, wenn die Geschwindigkeit stimmt. Je nach Wohnort und Anbieter unterscheidet sich diese nämlich, sodass das am besten klingende Angebot nicht zwingend die klügste Lösung sein muss.
Seit 2000 hat sich die Zahl der Internet-Nutzer in Deutschland verdoppelt: 35,7 Millionen Erwachsene, das sind 55,3 Prozent der Bevölkerung ab 14 Jahren, sind online.
Das kostenlose Einwahlprogramm von teltarif basiert auf der Least-Cost-Router-Software des PC-Professional-Testsiegers und entlastet die Online-Rechnung.
10 Beiträge
