Data Analytics
  • Overview
  • Empirical Research
    • 1 Research Questions
    • 2 Data Collection
    • 3 Signal and Noise
    • 4 Types of Questions
      • Finding Individual Records
      • Summarizing Data
      • Exploring Data
      • Drawing Conclusions from Data
      • Fehlende Informationen vorhersagen
      • Kausalität feststellen
    • 5 Data
      • Data Sets
      • Data Records
      • Data Attributes
      • Data Types
      • Scales
      • Data Formats
        • Das CSV-Format
        • Das JSON-Format
        • Das Parquet-Format
    • 6 Tools
      • Projects
  • Introduction to R
    • 7 The Problem
    • 8 Vectors
    • 9 Data Frames
    • Simulations
    • Logic and Arithmetic
    • Objects and Variables
    • Data structures
    • Control structures
    • Loops
      • Die For-Schleife
      • Die While-Schleife
      • Die Repeat-Schleife
    • Functions
    • Readability and Reusability
  • Loading Data
    • Tidyverse and Tibbles
    • Load a data set
    • Load from multiple files
    • Getting to know the Data
    • Der Analyseprozess
    • Der Werkzeugkasten
  • Data Transformation
    • Five transformations
    • Select columns
    • Filter rows
    • Add columns
    • Change columns
      • Spalten verändern
    • Sort rows
    • Summarize rows
    • SQL and R
  • Data Visualization
    • Pleas for data visualization
    • Overview of ggplot2
    • Visualisierungsformen
      • Trends und Entwicklungen
      • Distributions
      • Word Clouds
      • Mengen und Proportionen
      • Geospatial Data
    • Formatting plots
      • Achsenformatierung
    • Multiple plots
    • Stolperfallen
      • Abgeschnittene y-Achse
      • Duale y-Achse
      • Non-Proportional Ink
    • Übungen
      • 💻Transformation der REWE-Daten
      • 💻Übung zur Datenvisualisierung
  • Communication
    • Quarto
  • SQL
    • Grundlagen SQL
      • Was ist SQL?
      • Daten importieren
      • Spalten und Ausdrücke auswählen
      • Zeilen filtern
      • Zeilen aggregieren und gruppieren
      • Aggregierte Zeilen filtern
      • Zeilen sortieren
      • 💻Übungen
    • Erweitertes SQL
      • Views
      • Mengenoperatoren
      • Unterabfragen
      • Window-Funktionen
      • Datum und Zeit
      • JSON
      • Arrays
      • Statistische Funktionen
    • Joins mit SQL
      • Das relationale Modell
      • Verbinden von Tabellen
      • Datensätze anreichern
    • Textanalysen mit SQL
      • In Texten suchen
      • Wörter analysieren
        • Daten vorfiltern
        • Säubern und Normalisieren
        • Tokenisieren und Zählen
        • Stopwörter filtern
        • POS Tagging
      • Themen identifzieren
      • Wortpaare
      • Netzwerke
      • Emoticons extrahieren
      • NLP mit spaCy
        • spaCy in Databricks installieren
        • Die NLP Pipeline
          • Tokenize
          • Part-of-Speech (POS)
          • Named Entities (NER)
          • Lemmatizer
          • Syntaktische Abhängigkeiten
        • spaCy und Spark SQL
          • spaCy und UDFs
          • Texte mit spaCy streamen
  • Data Sets & Exercises
    • Übungen
      • SQL
        • ⭐Die Simpsons Teil 1
        • ⭐Die Simpsons Teil 2
      • R
    • Fallstudien
      • Morde in Chicago
    • Datensätze
      • 📂Environmental Impacts of Food Production
      • 📂Amazon Reviews
      • 📂arXiv Papers
      • 📂Chicago Crimes
      • 📂Covid19
      • 📂Open Food Facts
      • 📂Orangenlimonade
      • 📂REWE Online Products
      • 📂Simpsons
      • 📂TED Talks
      • 📂Tweets
  • References
Powered by GitBook
On this page

Was this helpful?

  1. SQL
  2. Textanalysen mit SQL
  3. NLP mit spaCy

spaCy und Spark SQL

Zusammen mit spaCy und Spark SQL können wir in Databricks zwei mächtige Werkzeuge verwenden, um Analysen auf Textdaten durchzuführen.

PreviousSyntaktische AbhängigkeitenNextspaCy und UDFs

Last updated 3 years ago

Was this helpful?

Das folgende Notebook enthält Beispiele für die Verwendung von spaCy mit Spark SQL. Wir verwenden den , um die verschiedenen Aspekte zu demonstrieren:

TED Talks Datensatz
https://s3.us-east-1.amazonaws.com/nicolas.meseth/databricks-notebooks/nlp_with_python_and_spacy.htmls3.us-east-1.amazonaws.com