Problema ao utilizar cluster shared

[marloswn]

Olá! Ao utilizar esta lib (que por sinal, é muito poderosa), em cluster shared no Databricks, recebi um erro de Spark config:

[CANNOT_CONFIGURE_SPARK_MASTER] Spark master cannot be configured with Spark Connect server; however, found URL for Spark Connect [unix:///databricks/sparkconnect/grpc.sock;user_id=PLACEHOLDER;session_id=8a7553d0-0596-4fa3-9fb9-bb48a7509747].

Por conta disto, precisei voltar à utilizar cluster single node.

Obrigado desde já pela atenção despendida nesta issue.