Mapeamento Fonte → Lake (Source-to-Lake)
Cada linha = uma entidade ingerida. [fato] = confirmado por discovery. [premissa] = assumido — validar.
ERP Sienge — CTS / Costal
| Entidade | Módulo Sienge | Método de extração | Camada alvo | Frequência | Webhook disponível | Prioridade |
|---|
| Solicitações de compra | SUP | REST API + Webhook | Bronze | Event-driven | PURCHASE_ORDER_GENERATED_* | P1 |
| Pedidos de compra | SUP | REST API + Webhook | Bronze | Event-driven | PURCHASE_ORDER_ITEM_MODIFIED | P1 |
| Contratos de terceiros + medições | SUP | BULK diário | Bronze | Diário 02h | — | P1 |
| Contas a Pagar | FIN | REST API + Webhook | Bronze | Event-driven | Aprovação/reprovação parcelas | P1 |
| Contas a Receber | FIN | REST API + Webhook | Bronze | Event-driven | — | P1 |
| Contratos de venda | Comercial | REST API + Webhook | Bronze | Event-driven | SALES_CONTRACT_ISSUED/UPDATED/CANCELED | P1 |
| Diário de obra (RDO) | ENG | REST API + Webhook | Bronze | Event-driven | CONSTRUCTION_DAILY_REPORT_* | P1 |
| Orçamento / Linha de base | ENG | BULK diário | Bronze | Diário 02h | — | P2 |
| Cronograma físico-financeiro | ENG | BULK diário | Bronze | Diário 02h | — | P2 |
| Notas fiscais de entrada | Fiscal | BULK diário | Bronze | Diário 06h | — | P2 |
| Lançamentos contábeis | Contabilidade | BULK semanal | Bronze | Semanal | — | P3 |
| Cadastros base (pessoas, produtos, CCs) | CAD | BULK inicial + delta | Bronze | Semanal | — | P2 |
| Contratos de locação (property rental) | Comercial | REST API + Webhook | Bronze | Event-driven | PROPERTY_RENTAL_* | P2 |
Notas:
- [fato] Sienge expõe 3 interfaces: REST, BULK, Webhooks. Credencial Basic Auth por tenant.
- [fato] Tenant CTS e Costal são subdomínios distintos — usar
x-sienge-tenant para roteamento.
- [premissa] Endpoint webhook consumidor = AWS Lambda HTTPS, resposta < 5s, idempotente por
x-sienge-id.
Smart Colliers (LiveFacilities) — REMS
| Entidade | Endpoint API | Método | Camada alvo | Frequência | Prioridade |
|---|
| Empreendimentos | /EmpreendimentoCliente | REST POST | Bronze | Diário | P1 |
| Condôminos + endereços + contatos | /condominioCompleto | REST POST | Bronze | Diário | P1 — PII |
| Contratos | /consultaContratos | REST POST | Bronze | Diário | P1 |
| Ordens de serviço | /OrdemServico/ProcessoEmpreendimento | REST POST | Bronze | Diário | P1 |
| Atividades | /listaAtividade | REST POST | Bronze | Diário | P1 |
| Documentos | /listaDocumentos | REST POST | Bronze | Diário | P2 |
| Prestação de contas — Despesas | /PrestacaoContas/despesas | REST POST | Bronze | Mensal | P1 |
| Prestação de contas — Receitas | /PrestacaoContas/receitas | REST POST | Bronze | Mensal | P1 |
| Prestação de contas — Previsão | /OrdemServico/previsao | REST POST | Bronze | Mensal | P1 |
| Boletos | /boleto/boletosDocumento | REST POST | Bronze | Diário | P2 |
| Inadimplência | /inadimplencia | REST POST | Bronze | Diário | P2 |
| Rateios | /OrdemServico/receitas | REST POST | Bronze | Mensal | P2 |
| Mandatos | /mandato/mandatoCompleto | REST POST | Bronze | Mensal | P3 |
| Controle de fechamento | /controle/fechamento | REST POST | Bronze | Mensal | P2 |
Notas:
- [fato] Base URL:
services.livefacilities.com.br + services4.livefacilities.com.br
- [fato] Autenticação:
login/loginsistema/ gera sessão; headers XML obrigatórios
- [fato] Smart Colliers ↔ Sienge: sem integração — dados de REMS e construção são silos separados
- [fato] Acesso atual Power BI via porta SQL Server (direto) — a substituir por ingestão via Lake
- [risco] Condôminos = PII (CPF/CNPJ, endereço, contato) — mascarar no Silver, nunca expor no Gold
SharePoint / OneDrive — Colliers
| Biblioteca | Divisão | Volume | Método | Camada alvo | Frequência | Prioridade |
|---|
| Cloud Colliers Brasil (SPS) | SPS | 145,7 GB / 27.716 arq | Graph API delta | Bronze | Diário | P1 |
| Research | IM | 117,0 GB / 57.793 arq | Graph API delta | Bronze | Diário | P2 |
| Anos Anteriores (CIVAS) | CIVAS | 108,8 GB / 52.968 arq | Graph API bulk inicial | Bronze | Único + mensal | P3 |
Entidades prioritárias por biblioteca
Cloud Colliers Brasil (SPS):
| Entidade | Tipo | Tamanho | Prioridade |
|---|
| Controle de Ativos City Gate | XLSX | 15,3 MB | P1 |
| Lista Mestra de Projetos (pranchas) | XLSX | 59,1 MB | P1 |
| RDOs e medições por projeto | PDF/XLSX | variável | P1 |
| Planilhas de orçamento (CPUs + BDI) | XLSM/XLSX | variável | P1 |
| Fotos de obra | JPG | ~33% do volume | P2 |
| Projetos executivos | DWG/PDF | ~11% do volume | P2 |
| Fichas ASO/EPI trabalhadores | PDF | 2.602 arq — LGPD crítico | P1 (acesso restrito) |
Research (IM):
| Entidade | Tipo | Tamanho | Prioridade |
|---|
| Base IM Unificada | XLSX | 73,1 MB | P1 |
| Pesquisa Escritórios Corporativos II | XLSX | 57,6 MB | P1 |
| Pesquisa Logística Brasil | XLSX | 34,5 MB | P1 |
| Histórico de Indicadores Macro | XLSX | 190 KB | P2 |
| Mapas ArcGIS (MXD) | MXD | 1.640 arq | P3 |
| Exports SiiLa | EMPRECSV/XLS | 2,1 GB | P2 |
| Tipo | Origem | Método de extração | Destino Silver |
|---|
| Sumários Executivos (Sumex) | REMS / SharePoint | Template parsing + LLM | silver/rems/sumex_weekly |
| Relatórios Operacionais (ROP) | REMS / SharePoint | Structured extraction | silver/rems/rop_monthly |
| Books Financeiros | REMS / SharePoint | Document AI (OCR + parsing) | silver/rems/book_financeiro_monthly |
| Orçamentos PDF/XLSX | SPS / SharePoint | Structured extraction + parsing | silver/sps/orcamentos |
| Laudos de avaliação (CIVAS) | CIVAS / SharePoint | LLM extraction | silver/civas/laudos |
| Projetos técnicos (DWG) | SPS / SharePoint | CAD parser | bronze/sps/dwg_files (raw) |
Dados externos
| Fonte | Entidade | Método | Frequência | Prioridade |
|---|
| SiiLa | Dados de mercado imobiliário | Export XLSX / API | Trimestral | P2 |
| Buildings | Dados de imóveis SP | Export / API | Trimestral | P2 |
| INCC/FGV | Índice Nacional da Construção | Web scraping | Mensal | P1 |
| CUB/SINDUSCON | Custo Unitário Básico | Web scraping | Mensal | P1 |
| IBGE / IPCA | Indicadores macroeconômicos | API pública | Mensal | P2 |
| Clima / chuva | Dados meteorológicos | API OpenMeteo | Diário | P3 |
Ver também