Data Lakehouse Colliers — Storage Schema

Storage Schema — Estrutura de Pastas e Convenções

Convenção geral

s3://colliers-lake-{env}/
  {layer}/
    {domain}/
      {subdomain}/
        {entity}/
          {partition}/
            part-{uuid}.{format}

• env: prd, hml, dev
• layer: bronze, silver, gold
• domain: código de domínio (ver tabela abaixo)
• partition: year=YYYY/month=MM/day=DD para eventos; year=YYYY/month=MM para batch mensal
• Região AWS: us-east-1 (N. Virginia) — padrão custo-benefício; avaliar sa-east-1 (São Paulo) se compliance exigir residência de dados no Brasil

---

Domínios e códigos

Código	Domínio	Divisão Colliers
sps	Project Management	CTS / SPS
im	Inteligência de Mercado	Research
rems	Gestão Condominial	CREMS
civas	Avaliação Imobiliária	CIVAS
corp	Corporativo / Transversal	HQ
ext	Dados Externos	—

---

Estrutura completa

colliers-lake-prd/
│
├── bronze/
│   │
│   ├── sps/                          # Project Management
│   │   ├── sienge/
│   │   │   ├── purchase_orders/      # year=/month=/day=
│   │   │   ├── contracts/
│   │   │   ├── measurements/
│   │   │   ├── accounts_payable/
│   │   │   ├── accounts_receivable/
│   │   │   ├── sales_contracts/
│   │   │   ├── construction_reports/ # RDOs
│   │   │   ├── budget_baseline/
│   │   │   ├── schedules/
│   │   │   └── invoices/
│   │   ├── sharepoint/
│   │   │   ├── projects/             # arquivos por projeto NNN-AA
│   │   │   │   └── project_id={NNN-AA}/
│   │   │   ├── budgets/              # planilhas de orçamento
│   │   │   ├── assets_control/       # controle de ativos FM
│   │   │   ├── drawings/             # DWG (raw)
│   │   │   ├── photos/               # JPG de obra
│   │   │   └── documents_restricted/ # ASO/EPI — acesso restrito LGPD
│   │   └── emails/                   # comunicações de obra (Graph API)
│   │
│   ├── rems/                         # Gestão Condominial
│   │   ├── smart_colliers/
│   │   │   ├── buildings/
│   │   │   ├── contracts/
│   │   │   ├── service_orders/
│   │   │   ├── activities/
│   │   │   ├── accounting_expenses/
│   │   │   ├── accounting_revenues/
│   │   │   ├── accounting_forecast/
│   │   │   ├── boletos/
│   │   │   ├── delinquency/
│   │   │   ├── residents_pii/        # acesso restrito — LGPD
│   │   │   └── mandates/
│   │   └── documents/
│   │       ├── sumex/                # PDFs Sumário Executivo
│   │       ├── rop/                  # PDFs Relatório Operacional
│   │       └── book_financeiro/      # PDFs Book Financeiro
│   │
│   ├── im/                           # Inteligência de Mercado
│   │   ├── sharepoint/
│   │   │   ├── offices/              # pesquisa escritórios
│   │   │   ├── logistics/            # pesquisa logística
│   │   │   ├── capital_markets/      # indicadores macro
│   │   │   ├── gis/                  # MXD, shapefiles, KML
│   │   │   └── raw_exports/          # EMPRECSV, XLS SiiLa
│   │   └── external/
│   │       ├── siila/
│   │       └── buildings/
│   │
│   ├── civas/                        # Avaliação Imobiliária
│   │   ├── sharepoint/
│   │   │   ├── appraisals/           # laudos por ano
│   │   │   │   └── year={YYYY}/
│   │   │   ├── pipeline/             # pipeline comercial
│   │   │   └── templates/            # XLSM de laudo
│   │   └── gis/                      # KMZ/KML
│   │
│   ├── corp/                         # Corporativo
│   │   ├── teams/                    # mensagens Teams
│   │   ├── emails/                   # Outlook
│   │   ├── zoom/                     # gravações + transcrições
│   │   └── sharepoint/               # documentos gerais
│   │
│   └── ext/                          # Dados externos
│       ├── incc/                     # year=/month=
│       ├── cub/
│       ├── siila/
│       ├── buildings/
│       ├── ibge/
│       └── weather/
│
├── silver/
│   │
│   ├── sps/
│   │   ├── projects/                 # dim: projetos e metadados
│   │   ├── purchase_orders/          # fct: POs com status e valor
│   │   ├── measurements/             # fct: medições de contrato
│   │   ├── budget_vs_actual/         # fct: orçado x realizado
│   │   ├── construction_reports/     # fct: RDOs normalizados
│   │   ├── suppliers/                # dim: fornecedores e histórico
│   │   ├── contracts/                # fct: contratos e aditivos
│   │   └── unit_costs/               # dim: CPUs históricos
│   │
│   ├── rems/
│   │   ├── buildings/                # dim: empreendimentos
│   │   ├── contracts/                # fct: contratos de serviço
│   │   ├── financial_monthly/        # fct: previsto x realizado mensal
│   │   ├── service_orders/           # fct: OS com status e tempo
│   │   ├── sumex_weekly/             # fct: Sumex estruturado
│   │   ├── rop_monthly/              # fct: ROP estruturado
│   │   ├── book_financeiro_monthly/  # fct: Book Financeiro estruturado
│   │   └── delinquency/             # fct: inadimplência por unidade
│   │
│   ├── im/
│   │   ├── offices_market/           # fct: série histórica escritórios
│   │   ├── logistics_market/         # fct: série histórica logística
│   │   ├── macro_indicators/         # fct: IPCA, INCC, CUB
│   │   └── properties/               # dim: imóveis mapeados
│   │
│   ├── civas/
│   │   ├── appraisals/               # fct: laudos estruturados
│   │   └── pipeline/                 # fct: pipeline comercial CIVAS
│   │
│   └── ext/
│       ├── construction_indexes/     # INCC + CUB unificados
│       └── market_references/        # benchmarks externos
│
└── gold/
    │
    ├── sps/
    │   ├── project_performance/      # OKR: custo, prazo, qualidade por projeto
    │   ├── budget_accuracy/          # taxa de assertividade orçamentária
    │   ├── supplier_scorecard/       # avaliação de fornecedores
    │   └── construction_kpis/        # indicadores de produtividade de obra
    │
    ├── rems/
    │   ├── building_health/          # índice de saúde operacional por empreendimento
    │   ├── financial_dashboard/      # orçado x realizado consolidado REMS
    │   ├── service_sla/              # SLA de atendimento de OS
    │   └── delinquency_report/       # inadimplência consolidada
    │
    ├── im/
    │   ├── market_dashboard/         # painel de mercado (escritórios + logística)
    │   ├── benchmarks/               # custo/m² e absorção por região e tipologia
    │   └── macro_dashboard/          # IPCA, INCC, CUB série histórica
    │
    ├── civas/
    │   └── appraisal_pipeline/       # pipeline e produtividade CIVAS
    │
    └── cross/
        ├── colliers_executive/       # painel executivo consolidado cross-divisão
        └── ai_feature_store/         # features para agentes Costal (Atlas, King, etc.)

---

Formato por camada

Camada	Formato	Compressão	Justificativa
Bronze — dados estruturados	Parquet	Snappy	Fidelidade máxima, leitura eficiente
Bronze — documentos/blobs	Arquivo original	N/A	Preservação de fidelidade (PDF, DWG, JPG)
Silver	Delta Lake	Snappy	ACID, schema evolution, time travel, CDC
Gold	Delta Lake	Snappy	Otimizado para query engines (Power BI, Databricks)

---

Particionamento

Padrão de dado	Estratégia	Exemplo
Eventos transacionais (Sienge webhooks)	year=/month=/day=	bronze/sps/sienge/purchase_orders/year=2026/month=05/day=11/
Batch mensal (Smart Colliers)	year=/month=	bronze/rems/smart_colliers/financial_monthly/year=2026/month=05/
Série histórica (IM)	year=/quarter=	silver/im/offices_market/year=2024/quarter=Q3/
Documentos por projeto	project_id=	bronze/sps/sharepoint/projects/project_id=355-24-BNG/
Multi-tenant (Sienge)	tenant=/year=/month=/day=	bronze/sps/sienge/sales_contracts/tenant=CTS/year=2026/

---

Convenções de nomenclatura

• Tabelas Delta: snake_case, plural, sem prefixo de layer (o layer é a pasta)
• Colunas: snake_case em inglês; campos de negócio em português apenas se não tiver equivalente
• IDs: sempre {entidade}_id (ex: project_id, contract_id, tenant_id)
• Timestamps: sempre UTC, tipo TIMESTAMP, sufixo _at (ex: created_at, updated_at, ingested_at)
• Chave composta multi-tenant: (tenant_id, {entity}_id) como chave candidata no Silver
• Campos PII: sufixo _masked no Silver (ex: cpf_masked, email_masked)

Ver também

• Arquitetura (folder note)