Histórico da Página

Introdução

O migrador de ambiente é a primeira funcionalidade implementada no utilitário DBTools do  Inclusão de trechoDBAccessDBAccessnopaneltrue. Ele foi concebido para oferecer A funcionalidade Migrador de Ambiente do DBTools oferece uma forma eficiente e segura de copiar uma base de dados do ERP Microsiga / TOTVS - Linha Protheus entre dois bancos de dados quaisquer homologados pelo (consulte as versões homologadas para o

Esta  A ferramenta de migração permite seu o uso em de modo interativo – interativo, onde você parametriza as conexões de origem e destino, destino e além dos parâmetros de cópia pela interface – ou interface. Há também o modo "batch", onde a ferramenta usa um arquivo de configuração que pode ser fornecido como parâmetro para obter os detalhes da operação de cópia a ser realizada, sem paradas ou iterações com o usuário, apenas mostrando as etapas de execução na tela em modo "corrido", gravando um LOG log com mais detalhes das operações realizadas. 

A ferramenta de migração não acessa diretamente os bancos de dados, mas usa o 

Logo, a topologia mínima necessária para uso do migrador é :

• Uma instância atualizada do 

  Inclusão de trecho
  DBAccess DBAccess nopanel true

   configurada para acessar os dois bancos de dados, origem e destino. 
• Executar o DBTools para fazer a migração , na mesma máquina onde está o

  Inclusão de trecho
  DBAccess DBAccess nopanel true

  . 

Passo a Passo para utilização 

A utilização da ferramenta de migração normalmente envolve as seguintes etapas:

• Instalar um DBAccess um 

  Inclusão de trecho
  dbaccess dbaccess nopanel true

  atualizado para a leitura dos dados do SGDB SGBD de Origemorigem
• Configurar a ODBC/OCI para conexão com o Banco SGBD de Origemorigem
• Testar a conexão com o banco de dados SGBD de origem
• Criar o Banco de Dados Criação do SGBD de destino.
• Instalar um DBAccess atualizado um 

  Inclusão de trecho
  dbaccess dbaccess nopanel true

  atualizado para a gravação dos  dos dados do SGDB SGBD de destino – destino (se  for o caso. )
• Configurar a ODBC/OCI para conexão com o Banco de DestinoSGBD
• Testar a conexão com o banco de dados o SGBD de destino. 

Requisitos:

• O SGBD O Banco de Dados de destino deve ter tamanho pré-alocado ou autogrowth habilitado para suportar o volume de dados a ser inserido. 
• O SGBD O Banco de Dados de destino deve ter uma área de LOG configurada adequada aos tamanhos das tabelas, para comportar a criação dos índices. 
• O SGBD O Banco de Dados de origem não deve ser acessado ou atualizado enquanto os dados estiverem sendo lidos para a cópia. 
• Determinar a máscara de tabelas a serem ignoradas para cópia no banco de dados no SGBD de origem . – – Por default a aplicação ignora tabelas que terminem com "BKP" e "LOG", mas isto pode ser alterado para contemplar mais definições. 

Primeira execução

A primeira execução do programa vai criar um arquivo chamado "criará os arquivos:

A seguir, com o intuito de trazer clareza aos procedimentos, veremos o exemplo do passo a passo de uma cópia etc – para ser usado por exemplo em uma operação em batch. Vamos ver a título de exemplo uma cópia passo a passo de tabelas entre um MSSQL MS-SQL Server e um PostgresPostgreSQL. 

No Neste exemplo proposto, vou usar apenas um DBAccess usaremos apenas uma instância do 

Concluídas as configurações de acesso de ambos os bancos no DBAccess de dados no

Image Removed

Image Added

Menu de

operações

Atualmente existem quatro operações São quatro opções disponíveis, normalmente executadas em sequência, para realizarmos a cópia das tabelas entre os bancos de dados. 

• Conexão de Origem dos dados.
• Conexão de Destino dos dados.
• Definir parâmetros de cópia.
• Executar a cópia de dados. 

1. Source Data Connection
2. Target Data Connection
3. Set migration parameters
4. Run data migration

Image Added

Image Removed

Passo 01

: Conexão de Origem dos dados 

Ao acessarmos a definição da origem dos dados, devemos informar o servidor e a porta onde está o DBAccess o 

Cada uma destas definições pode ser alterada ou configurada executando a opção de número correspondente, informando o valor da configuração e pressionando ENTER.

A tela de definição da conexão de destino é exatamente igual a essa, somente muda o exibida no print abaixo (pode haver variação no título da janela, veja abaixo:):

Image Added

Após preencher os dados, estabelecemos a conexão de origem executando a opção 7 - Connect with DBMS.

Veja abaixo o exemplo de uma conexão com o banco MS-SQL Server configurado:

Image Added

Passo 02: Conexão de Destino dos dados 

Ao retornar para a tela anterior, usando a opção "0", acessamos a operação de Target Data Connection e informamos o nosso banco de dados de destino.

Para o nosso exemplo, as configurações ficaram assim:

Image Added

Uma vez que as conexões estejam estabelecidas, elas são visíveis no 

Image Added

Passo 03: Parâmetros de Cópia

Ao acessarmos a operação 3, são trazidos os parâmetros default para a cópia de dados. Você pode alterar estes parâmetros no momento da execução via interface, mas eles não serão salvos no arquivo de configuração "dbtools.ini".

Por outro lado, ao alterar os parâmetros deste arquivo usando um editor de texto, ao executar o programa DBTools, os valores especificados serão lidos e utilizados pela aplicação.

Veja abaixo os valores default da aplicação:

Image Added

Passo 04: Executar a cópia

Confirmados os parâmetros, voltamos ao menu anterior e executamos a operação 4 – Run data migration.

Ao ser acionada, é exibido na tela um resumo dos parâmetros de cópia, a quantidade de tabelas que satisfazem os critérios de busca e exclusão de cópia, seguido do tamanho estimado dos dados de todas as tabelas a serem avaliadas.

Vejamos o print abaixo, que atende ao nosso exemplo:

 Image Added

Confirmados em tela os parâmetros e a quantidade estimada de tabelas e dados, podemos iniciar a operação, pressionando "Y" seguido de "ENTER". 

Image Removed

Após preencher os dados, estabelecemos a conexão de origem executando a opção 7 - Conectar com o SGDB. Veja abaixo o exemplo da minha conexão com o banco MSSQL configurado:

Image Removed

Passo 02 - Conexão de Origem dos dados 

Ao retornar para a tela anterior, usando a opção "0", entramos na Conexão de destino dos dados, e informamos o nosso banco de dados de destino. No meu caso, as configurações ficaram assim:

Image Removed

Uma vez que as conexões estejam estabelecidas, elas são vísiveis no DBMonitor, veja imagem abaixo:

Image Removed

Passo 03 - Parâmetros de Cópia

Ao acessarmos a opção 3, são trazidos os parâmetros default para a cópia de dados. Você pode alterar estes parâmetros no momento da execução via interface, mas eles não serão salvos no arquivo de configuração "dbtools.ini". Por outro lado, ao alterar os parâmetros deste arquivo usando um editor de texto, ao executar o programa DBTools, os valores especificados serão lidos e utilizados pela aplicação. Veja abaixo os valores default da aplicação:

Image Removed

• Quantidade de Processos – Zero indica que o programa deve escalar os processos automaticamente. Qualquer numero maior que zero indica uma quantidade fixa de processos para cópia simultânea de tabelas – cada processo copia uma tabela.
• Sobrescrever tabelas: Caso especificado com "SIM", apaga e copia por cima os dados de uma tabela do banco de dados de origem que já exista no banco de dados de destino. 
• Copiar registros deletados : Caso especificado com "SIM" copia do banco de dados de origem todos os registros das tabelas, mesmo que estejam marcados para serem deletados  – campo D_E_L_E_T_ = ' *' 
• Copiar tabelas vazias : Caso especificado com "SIM", mesmo que uma determinada tabela no banco de dados de origem não tenha nenhum registro, ela será criada vazia no banco de dados de destino
• Criar índices no destino: Quando especificado com "SIM", identifica os índices de dados e chave única existentes no banco de dados de destino para a tabela a ser copiada, e cria os índices imediatamente após o término da cópia dos dados de cada tabela. 
• Finaliza em caso de erro : Quando especificado com "SIM", caso um dos processos de cópia apresente um erro qualquer – leitura ou gravação de dados – o processo de cópia desta tabela é finalizado com a ocorrência de erro, o aplicativo não copia mais nenhuma tabela da lista, mas aguarda os outros processos de cópia serem terminados. Quando especificado o valor "NÃO", os processos continuam copiando as demais tabelas até que a lista esteja completa, e o registro de LOG da ferramenta deve ser verificado para verificar se ou quantas tabelas apresentaram erro e não foram copiadas – ou foram copiadas parcialmente. 
• Mantém RECNO de origem: Por padrão este recurso está desligado e não é necessário. Caso ativado, mantém a mesma numeração de registros das tabelas de origem, para todas as tabelas que não possuam controle de numeração automáticas pelo Banco de Dados. Os registros das tabelas são lidos e inseridos por ordem crescente de RECNO – representando a ordem física de inserção.
• Arquivos para cópia: Máscara em sintaxe LIKE (SQL) para informar uma ou mais máscaras separadas por vírgula para limitar ou especificar as tabelas que devem ser copiadas. Por default todas são (%).
• Arquivos ignorados: Máscara em sintaxe LIKE (SQL) para informar quais arquivos não devem ser considerados para o processo de cópia, separadas por vírgula. Por default arquivos com o sufixo BKP e LOG são ignorados. 
• Continuar cópia anterior: Caso um processo de cópia estava em execução e foi interrompido antes do término, habilitar esta opção faz com que a ferramenta compare a quantidade de registros de tabelas já existentes no destino com a base de origem, e caso a quantidade seja inferior – cópia parcial – a ferramenta copia os demais registros que faltam. (**)

Passo 04 - Executar a cópia

Confirmados os parâmetros, voltamos ao menu anterior e executamos a opção 4 – Executar a cópia. Ao ser acionada, é mostrado na tela um resumo dos parâmetros de cópia, a quantidade de tabelas que satisfazem os critérios de busca e exclusão de cópia, seguido tamanho estimado dos dados de todas as tabelas a serem avaliadas, veja na imagem abaixo:

 Image Removed

Confirmados em tela os parâmetros e a quantidade estimada de tabelas e dados, podemos iniciar a operação, pressionando "S" seguido de "Enter". 

Tamanho estimado dos Dados

O tamanho estimado dos dados está sujeito a variações e pode ser maior que o reportado, para mais ou para menos, e pois o tamanho é obtido através de diferentes catálogos para cada banco de dados. Contudo, esta variação afeta apenas o cálculo do tempo estimado de cópia.

Os números informados de volume e registros copiados são reais e incrementados ao longo da execução do processo.

Cada banco de dados definido como origem das tabelas possui uma abordagem específica para obter estas informações dos catálogos do banco de forma rápida, sendo que o usuário usado na conexão do SGDB SGBD de origem precisa ter os privilégios de SELECT / QUERY nas seguintes views:os privilégios de SELECT / QUERY nas seguintes views:

Acompanhamento do processo de cópia

Durante o processo de cópia, uma interface de status de cópia mostra as suas etapas de cópia sendo concluídas pelos processos em execução, veja durante sua execução. Vejamos o exemplo abaixo: 

Image RemovedImage Added

Informações adicionais da execução do processo

Na parte inferior da tela, as informações mostradas são:

Consumo de recursos durante a cópia 

Quando iniciamos com o número de processos "0" (zero), o migrador sobe o primeiro processo dedicado de cópia , e 90 segundos depois guarda o desempenho médio de cópia e sobe . Em seguida, um novo processo para copiar tabelas simultaneamente é iniciado.
A cada 90 segundos , o migrador avalia o desempenho antes de subir o último processo comparado , comparando com o desempenho atual, e caso houve . Caso haja aumento do desempenho, ele sobe mais um processo , e guarda o desempenho atual para a próxima comparação.

Dessa forma, ele somente vai parar de subir novos processos, quando for detectado que ao subir um novo processo não houve aumentou o no desempenho total do processo em volume de cópia.

Normalmente este patamar é atingido quando o limite de banda de rede, ou de throughput de leitura ou gravação foram atingidos. Esta formaAssim, é esperado que o consumo de recursos durante a cópia seja a capacidade computacional total do ambiente envolvido. 
Caso seja especificado um valor fixo de processos, maior que zero, a ferramenta logo de início sobe os processos de cópia informados , e somente finaliza estes processos quando não houverem mais tabelas na fila de cópia.

Durante o processo de cópia, é possível visualizar e monitorar as conexões nos DBAccess nos 

Image RemovedImage Added

Passo 05

: Conclusão do

processo

Terminada Concluída a cópia, é mostrada uma tela final é exibida com algumas estatística, vide imagem . Vejamos o exemplo abaixo:

Image RemovedImage Added

O registro de LOG da operação completa neste exemplo foi salvo no arquivo "dbtools.log", e  e contém muito mais detalhes das operações realizadas, como por exemplo:

• todas as configurações e informações dos bancos de dados de origem e destino

• a estrutura de cada tabela envolvida na cópia

• os índices identificados e criados no destino

• o tamanho de dados real de cada tabela determinados durante a cópia, entre outras informações

. Para sair do programa após a cópia, basta retornar ao menu principal através da opção "0" (zero).

Como as conexões de origem e destino ainda estão estabelecidas, a aplicação apenas pede para você confirmar a saída. 

Retomada de processo de cópia interrompido

Somente é possível continuar novamente uma cópia interrompida nos seguintes casos:

• Ninguém mexeu no banco de origem e no banco de destino após a cópia ter sido interrompida. A ferramenta de cópia não tem como verificar isso.
• A cópia estava sendo feita para um banco de dados vazio.
• Os parâmetros de cópia devem ser os mesmos da cópia original, não se pode mudar parâmetros como “Copiar registros deletados” e/ou “Manter RECNO de origem.

Ao reiniciar a cópia com a configuração de continuação / recuperação (resume), caso uma tabela já exista no ambiente de destino, a ferramenta fará uma contagem dos registros em ambos os bancos , e copia copiará apenas os registros que faltam – a partir do último registro previamente copiado.

Execução em modo

BATCH

Partindo do arquivo de configuração default criado pela ferramenta (dbtools.ini), podemos alterá-lo com um editor de texto de arquivos ASCII e preencher as chaves com as informações de cópia, e então .

Para executar o migrador pela utilizando este arquivo, via linha de comando , usando utilizamos o parâmetro "/batch", onde o processo será executado automaticamente usando a interface apenas para mostrar o echo das etapas de execução do processo. No

Neste exemplo acima, onde as configurações default foram mantidas , e apenas informamos os bancos de dados de origem e destino, o arquivo "dbtools.ini" ficaria  ficaria assim:

[general]
threads=0
overwrite=0
resume=0
copydeleted=0
copyempty=1
createindex=1
errorstop=1
keeprecno=0
copymask=%
ignoremask=%bkp,%log

[sourcedb]
dbserver=localhost
dbport=7890
dbdatabase=mssql
dbalias=envp12123
dbuser=
dbpsw=

[targetdb]
dbserver=localhost
dbport=7890
dbdatabase=postgres
dbalias=envp12pgsql
dbuser=
dbpsw=

Exemplo de execução:

c:\totvs\dbtools>dbtools.exe /

batch

Parâmetros de linha de comando

Existem outros parâmetros que permitem especificar o nome de um arquivo diferenciado de configuração, um arquivo diferenciado de log a ser gerado, entre outros.

Para a lista completa de parâmetros, execute "dbtools /help":

DBTools V 22.1.1.20190829 RC12_rc03 (Copyright 2019 TOTVS S/A)

FerramentaDBAccess decommand linha de comando do DBAccessline tool

DBTOOLS [opcoesoptions]

/help or /?        EstaThis mensagemhelp de ajudamessage.
/nolog             NπoDoes geranot log dethe execucaoprocess.
/noansi            Does Naonot usause corescolors eand/ouor ANSI terminal ANSI.
/log <logfile>     ArquivoLog de LOGfile (default=dbtools.log).
/config <cfgfile>  ArquivoConfiguration de Configuracaofile (default=dbtools.ini).
/batch             Run in BATCH mode.
/quiet             Turn off Executaecho oof processothe emmessages modoin BATCH mode.