Exadata GI Upgrade to + PSU Jul2016


Recently I did a upgrade to Grid Infrastructure on a few Exadata Clusters

Here my summary of the installation

Before you start please read the following MOS note 1681467.1. This note is very helpful and describes the whole procedure in a Exadata environment

It’s not only the Upgrade to In the same „session“ I also install the GI PSU Jul 2016 and the Oneoff Patch 23273686 because there is a known BUG in the SCAN Listener area (see below)

At the end of the article some „real news“ from GI (see below „real“ news)

So let’s start

First of all keep in mind that the clusterware must be „up and running”

Step 1 Oracle environment


 export SRVM_USE_RACTRANS=true 



Step 2 GI Software Installation

The next slides show the GI Installation Procedure













If the Setup is at that point you need to do the following but

please don’t close the Installer window

Step 3 Install latest opatch tool

Download opatch tool  Patch 6880880 (better you did it before)

On a Exadata the Installation can be done in one step via dcli

dcli -l oracle -g dbs_group unzip -oq -d /u01/app/ p6880880_121010_LINUX.zip -d /u01/patchdepot

Step 3 Install GI PSU JUL 2016 23273686

Node 1 srvdb01

[root@srvdb01]# /u01/app/ napply -oh /u01/app/ -local /u01/patchdepot/23273686

Node 2 srvdb02

[root@srvdb02]# /u01/app/ napply -oh /u01/app/ -local /u01/patchdepot/23273686

While there is a known BUG you should directly install the following Oneoff Patch 20734332 here the Doc ID 2166451.1 with the details

(SCAN Listener or local listener fails to start after applying Patch 23273629 – Oracle Grid Infrastructure Patch Set Update (Jul2016))

Step 4 rootupgrade.sh 

After you finish the PSU Jul 2016 & Oneoff Patch installation the rootupgrade.sh must be started

Node 1 srvdb01

[root@srvdb01 grid]# /u01/app/

Node 2 srvdb02

[root@srvdb02 grid]# /u01/app/

The rootupgrade.sh script works around 15 minutes so stay calm

It finished with the following messages here as example from the last Node 2 srvdb02


Successfully accumulated necessary OCR keys.

Creating OCR keys for user ‚root‘, privgrp ‚root‘..

Operation successful. 14:53:13 CLSRSC-474: Initiating upgrade of resource types

14:54:33 CLSRSC-482: Running command: ‚upgrade model  -s -d -p first‘

14:54:33 CLSRSC-475: Upgrade of resource types successfully initiated.

14:54:35 CLSRSC-325: Configure Oracle Grid Infrastructure for a Cluster … succeeded


Step 5 final tasks

finally some configuration tool runs and finished the GI Upgrade including PSU Jul 2016 and Oneoff Patch

And now the „real news“ in 

The most notable change belongs to the GIMR  (Grid Infrastructure Management Repository) 

Beginning with it was an option installing the GIMR Database – MGMTDB

Starting with it is mandatory and the MGMTDB database is automatically created as part of the upgrade installation process of 12.10.2 Grid Infrastructure. If you start a installation from scratch the GIMR Database is directly configured

Some interesting GI & MGMTDB commands

[oracle@srvdb01 ~]$ crsctl query crs activeversion

Oracle Clusterware active version on the cluster is []

[oracle@srvdb01 ~]$ crsctl query crs releaseversion

Oracle High Availability Services release version on the local node is []

[oracle@srvdb01 ~]$ crsctl query crs activeversion -f

Oracle Clusterware active version on the cluster is []. The cluster upgrade state is [NORMAL]. The cluster active patch level is [3351897854].


[oracle@srvdb01 ~]$ srvctl status mgmtdb -verbose
Database is enabled
Instance -MGMTDB is running on node srvdb01. Instance status: Open.

[oracle@srvdb01 ~]$ srvctl config mgmtdb
Database unique name: _mgmtdb
Database name:
Oracle home: <CRS home>
Oracle user: oracle
Spfile: +DBFS_DG/_MGMTDB/PARAMETERFILE/spfile.268.926345767
Password file:
Start options: open
Stop options: immediate
Database role: PRIMARY
Management policy: AUTOMATIC
Type: Management
PDB name: srv_cl12
PDB service: srv_cl12
Cluster name: srv-cl12
Database instance: -MGMTDB

reinstall tfactl after GI Upgrade


Recently I finished a Grid Upgrade from to + PSU JUL 2016. So far so good during a check I saw that the old tfactl tool under Software Release where up and running.

That could not be okay.  So I start an Uninstall and Setup for Release

What steps has to be done?

Check the actual tfactl installation

 /u01/app/grid/tfa/bin/tfactl print config

Start the unistall on both nodes

[root@db03 bin]# ./tfactl uninstall
TFA will be Uninstalled on Node db03: 

Removing TFA from db03 only
Please remove TFA locally on any other configured nodes

Notifying Other Nodes about TFA Uninstall...
Sleeping for 10 seconds...

Stopping TFA Support Tools...
Stopping TFA in db03...
Shutting down TFA
oracle-tfa stop/waiting
. . . . . 
Killing TFA running with pid 159597
. . . 
Successfully shutdown TFA..

Deleting TFA support files on db03:
Removing /u01/app/oracle/tfa/db03/database...
Removing /u01/app/oracle/tfa/db03/log...
Removing /u01/app/oracle/tfa/db03/output...
Removing /u01/app/oracle/tfa/db03...
Removing /u01/app/oracle/tfa...
Removing /etc/rc.d/rc0.d/K17init.tfa
Removing /etc/rc.d/rc1.d/K17init.tfa
Removing /etc/rc.d/rc2.d/K17init.tfa
Removing /etc/rc.d/rc4.d/K17init.tfa
Removing /etc/rc.d/rc6.d/K17init.tfa
Removing /etc/init.d/init.tfa...
Removing /u01/app/
Removing /u01/app/
Removing /u01/app/

The same on the other node

The new tfactl Setup

[root@db03 install]# ./tfa_setup -silent -crshome /u01/app/
TFA Installation Log will be written to File : /tmp/tfa_install_63022_2016_10_18-14_30_43.log
Starting TFA installation

Using JAVA_HOME : /u01/app/
Running Auto Setup for TFA as user root...
Installing TFA now...

TFA Will be Installed on db03...
TFA will scan the following Directories
| db03 |
| Trace Directory | Resource |
| /u01/app/ | CRS |
| /u01/app/ | CFGTOOLS |
| /u01/app/ | CRS |
| /u01/app/ | CRS |
| /u01/app/ | CRS |
| /u01/app/ | CRS |
| /u01/app/ | CRS |
| /u01/app/ | CRS |
| /u01/app/ | INSTALL |
| /u01/app/ | CRS |
| /u01/app/ | CRS |
| /u01/app/ | DBWLM |
| /u01/app/ | CRS |
| /u01/app/ | CRS |
| /u01/app/ | ASM |
| /u01/app/ | CRS |
| /u01/app/ | CRS |
| /u01/app/oraInventory/ContentsXML | INSTALL |
| /u01/app/oraInventory/logs | INSTALL |
| /u01/app/oracle/crsdata/db03/acfs | ACFS |
| /u01/app/oracle/crsdata/db03/core | CRS |
| /u01/app/oracle/crsdata/db03/crsconfig | CRS |
| /u01/app/oracle/crsdata/db03/crsdiag | CRS |
| /u01/app/oracle/crsdata/db03/cvu | CRS |
| /u01/app/oracle/crsdata/db03/evm | CRS |
| /u01/app/oracle/crsdata/db03/output | CRS |
| /u01/app/oracle/crsdata/db03/trace | CRS |

Installing TFA on db03:
HOST: db03 TFA_HOME: /u01/app/
| Host | Status of TFA | PID | Port | Version | Build ID |
| db03 | RUNNING | 63460 | 5000 | | 12127020160304140533 |

Running Inventory in All Nodes...
Enabling Access for Non-root Users on db03...

Adding default users to TFA Access list...
Summary of TFA Installation:
| db03 |
| Parameter | Value |
| Install location | /u01/app/ |
| Repository location | /u01/app/oracle/tfa/repository |
| Repository usage | 0 MB out of 10240 MB |

Installing oratop extension..
TFA is successfully installed...
And also the same on the other node.

Last but not least check the new Setup on both Nodes

Check the status and configuration
tfactl print status 
tfactl print config

That's it. :-)
It is very easy and done in a few minutes.
tfactl is a helpful tool not only for Oracle Support 
take a few minutes and go through the following 
My Oracle Support Note: 1513912.1


OOW 2016 fünfter und letzter Tag

Die Zeit geht schneller vorbei als man denkt. Heute ist bereits der letzte Tag der OOW 2016.

Auf der Agenda stand ein Meeting mit Gurmeet Goindi vom Exadata Produktmanagement.

Wir haben die Topics für die DOAG Konferenz besprochen:

  • Treffen mit der Arbeitsgruppe Engineered Systems in Nürnberg am Vorabend der Konferenz
  • Präsentation von Gurmeet
  • Unconference Session

Gurneet legt besonderen Wert darauf, die offenen Fragen der Community in Deutschland zu beantworten. Ich freue mich sehr Ihn im Namen der DOAG in Nürnberg begrüßen zu dürfen. Alle Exadata Interessenten sollten sich diese Gelegenheit nicht entgehen lassen.

Ich hoffe, das es Spass gemacht die Neuigkeiten von der OOW 2016 zu verfolgen und freue mich auf ein Treffen während der DOAG Konferenz in Nürnberg








OOW 2016 vierter Tag


Erstaunlich wie schnell die Zeit rumgeht und schon läuft der vierte Tag der OOW 2016 in San Francisco.

Erster Vortag heute zum Thema MAA Best Practices. In 12.2 soll es endlich möglich sein mit einem Kommando per dbca und der Option -createstandby eine Standby Datenbank auf „Knopfdruck“ anzulegen. Daneben ist einiges im Umfeld Redo Apply getan worden. Das Stichwort lautet hier „Multi-Instance Redo Apply“. Daneben gibt es viele neue Verbesserungen im Multitenant Umfeld. Ein neues Whitepaper ist in Arbeit.

Weiter gehts zum Exadata Technical Deep Dive Architecture and Internals. Es wurden die neuen Möglichkeiten der Exadata SL6 und Software in Silicon vorgestellt. Die Details kann ich leider nicht beschreiben. Eines kann ich aber schon heute verraten der Exadata Produktmanager wird bei uns auf der DOAG Konferenz im November in Nürnberg sein. Also heute schon mal den Termin 15.11.2016 – 18.11.2016 vormerken.

Ein Feature muss ich doch kurz beschreiben und zwar wird es für die Exawatcher Daten zukünftig auch eine grafische Darstellung geben. Das sah auf den Folien wirklich gut aus.

Zum Abschluss ging es dann um das Thema Rapid Home Provisioning (RHP). Das Erstellen von Golden Images und das verteilen von Software wird zukünftig richtig spannend. Allerdings bedarf es da einer entsprechenden Option im Cloud Control. Hier muss man dann wirklich mal in die Dokumentation „einsteigen“, denn es handelt sich um ein interessantes, aber großes Themenfeld.

Tippfehler bitte ich zu entschuldigen, denn auch heute ist es spät geworden.


OOW 2016 dritter Tag


Tag drei auf der OpenWorld. Man hat das Gefühl, es werden von Tag zu Tag mehr Teilnehmer.

Der erste Vortrag kommt von Markus (Michalewicz). Er präsentiert die neuen Features von RAC 12.2. So wie man Ihn kennt sehr detailliert, daher spare ich mir tiefe Details, denn er kommt im November zur DOAG Konferenz 2016.

Hier ein paar Topics:

  • Better Scaleout
  • Singleton Services
  • more Availability mit dem Health Framework
  • new Node Eviction „Mode“
  • News im Bereich Flexcluster
  • und vieles mehr

Das nächste Highlight war die Keynote von Larry Ellison. Es wurde ausführlich das Thema Oracle in the Cloud und eine genaue Gegenüberstellung von Amazon Cloud Technologie und Oracle Cloud Technologie präsentiert.

Danach habe ich mir den Vortrag  „Deep Dive Oracle Database 12.2 Sharding“ angehört. Hier plant Facebook mit Oracle 12.2 einen POC. Die Technologie und Möglichkeiten finde ich sehr interessant. Mal sehen wie schnell sich dies durchsetzt (und verfügbar sein wird). Es werden auf jeden Fall alle bekannten Technologien vom RDBMS wie Partitioning, RMAN etc. Sharding supporten. Klar ist aber das man ein komplett neues Design der Anwendung vornehmen muss.

Zum guten Schluss „Next Generation Recovery Manager“

Einige neue Features in 12.2:

  • Enhancement for Table Recovery
  • Enhancements for Multitenant Databases
  • RMAN Duplicate using Encrypted Backups
  • RMAN & Data Guard
    • Introduction for Far Sync
    • Duplicate from an Physical Standby for regular Databases
  • Support for Oracle Sharding
  • Backup & Recovery of Sparse Databases
  • Flashback Enhancements
    • Support for Pluggable Databases
    • Support for Normal Restore Points
    • Support for Guaranteed Restore Points


Mögliche Tippfehler bitte ich zu entschuldigen



OOW 2016 zweiter Tag


Tag zwei auf der OpenWorld in San Francisco. Es beginnt mit dem Vortrag von Andy Mendelsohn

The World’s #1 Database for the Cloud

Die wesentlichen Aussagen des Vortrags zur Oracle Release 12.2

  • In Memory Technologie wird die Zukunft sein, also die Datenbank verlagert sich „from Disk to Memory“
    • Ein Highlight In-Memory läuft mit Active Data Guard auf einer Standby Datenbank
  • Transformation
    • Data Warehouse Technologie „bewegt“ sich in Richtung BigData (Plattform)
  • From OnPremise in „Richtung“ Cloud
    • Verlagerung von Datenbanken in die Cloud
    • Grundlage hierfür sind die Engineered Systems
  • Ein Key Feature in 12.2 ist und bleibt „Multitenant“
    • Es werden nun bis zu 4096 PDB’s supported
    • Es wird PDB Hot Clones, PDB Refresh und PDB Relocate Services geben. Diese dienen unter anderem dazu, um Services von OnPremise in die Cloud zu verlagern


Nun zum Thema: „Exadata what’s new and what’s coming“

Die echte Überraschung in meinen Augen, dass der SPARC Prozessor ganz „neue Aufgabengebiete“ bekommen könnten. Es wurde die Exadata SL 6 Sparc Linux Maschine angekündigt. Der Prozessor wird getauscht, am Betriebssystem Linux ändert sich nichts

Hier direkt die Details auf einer Folie zusammengefasst


Es kommen in dem Umfeld natürlich viele weitere Features, gerade was Analytics Funktionen angeht und noch vieles vieles Mehr. Die weiteren Themen müssen dann in den nächsten Wochen im Detail betrachtet werden.


Upgrade Workshop auf 12.2

Ja und dann habe ich noch einen Hands-On Workshop „Migration nach 12.2“ bei Mike Dietrich besucht, um direkt mal zu sehen wie sich die neue Release 12.2 anfühlt. Mit einem amerikanischen Keyboard dauert der Upgrade einfach länger, aber dann ist es geschafft „database open“.


Mögliche Tippfehler bitte ich zu entschuldigen, es ist schon recht spät am Abend (oder wieder früh)

OOW 2016 erster Tag


Der erste Tag auf der OpenWorld 2016. Es war ein Tag zum „Warmlaufen und orientieren“.

Das Dominate Thema war „Oracle Cloud“. Zur neuen Oracle 12c Rel. 2 durfte bis auf eine Folie in der Keynote von Larry Ellison nichts gesagt werden. Larry Ellison wird 12c Rel. 2 am Dienstag in seiner zweiten Keynote vorstellen.

Viele Sessions waren mit generellen Themen vertreten, teilweise mit absoluten Basics. Ein super Vortrag kam von Mauro Pagano zum Thema Performance mit seinem Tool SQLd360. Es ist eine Weiter bzw. Neuentwicklung von SqlT. Das Tool sollte sich jeder DBA der sich mit dem Thema Performance auseinandersetzt mal genauer ansehen.

Ein weiterer guter Vortrag kam von Simon Pane zum Thema Oracle Database Security. Viele Beispiele die man im täglichen DBA Umfeld direkt umsetzen und anwenden kann. Von Passworthandling, SQL-Net, Skripten etc..

Einer der ganz wenigen Vorträgen im Themenbereich Engineered Systems hatte den Titel „Explore Database Cloud in 45 Minutes“. Der praktische Teil der Session endete erstmal mit einem technischen Problem, da das Notebook & der Beamer nicht zueinander „fanden“. Insgesamt wurde im Vortrag allerdings nichts Neues berichtet.