Hoi Hoi,

De laatste week stage. Dit zal de laatste keer zijn dat ik iets post op mijn blog.
Na 8 weken zit het er bijna op. De laatste zaken worden afgerond en dan zit onze stage er definitief op… L.

Net nu alles in zijn plooi begint te vallen is het tijd om afscheid te nemen.

Deze week heb ik verder gewerkt op het rapport voor PGV. Dit rapport wordt gevoed door data uit een vrij grote en complexe procedure. Tijdens de week zijn er nog veel aanpassing geweest, niet enkel programmatorisch, maar ook de logica achter bepaalde codes is nog gewijzigd.
Daarom moest ik steeds dingen aanpassen in de procedure.

Deze procedure duurt wanneer je ze de eerste maal loopt om de gegevens in de feitentabel steekt vrij lang. Daarom moest ik via putty een sessie rechtstreeks op de server openen en deze procedure ’s avonds laten lopen.

nadien heb ik de universe in BO aangepast aan de nieuwe vormgeving. Ik moest ook de initiele view die in de universe gebruikt wordt aanpassen.

Op het einde van de week was een vreemd iets aan de gang. In de tabel zelf stond een 0 wat het correcte gegevens was en business objects infoview maakte er een 1 van… heel vreemd, en alles uitgeprobeert, maar er was geen ontkomen aan. Ik heb dan uiteindelijk de measure terug op universe niveau gemaakt, (hij was nu aangemaakt op basis van de view). Dit leverde op zich geen problemen op, alleen was het wel even zoeken naar de correcte plaatsing van de haken.

Het statement ziet er zo uit.
case when((trunc(DWH.VIEW_F_ITEMS.KPTIFIRSTDTS)-trunc(DWH.VIEW_F_ITEMS.HUBLASTDTS)) -(case when DWH.VIEW_F_ITEMS.COUNTRYANSICODE = 43 then decode(DWH_D_TIME_HUBLASTDTS.DAY_OF_WEEK,’Monday’, 1, ‘Friday’,2,0)end)) <= 0 then ’0′ when((trunc(DWH.VIEW_F_ITEMS.KPTIFIRSTDTS)-trunc(DWH.VIEW_F_ITEMS.HUBLASTDTS))-(case when DWH.VIEW_F_ITEMS.COUNTRYANSICODE = 43 then decode(DWH_D_TIME_HUBLASTDTS.DAY_OF_WEEK,’Monday’, 1, ‘Friday’,2,0) end))>=5 then ’5+’ else to_char(((trunc(DWH.VIEW_F_ITEMS.KPTIFIRSTDTS)-trunc(DWH.VIEW_F_ITEMS.HUBLASTDTS)) -(case when DWH.VIEW_F_ITEMS.COUNTRYANSICODE = 43 then decode(DWH_D_TIME_HUBLASTDTS.DAY_OF_WEEK,’Monday’, 1, ‘Friday’,2,0) end)))end

Onder de collega’s begint nu ook alles op wieltjes te lopen. We beginnen iedereen te eindelijk wat een beetje beter te kennen en we amuseren ons J… Spijtig dus dat het gedaan is!

Een geweldige, ‘jammer dat het gedaan is’ , super laatste week!

Enfin,
tot in het stageverslag zekers!

Frederik

takenlijst_kiala_weekivtemvii_office2003.doc

Hoi,

mja takenlijsten is iets wat ik meestal uit het oog verlies.
Ik schrijf mijn blog en dan sluit ik af en dan valt mijne frank…
dus hierbij mijn takenlijst van de voorbije weken!

Frederik

Hoi Hoi,

de voorlaatste week zit er jammer genoeg op. Net nu ik de collega’s enzo beter leer kennen is het gedaan.
Het cliché wordt bevestigd, mooie liedjes duren niet lang.

Deze week heb ik gewerkt aan een rapport voor PGV, een klant in oostenrijk. Er zijn KPI’s opgesteld en mijn rapport in BO moet inzicht geven of deze KPI’s gehaald zijn ja dan neen.
Ik heb in het begin van de week een grote en moeilijke (niet op vlak van code, maar logica gewijs) procedure geschreven die aan de hand Track en Trace codes de juiste gegevens in de juiste velden steekt.
Op het eerste zicht leek dit allemaal wel te lukken. Mijn procedure heb ik op 2 dagen afgewerkt, maar zat dan vast op 6 regels code. Op de één of andere manier zat er een fout in 6 regels code. Iets waar ik een hele dag mee bezig ben geweest om dit op te lossen. Dit is soms frustrerend om op 6 regels code je hoofd te breken en niet weten wat er juist fout is…, zeker als SQL developer je verteld dat de procedure correct is en dat je ze kan uitvoeren, maar dat ze niet doet wat er moet gebeuren …

De moeilijkheid bestaat erin om een procedure te schrijven die snel loopt omdat deze procedure regelmatig moet uitgevoerd worden. Deze procedure mag dus niet te lang duren. Omdat er vele joins moeten gelegd worden is dit dan ook niet zo makkelijk om ervoor te zorgen dat de procedure nog snel loopt. Het komt er dus op neer om de where clause zo te schrijven dat enkel de records worden geselecteerd die effectief nodig zijn.  Want Joinen met 4 tabellen die  1. vele miljoenen records bevatten en 2. in verschillende schema’s staan wordt het echt nodig om te filteren op data, op codes.     Met alles moet je rekening houden wanneer je een ‘smooth running’ procedure wil schrijven. Select * from X is dus uit den boze anders wordt je cursor veel te groot en selecteer je veel te veel!!

Wanneer de procedure klaar was en gelopen, (dit is nu op 3 minuten voor 600 dagen) is de nieuwe feitentabel f_items opgevuld. Op basis van deze tabel heb ik dan een rapport gemaakt met BO voor Oostenrijk.

Volgende moeilijkheid was, rekening houden met openingsdagen en weekends van de kialapunten. Dus moest ik voor de eerste maal een mail sturen naar iemand van Kiala met mijn vraag! Dit was een leuke ervaring en gaf een gevoel van, ‘ik werk echt aan iets constructief’. Na het antwoord van de persoon in kwestie kon ik beginnen aan het rapport.

Dit rapport is bijna afgewerkt, dus volgende week, de laatste week zal ik dit verder afwerken.

Na 7 weken begin je de collega’s allemaal wat beter te kennen en voel ik me echt als werkende mens! …

Het was een leerrijke, met tijdsdruk omgaande,  super week!

 tot de volgende,
Frederik

Hello hello,

Onze stage begint te korten. Nog maar een handvol werkdagen en het zit erop.
Jammer, want het bevalt me wel hier.
Na al deze weken begin je ook de collega’s beter te kennen. Je kent je weg doorheen het bedrijf, doorheen de databank en je bezit de vaardigheden om zelfstandig te kunnen werken.Onze opdracht loopt stilaan ook op zijn laatste benen. Onze datamart is gebouwd en we hebben de rapporten gemaakt met Business objects.

Vorige week heb ik mij vooral bezig gehouden met de configuratie van de BO server. Bepaalde zaken customizen op basis van de wensen en normen van Kiala. Ik heb me bezig gehouden met de audit universe te maken en aan te passen.
Geen makkelijke taak en het werkt nog niet voor de volle honderd procent, maar we krijgen dit wel draaiend J.
Ik heb me ook bezig gehouden met uit te zoeken hoe je aan ‘report bursting’ kan doen. Geen sinecure om uit te zoeken wat de specs zijn voor de verschillende BO versies.Een nieuwe opdracht diende zich aan. Bepaalde selling partners moeten kunnen gegroepeerd worden en in bepaald klassen worden ondergebracht. Ik moet een manier zoeken om dit op een ordentelijke wijze en duidelijk gestructureerde wijze te doen. Ik ben een nieuwe tabel aan het maken met de verschillende groepen in. Moeilijkheid bestaat er in dat het niet zo is dat wanneer iets tot A en B behoort het ook tot C behoort en andersom. Een doordenkertje dus.

Een hele leuke, intensieve my way ‘goegelend’ for an answer week!

Frederik

Hoi iedereen,

Ondertussen ben ik het hier reeds gewoon. ’s Morgens opstaan (ondertussen ken ek mijn limiet qua tijd ) en naar Brussel vertrekken. Zitten met een boekje op de trein en in no time in Brussel.

Deze week bestond voornamelijk uit het echt beter leren werken met Business Objects infoview.
Onze procedure om de feitentabellen te vullen zijn zo goed als afgewerkt, dus we konden beginnen met het business intelligence luik effectief te testen. Na de voorgaande rapport analyses kregen we nu de opdracht om de rapporten effectief na te bouwen.

De huidige manier om deze gegevens te analyseren is via een pivot table en een excel bestand. Onze taak is dan ook om ervoor te zorgen dat de excel file vervangen kan worden door een BO rapport.Lijkt makkelijk dacht ek zo bij mezelf, maar in de realiteit bleek al snel anders.
Iets op het scherm krijgen is geen probleem, dat hebben we al meerdere malen gedaan, maar een rapport maken dat makkelijk, intuitief en snel analyseerbaar is, is toch iets heel anders.

Tijdens de lessen B.I. werd er niet echt veel aandacht geschonken aan defitge lay-out en dergelijke meer, maar hier is het wel nodig dat managers deze informatie effectief kunnen gebruiken zonder er uren op te moeten staren en uit te zoeken voor welk veld dient.

Deze week hebben we ook een maand aggregatie tabel moeten maken. Een shrunken dimension van de normale tijdsdimensie. Er moest een procedure geschreven worden om een kalender te vullen.
2 maand geleden zou ek nog moeilijkheden gehad hebben met zulke zaken uit mijn duim te zuigen, maar tegenwoordig is het allemaal wel een pak makkelijker. De SQL en PL/SQL  zit zo in de vingers dat het nu een kwestie is van je af te vragen wat er nodig is en niet zozeer, hoe ga ik die query schrijven.

Na het maken van sommige rapporten was het duidelijk dat er nog vreemde gegevens kwamen opduiken. Deze waren te wijten aan en NVL clause die we gebruiken om correcte data uit de query te halen. Sommige van deze date waren echter niet correct. Er moest dus een oplossing gevonden.
De oplossing die ik bedacht heb was om rond een NVL functie een case functie te schrijven die dan zal vergelijken met bepaalde andere waarden. Het bleek te werken (hopelijk althans =))
Het was even concentreren geblazen om ervoor te zorgen dat alle paramaters en haken op de juist plaats stonden, maar het is in orde. Hieronder een extract uit de query.case when NVL(NVL (TO_CHAR (TO_DATE (retkpdate, ‘YYYYMMDD’), ‘YYYYMMDD’),TO_CHAR ((TO_DATE (rethubdate, ‘YYYYMMDD’) – 1),’YYYYMMDD’)),TO_CHAR ((TO_DATE (retdepotdate, ‘YYYYMMDD’) – 1),’YYYYMMDD’)) < to_char(to_date(referencedate, ‘YYYYMMDD’), ‘YYYYMMDD’) then to_char(to_date(referencedate, ‘YYYYMMDD’), ‘YYYYMMDD’)else NVL (NVL (TO_CHAR (TO_DATE (retkpdate, ‘YYYYMMDD’), ‘YYYYMMDD’),TO_CHAR ((TO_DATE (rethubdate, ‘YYYYMMDD’) – 1),’YYYYMMDD’)), TO_CHAR ((TO_DATE (retdepotdate, ‘YYYYMMDD’) – 1),’YYYYMMDD’)) end new_kpdate.

Uitdagende, intensieve, maar enorm boeiende week!

Jammer dat het bijna gedaan is, want ik zit hier wel op mijn gemak!

Cya next time,

Frederik

Hoi Hoi,

Onze vierde week stage zit erop. Het is bijna terugkomdag, wat wil zeggen dat onze stage ongeveer in de helft zit! Jammer!
De week zat vol met verrassingen en nieuwe uitdagingen, gebruik van andere functies die ver weg in de achterkamers van mijn hoofd zaten, maar ik heb ze gevonden!
Na 4 weken wordt het stilaan een automatisme om query’s te schrijven. Je moet niet meer stil staan bij syntax over to_date, to_char, nvl en dat soort zaken. Een query wordt systematisch opgebouwd met de zaken die jij wil weten en die jij wil laten zien.
Een query is niet ‘beginnen rammen’ op het toetsenbord om toc h maar snel een select te schrijven die iets teruggeeft. Neen, een query wordt opgebouwd en je gebruikt die velden die je nodig hebt en geen meer of minder en je bouwt zodanig clauses in dat je uiteindelijk bekomt wat je moet bekomen.
Geen query’s meer die je wel ‘een’ resultaat geven, maar die niet correct zijn. Hier moeten ze wel correct zijn.
Dat was meteen ook het grootste probleem deze week. Een query die wel loopt, maar na grondige analyse van de data bleek er een afwijking op de data. Dit komt door dubbele records die worden geïnsert in de tabel. Niks mis met de procedure en query, maar de data is toch niet correct.Dit moesten we zien op te lossen, maar zal verder moeten gaan volgende week.

Een ander probleem deze week waren de treinen. Lang leve de nmbs, met de trein is altijd een beetje reizen   vertraging. Ach ja de nmbs! J

De rest van de week is verlopen zoals alle anderen, verder gewerkt aan de datamart en nieuwe rapporten gemaakt met BO.
Onze procedures gedocumenteerd door flowcharts te maken.
Ook een nieuwe aggregatie op maandniveau gemaakt om de parcels niet enkel per dag te kunnen bekijken, maar ook per maand.een gevarieerde, goe gelachen met de collega’s en wervelende week!

Tot de volgende,

Frederik

Hoi hoi,

 ik was het even uit het oog verloren dat ik dat moest uploaden!
dus bij deze hier is mijn takenlijst van week II en week III
takenlijst_week2en3_stage.doc

Frederik

Een mooie maandagochtend! Het opstaan begint beter en beter te lukken.
Na een ‘prettig weertje, wat gaan we doen?’ weekend, ben ik helemaal klaar voor een nieuwe week. Aangekomen met de trein start ik!
Ik werk verder op de procedure die ik vrijdag  heb opgestart. Ik moet ervoor zorgen dat rejected parcels worden ge-extract en omgevormd worden in de correcte formaten om zo in de feitentabel te zitten. De procedure is klaar en mijn fact table is gevuld.

Vanaf nu mogen we ook werken op de productie db en niet enkel meer op development! We draaien dus als het ware live mee en onze gegevens zijn up to date.

Onze opdracht luidt dan ook probeer nu eens te achterhalen of de gegevens juist zijn en of je vreemde waarden tegenkomt. Denk ook eens na over welke rapporten er nog interessant kunnnen zijn op basis van het datawarehouse dat gemaakt is.

De volgende dagen laten we Toad en SQL developer even voor wat het is en werken we voornamelijk met BO XI r2 en zijn infoview en management console. Het is een beetje onwennig en vreemd omdat je de look ’n feel van BO nog niet helemaal kent.

Na wat observatie en wat proberen met verschillende soorten web intelligence document rapporten is het tijd om met Designer van BO een eerste universe te bouwen op basis van onze feitentabel en dimensies. Onze eerste universe is klaar!
Ik krijg een andere opdracht, maak een bestaande universe toegankelijker voor mensen, om het duidelijk te maken, zorg dat de namen en measures in verstaanbaar nederlands worden omgezet zodat ook iemand dat niet vertrouwd is met de DB weet wat de veldnamen willen zeggen.

Iets waar wij op school nooit veel rekening mee moesten houden, is hier wel heel belangrijk!
Na een middag hiermee bezig geweest te zijn, crasht BO (bedankt Vista), geen probleem, ik had alles veilig opgeslagen, dus ik kon zo weer verder, ware het niet dat ik jammer genoeg de oude universe terug had geimporteerd en niet mijn laatste versie had geopend.

Bye bye werk, game over START again! Of over hoe een leek in BO zulke beginnersfouten kan tegenkomen. Iets wat ik dus nooit meer zal vergeten.
Na het afwerken van de universe was het tijd voor de eerste rapporten te generen. 
Bo here i come, na ettellijke rapporten te maken bleek dat mijn gegevens niet correct waren, het bleek dat de tabel van waar de gegevens oorspronkelijk uit werden gehaald op operationeel niveau niet helemaal correct waren. Mijn qrys zijn wel correct, maar de data is niet correct. Ik kon dus geen tests meer uitvoeren om de juistheid van de gegevens na te gaan.

Ik heb me daarom voor de rest van de week vooral bezig gehouden met de server van BO te configureren.  Moelijkheid hier is om hier informatie over te vinden.
Wanneer je in BO bepaalde customization wil doen die verder gaat dan de standaard dingen zoals hier en daar een ander kleurtje, moet je wel even zoeken om diepere info te vinden. De BO front-end biedt immers niet zoveel ‘settings’ aan die je kan wijzigen.

 

Enfin na even zoeken heb ik toch het een en ander gevonden en kan ik aan de slag.
Op de Win2003 server waarop een development BO server is gezet mag ik me volledig laten gaan.

De configuratie aanpassen in BO gaat vooral over het aanpassen XML files waarin de configuratie zit.
Ik heb extra lettertypes ingevoerd door een XML aan te passen.  Ik heb ook kennisgemaakt met .WAR files. De Web archive files http://en.wikipedia.org/wiki/Sun_WAR_%28file_format%29
Hier kan je zelf dingen aanpassen om standaard kleuren en lettertypes aan te passen.

Omdat dit echt wel lang duurde, kreeg ik in tussentijd ook nog een andere opdracht, tijd voor terug te gaan naar de PL/SQL in sql developer.
Ik moet een procedure schrijven die ervoor zorgt dat vertragingen tussen paketten berekend worden, rekening houdens met feestdagen, sluitingsdagen, … van de Kialapoints.

Het was een afwisselende, veel bijgeleerde en heel plezante week!
De tijd vliegt snel.

Frederik

Het maandaggevoel is er reeds na 1 week stage. Het weekend gedaan, de wekker terug om 6h10 om te beginnen aan een nieuwe werkweek. Benieuwd wat het gaat worden.Ik heb verder gewerkt aan mijn procedure om mijn tussentabel van returns te vullen.
Deze procedure was helemaal klaar. Tijd voor het grotere werk. Het schrijven van een procedure die de feitentabel gaat opvullen. Deze procedure bestaat uit 7 cursors die afgaan welke verschillende returns een pakket bij kiala kunnen ondergaan.

Het was toch wel even nadenken hoe ik een correcte referencedatum moest abstraheren, maar na een enig schets en tekenwerk had ik de oplossing bedacht. Ik moest een select case statement schrijven dat de correcte datum er uit ging halen. Zo gezegd zo gedaan. De procedure werkt.
Het moeilijke is niet de case statement of sql statements zelf, maar het interpreten van de gegevens die je query teruggeeft. Zijn deze gegevens correct, zijn de gegevens logisch. Klopt het wel wat ik vraag  en dat soort dingen. Deze zaken zijn soms nog wat moeilijk om meteen uit de losse pols te schudden omdat je nog niet helemaal vertrouwd bent met het reilen en zeilen van Kiala.

Heb deze week ook bijgeleerd over privileges toe te kennen in oracle. Om bepaalde procedures in bepaalde schema’s uit te voeren zijn er bepaalde privileges extra nodig om dit uit te voeren.
Ik ben op het internet deze zaken gaan opzoeken en zo de juiste rechten toegekent aan mijn user.Hier en daar heb ik ook nog kleine wijzigingen aangebracht aan de procedure om ze performanter en efficienter te maken zodat ze sneller loopt en omdat er sommige zaken reeds anders werden opgevat dan in het begin van de stage.
Verder ook nog een andere procedure geoptimaliseerd om gegevens te extracten uit andere tabellen.

Mijn eerste spec-sheet is ook geschreven die gaat over het hoe en het waarom de procedures geschreven zijn.  Heel boeiend en leuk om deze logica neer te schrijven zodat andere kunnen volgen wat je nu juist gedaan hebt.

Ik heb deze week ook ondervonden dat een veldtype dat in varchar2 staat met heel veel leading 0’s en dan nog is punten en komma’s en dat eigenlijk een number zou moeten zijn dat dan nog is gesommeerd moest worden, voor wat problemen kan zorgen. Een gewone to_number() function is niet genoeg, na 20min googlen en een vraag aan onze DBA haddek de oplossing gevonden.

Sum(to_number(replace(……..) en dan de juisten waarden… woehoe mijn weekend kon dan ook goed beginnen!Deze week vooral veel syntactische PL/SQL fouten gekregen, die snel opgelost kunnen worden door de procedure stap voor stap te debuggen en the magic phrase www.google.com te gebruiken. J

Na een storing door een uitvallen van een rotor van de airco hebben we vrijdag ochtend een rondleiding gekregen in het datacenter van kiala. Net iets anders dan hetgeen ik al gezien had.

Een week die voorbijgevlogen is en heel veel nieuwe dingen geleerd!

Tot de volgende,

Frederik

Taken van de eerste week (word file)

http://users.skynet.be/am034165/BogaertsFrederikStage2008_kiala_week1.xls (excel file)

Hoi hoi,

De eerste week op stage.
Eindelijk, na 3 jaar is het zover en kunnen we proeven van het leven zoals het is : werken.
Onze taak bij ons stagebedrijf bestaat erin om het bestaande datawarehouse uit te breiden en te vervolledigen.
Nadien zullen we met Business Objects rapporten maken waaruit de nodige gegevens af te leiden zijn die Kiala nodig heeft.

Kiala is een bedrijf dat zorgt voor de levering van parcels van hun klanten.
Als je bv een trui koopt via Quelle, zal Kiala ervoor zorgen dat je parcel zal aankomen in een Kialapoint waar je je trui kan gaan afhalen.
Het opzet van het datawarehouse is als volgt. Men wil weten hoeveel pakjes er afgeleverd worden, hoeveel teruggestuurd worden en hoeveel er niet geaccepteerd worden. (dit is maar een kleine greep )

Op de eerste dag hebben we ons vooral bezig gehouden met het bekijken van de databank en de structuur en het installeren van de verschillende paketten die we nodig hebben.
Een databank waar in elke tabel gemiddeld ongeveer 8.000.000 records in zitten is iets anders dan op school. Veldnamen en manier van ordenen is ook helemaal anders dan op de schoolse manier. Maar wel veeeeeeel leuker en boeiender …
Op dag 2 konden we aan de slag. Queries schrijven, het echte werk. Bleek dat een query wel net iets anders en moeilijker is als tijdens de lessen, maar het is ons gelukt en hoera, onze query werd meteen mee in de batch gestoken en werd dezelfde nacht uitgevoerd!

Tijd voor het echte werk was er de volgende dagen, na een hele dag presentatie over het datawarehouse samen met andere collega’s kregen we onze opdracht. Het duurde wel even vooraleer we het licht zagen, maar na een beetje grasduinen in de data begon het lampje toch te branden en konden we aan de slag.

De eerste week zit erop, het was een leerrijke soms wat vreemde ervaring, maar het is geweldig leuk!

De grote moeilijkheid die bestaat is niet zozeer de SQL en PL/SQL code, maar eerder het proces van Kiala te leren kennen.
Het komt er soms op neer om heel veel te leren uit de tabellen en te bekijken hoe het in mekaar zit zodat je weer verder kan met je procedure of query te maken.

Wanneer er technisch soms iets niet lukt dan is het googlen en kijken hoe het in mekaar zit, anders vragen we het aan onze stagebegeleider die ons dan de nodige uitleg geeft over Kiala.

De eerste week is voorbijgevlogen!

Tot de volgende
Frederik