Import CSV în Excel mai mult de 1.048.576 linii

Fanii Excel știu probabil că acest instrument este foarte util pentru analize de date dar nu pentru colectarea sau introducerea directă a acestora. În majoritatea cazurilor cantitățile mari de date ajung în Excel pentru analiză prin importul din surse de date externe, pornind de la banale fișiere TXT până la servicii web specializate și baze de date.

Cel mai greu este când avem de importat mai multe fișiere într-un raport centralizat iar suma înregistrărilor depășește valoarea 1.048.676 linii (1024 la puterea a doua sau 2 la puterea 20). Tehnic Excelul nu poate gestiona într-o foaie de calcul mai multe înregistrări. Mulți utilizatori recurg la metoda importului gradual, dar acest fapt implică operațiuni manuale și suplimentare pentru centralizarea sumelor.

Prezentul articol propune metoda importului într-un model de date, nu direct într-o foaie de calcul. Un model este o formă binară de păstrare a datelor necesare prelucrărilor Excel și poate fi interpretat cu ajutorul unui Power Pivot. Aveți aici o referință foarte utilă pentru începătorii în acest domeniu.

În modelul de import prezentat în filmuleț sunt importate 3 fișiere CSV care au însumat peste 1,3 milioane de linii.

În partea de sus a CSV-urile avem un antet din 3 linii: titlul documentului, anii de referință și capul de tabel efectiv. Primele două linii vor fi eliminate în partea de import, iar a treia linie din primul fișier va fi transformată în cap de tabel pentru import. De asemenea, la finalul fiecărui CSV este o linie de totaluri care trebuie eliminată din toate CSV-urile la import.

Pentru a putea importa fișierele folosim limbajul M din Power Query. Lista funcțiilor și operațiunilor posibile este disponibilă la această adresă.

Pentru eliminarea antetelor din celelalte două fișiere se transformă coloana de date în tipul date. Având în vedere că ele nu sunt valori date Power Query va returna un mesaj de eroare. Prin intermediul mesajului de eroare putem elimina liniile respective din import.

După aplicarea pașilor de clean-up și formatare a datelor și coloanelor este foarte important modul în care salvăm modelul prin operațiunea de Cloase and Load To și alegerea opțiunii Add this data in the Data Model.

Ulterior Power Pivotul este foarte asemănător de utilizat ca oricare alt Pivot din Excel.

Sper să vă fie util!

Import multiple Microsoft Word forms in Excel using PowerQuery

Disclaimer: Acest articol are doar un caracter de studiu și nu își propune să înlocuiască în nici un fel aplicațiile programatice sau paginile și aplicațiile web dedicate. Este doar ca exemplu de import a unor date din Word în Excel.

 

Acest articol este destinat utilizatorilor de Office care doresc să colecteze informații nestandardizate din procesele lor de afaceri. Știu, este destul de dificil să faci formulare în Word, dar cred că decât să faci șabloane în Word cu puncte-puncte pe care să le listezi și să le completeze cineva manual, este mult mai util în primă fază să faci un formular cu niște câmpuri simple în Word.

Pentru a realiza un astfel de formular trebuie să aveți activat meniul Developer din care intrați în Design mode și puteți introduce diferite tipuri de câmpuri din secțiunea: Controls. Atenție, pentru o identificare cât mai exactă a datelor care vor fi salvate în importul brut este recomandat să aveți niște convenții de notare predefinite și să folosiți eventual tag-uri. Acest articol este cu tag-uri.

Exemplu despre modul în care se introduc tag-urile:

Documentul pentru acest exemplu poate fi descărcat de aici.

Șablonul poate fi partajat în rețea în mod clasic sau într-un DFS sau într-un SharePoint, OneDrive, Google Drive, Dropbox… sau pe mail.

Fiecare user completează formularul și îl salvează într-o astfel de locație centralizată.

Pentru a putea prelua datele din toate fișierele am utilizat pentru acest exemplu un script Power Query în care am inclus funcția Decompress de la autorul KenR (How to extract data from a ZIP file using just Power Query – http://www.excelandpowerbi.com/?p=155). Fiecare document Word este în fapt un document ZIP care conține mai multe fișiere XML și nu numai. Pentru a extrage datele din Word avem nevoie de acces la fișierul document.xml pe care îl parsăm după o serie de cuvinte cheie.

Codul sursă pentru script disponibil si in fisierul Excel de exemplu este:

Rezultatul final in funcție de numărul de fișiere din folder și subfoldere poate arăta în felul următor:

 

Cum puteți testa:

  1. Descărcați șablonul Word.
  2. Completați câteva documente pe baza șablonului și salvați-le în aceeași locație.
  3. Descărcați și Deschideți fisierul Excel și accesați Query editor după care modificați valoarea de la Source.
  4. Apăsați în Query editor opțiunea Close and Load
  5. Ar trebui să aveți tabelul cu date.

Sper să vă fie util!

Model de aplicație pentru GDPR în Office 365

Avertisment: Modelul de aplicație este unul generalist cu posibilități foarte mari de extensibilitate și adaptabilitate la specificul oricărei companii.

În acest articol este prezentat un model de aplicație suport pentru implementarea și menținerea normelor GDPR în cadrul companiilor de diferite dimensiuni. El este construit pe platforma SharePoint din Office 365, planul Enterprise (implică utilizare de formulare de business) dar poate fi replicat și în mediul Intranet (SharePoint on Premises).

Modelul implementat este unul generalist, dar foarte extensibil și nu folosește cod compilat, bazându-se exclusiv pe funcționalitățile standard ale SharePoint (InfoPath + Liste). Aceasta metodă aduce avantajul personalizării și adaptării aplicației la specificul fiecărei companii la costuri mult mai reduse.

Orice propunere de îmbunătățire este bine venită. Pentru acces la varianta Demo, vă rog să mă contactați în privat de pe o adresă de companie. Expertiza GDPR este asigurată de dl. Adrian Munteanu.

 

Big picture

Implementarea și menținerea GDRP este un proces la nivelul întregii organizații, pe toată durata sa de funcționare. Pentru cei speriați de concept, majoritatea elementelor din GDPR trebuiau asigurate și până acum, sau o parte din ele ar trebui să se regăsească în instituțiile care au certificarea ISO9001 sau ISO27001.

 

Nomenclatoare suport

GDPR înseamnă la începutul implementării colectarea unui număr semnificativ de informații despre propria organizație. În majoritatea companiilor pe care le cunosc există tot felul de proceduri și regulamente care ne pot ajuta la colectarea acestor date. Cel mai important lucru este ca acestea să fie fidele.

Pentru completarea formularelor avem nevoie ca datele să fie cât mai omogene iar acest lucru se poate face doar dacă vom reuși să impunem utilizatorului final posibilitatea detaliată de a selecta datele colectate din liste.

Modelul de aplicație presupune utilizarea a unui număr de 8 liste predefinite de date:

  • Structura – Se referă la structura organizatorică a companiei, la ora actuală pornit de la Business Unit plus 3 niveluri de ierarhizare. Multe companii folosesc forme diferite de nume pentru subdiviziuni, de aceea am preferat să le numim doar Nivel1, 2, 3. Fiecare subdiviziune reprezintă o nouă ramură în structură având propriul său cod, care poate ajuta la completarea mai rapidă a formularelor. Completarea structurii organizatorice ar trebui realizată de Management.;
  • Date cu caracter personal – O listă de date generale cu caracter personal, structurate pe categorii, care ne vor ajuta mai târziu la completare formulare. Modelul de aplicație pune la dispoziția utilizatorilor un număr de 83 de date cu caracter personal grupate în mai multe categorii. Revizia acestor date se poate realiza de Legal sau în momentul completării formularelor de către DPO;
  • Documente colectate – O listă nomenclator cu un număr de 21 tipuri diferite de documente care ar putea fi colectate. Exemple: CI, Pașaport, CV, Diplome, certificate, fotografie și alte documente purtătoare de date cu caracter personal. Revizia se poate realiza de Legal sau DPO la propunerea departamentelor de business;
  • Lista proceduri – Conține lista de proceduri interne ca suport al proceselor de afaceri. Iar vă amintesc de faptul că ar trebui deja să le aveți; Ar trebui completată de SMI (Sistemul de Management Integrat) sau alte departamente conexe (Legal, Securitate, IT);
  • Lista de procese – Conține un nomenclator al proceselor și activităților din cadrul companiei, în care sunt colectate, prelucrate și stocate date cu caracter personal. Am considerat că un proces poate avea mai multe activități, și de asemenea, un proces este asociat unei structuri organizatorice. Da, știm că există și procese transversal, dar fiecare proces are un responsabil care aparține unui departament. Departamentul default al proprietarului de proces este reprezentat de structura de inițiere a procesului. Procesele derivate dintr-un proces din amonte, sunt considerate procese distincte. Lista trebuie completată de către toți proprietarii de procese din cadrul organizației;
  • Lista sisteme IT – Conține o listă de aplicații utilizate în colectarea și prelucrarea datelor cu caracter personal. Se completează de către departamentele de IT sub supravegherea DPO și Legal.
  • Măsuri Securitate – O listă cu principalele măsuri de Securitate impuse de GDPR, ISO27001 și alte standarde sau bune practice în domeniul securității informațiilor. Se actualizează de DPO.

 

Formularul de Documente colectate

Exemplu de formular de colectare informații despre documentele colectate.

Se completează la nivelul structurilor electronice și conține mai multe detalii legate de prevederile si procedurile interne și legale, maparea la procesele specifice structrurii organizatorice, presupune selectarea mai multor categorii de date și date. De asemenea, sunt solicitate detalii legate de forma de colectare (letric, electronic sau ambele), modul de păstrare a documentelor, schimbul documentului cu alte structuri interne sau externe, perioada de retenție specificată în politicile interne sau procedurile legale și modalitatea de distrugere sau ștergere a documentului purtător de date cu caracter personal.

Datele de pe mai multe documente colectate de diferite procese din diferite structuri organizatorice se pot centraliza apoi folosind funcțiile implicite ale SharePoint în fișiere Excel care pot fi manipulate în vederea extragerii de rapoarte. Finalitatea acestui proces de colectare a informațiilor este acela de a constitui suport în procesul de inventariere a datelor și minimizare a datelor colectate.

Exemplu practic de proces:

Eu persoană fizică merg la bancă pentru a îmi deschide un cont. Pe lângă alte documente banca îmi cere și cartea de identitate după care îmi face o fotocopie. Fotocopia este scanată și introdusă în sistemele interne (presupun asta). Este posibil ca acea fotocopie să rămână și într-un dosar. Acesta se poate numi procesul de deschidere cont. Operatorul de ghișeu poate deschide formularul specific cărții de identitate din SharePoint și poate consulta lista datelor personale pe care are voie să le colecteze.

După o perioadă de timp, merg din nou la aceeași bancă la același operator pentru o operațiune de transfer bancar. Acesta este un proces diferit: Transfer bancar client existent. Eu sunt deja în sistem. Am deja copia la CI acolo. În prezent operatorul îmi cere o nouă copie la cartea de identitate. De ce?! Habar nu am. În mod corect, el trebuie să mă identifice. Îi arăt cartea de identitate, o vede… o confruntă cu ce este în sistem și ar trebui să fie suficient. Fără altă copie pe care trebuie să o distrugă mai târziu.

În urma analizelor proceselor înregistrate, Departamentul Legal, DPO și managementul pot decide dacă mai este necesară colectarea unei noi copii sau nu. Ei pot identifica de asemenea, multe alte anomalii de colectare a datelor.

Voi reveni într-un alt articol cu detalii despre alte tipuri de rapoarte și analiză pe datele colectate.

Formularul PIA

Este un formular mai elaborat destinat justificării colectării anumitor date pe anumite procese. De asemenea, se utilizează pentru a determina gradul de risc al unei prelucrări și a stabili lista măsurilor de securitate care ar trebui aplicate. Se completează de proprietarul procesului de business cu asistența DPO și validarea acestuia. DPO împreună cu managementul decid măsurile de securitate concrete aplicabile. În cazul în care anumite măsuri nu sunt acoperite cu soluții tehnice, rapoartele rezultate pot constitui suport deciziei de implementare sau achiziție a unor instrumente și platforme de securitate.

Exemplu de formular PIA:

PIA este creată pentru procesele existente și se actualizează periodic sau în momentul în care apar schimbări în procese. De asemenea, trebuie completată pentru proiectele și procesele noi din cadrul companiei.

Formularul este structurat în 4 categorii:

  1. Context: stabilirea contextului pentru care se completează PIA
  2. Justificare: Presupune răspunsul la o serie de întrebări generale care să ajute Legal și DPO la luarea deciziei de aprobare a prelucrării și/sau a măsurilor de securitate implementate.
  3. Controale: reprezintă un chestionar bazat pe cerințele GDPR pentru asigurarea controalelor administrative pentru protecția datelor persoanei vizate.
  4. Riscuri: reprezintă un chestionar pe baza căruia proprietarul de proces poate stabili un nivel de risc al colectării și prelucrării datelor cu caracter personal specificate în contextul PIA.

Rezultatele tuturor formularelor colectate se pot exporta și analiza în Excel sau alte instrumente specifice de analiză și interpretare a datelor.

 

Cam atât pentru astăzi!

Mulțumesc pentru feedback și partajare articol!

 

Blog la WordPress.com.

SUS ↑