[EXCEL] Automatizzare scarico dati..

[Alan2014]

Giornalmente scarico i risultati delle partite di calcio (del gg prima) dal sito http://www.betexplorer.com/results/socc ... =01&day=17

tramite una query web, registrata da una macro.

Vorrei ottimizzare questo scarico (ho letto su internet che posso anche analizzare il singolo elemento) e vorrei ottenere da questo codice html

Codice: Seleziona tutto

<table class="result-table lmbzero res-fix-table" cellspacing="0"><tbody><tr class="rtitle league-title"><th colspan="3" class="left nobr"><a class="cal" href="/soccer/africa/african-nations-championship/"><span class="newflag f-1"></span>Africa: African Nations Championship</a><a href="javascript: void(0);" onclick="myleague_click(1676, false);" id="myleague-link-1676-1" class="none" title="Click to add league to 'My Leagues'">&nbsp;</a></th><th class="odds nobr">&nbsp;</th><th class="odds nobr">&nbsp;</th><th class="odds nobr">&nbsp;</th></tr>
 <tr class="first-row" data-dt="16,1,2014,16,00" data-def="0"><td class="time first-cell" >16:00</td><td class="left"><a href="/soccer/africa/african-nations-championship/matchdetails.php?matchid=ERMIxxlL" onclick="win(this.href,560,500,0,1); return false;">Zimbabwe - Uganda</a></td><td class="score"><strong>0:0</strong></td><td class="last-cell nobr partial" colspan="3">(0:0, 0:0)</td></tr>
 </tr>
 <tr class="strong" data-dt="16,1,2014,19,00" data-def="0"><td class="time first-cell" >19:00</td><td class="left"><a href="/soccer/africa/african-nations-championship/matchdetails.php?matchid=8lMMyd3R" onclick="win(this.href,560,500,0,1); return false;">Burkina Faso - Morocco</a></td><td class="score"><strong>1:1</strong></td><td class="last-cell nobr partial" colspan="3">(0:1, 1:0)</td></tr>
 </tr>
 <tr data-dt="17,1,2014,16,00" data-def="1"><td class="time first-cell" >16:00</td><td class="left"><a href="/soccer/africa/african-nations-championship/matchdetails.php?matchid=Ek55TXA7" onclick="win(this.href,560,500,0,1); return false;">Ghana - Libya</a></td><td class="score"><strong>1:1</strong></td><td class="last-cell nobr partial" colspan="3">(1:0, 0:1)</td></tr>
 </tr>
 <tr class="strong" data-dt="17,1,2014,19,00" data-def="1"><td class="time first-cell" >19:00</td><td class="left"><a href="/soccer/africa/african-nations-championship/matchdetails.php?matchid=GfqlhHm8" onclick="win(this.href,560,500,0,1); return false;">Ethiopia - Congo</a></td><td class="score"><strong>0:1</strong></td><td class="last-cell nobr partial" colspan="3">(0:0, 0:1)</td></tr>
 </tr>
 <tr class="nday"><th colspan="6" class="first-cell last-cell nobr">18.01.2014</th></tr>
 <tr data-dt="18,1,2014,16,00" data-def="0"><td class="time first-cell" >16:00</td><td class="left"><a href="/soccer/africa/african-nations-championship/matchdetails.php?matchid=KSRWqgel" onclick="win(this.href,560,500,0,1); return false;">D.R. Congo - Gabon</a></td><td class="score"><strong>0:1</strong></td><td class="last-cell nobr partial" colspan="3">(0:1, 0:0)</td></tr>
 </tr>
 <tr class="strong" data-dt="18,1,2014,19,00" data-def="0"><td class="time first-cell" >19:00</td><td class="left"><a href="/soccer/africa/african-nations-championship/matchdetails.php?matchid=EkRzqDAf" onclick="win(this.href,560,500,0,1); return false;">Burundi - Mauritania</a></td><td class="score"><strong>3:2</strong></td><td class="last-cell nobr partial" colspan="3">(1:1, 2:1)</td></tr>
 </tr>
 </tbody></table>

un risultato di questo genere, per tutte le tabelle della pagina.
da quello che ho letto ina ltri formu, è possibile estrarre diveri selementi dell html, nel mio caso mi servirebbero


Africa: African Nations Championship 16:00 Zimbabwe - Uganda 00:00 (0:0, 0:0)
Africa: African Nations Championship 19:00 Burkina Faso - Morocco 01:01 (0:1, 1:0)
Africa: African Nations Championship 16:00 Ghana - Libya 01:01 (1:0, 0:1)
Africa: African Nations Championship 19:00 Ethiopia - Congo 00:01 (0:0, 0:1)
Africa: African Nations Championship 18.01.2014
Africa: African Nations Championship 16:00 D.R. Congo - Gabon 00:01 (0:1, 0:0)
Africa: African Nations Championship 19:00 Burundi - Mauritania 03:02 (1:1, 2:1)

Grazie

[Anthony47]

Ciao Alan2014, benvenuto nel forum.
L' accesso al codice html non ti offre nessun vantaggio per riordinare il layout dei risultati come da te desiderato; puoi invece fare una cosa analoga tramite formule.
Parti dal layout della pagina dopo aver importato i risultati, che e' questo:


-usando formule che analizzano il contenuto delle colonne A:D (immagine precedente) puoi ottenere questo layout:


In F1 e' inserita la formula =A1
Le formule in F2, G2, H2, I2, J2 e K2 sono rispettivamente

Codice: Seleziona tutto

=SE(E(A2<>"";NON(VAL.NUMERO(A2));A1="");A2;SE(B2<>"";F1;""))

=SE(E(A1<>"";A2<>"";NON(VAL.NUMERO(A2)));A2;SE(E(G1<>"";B2<>"");G1;""))

=SE(VAL.NUMERO(A2);A2;"")

=SE(B2<>"";B2;"")

=SE(C2<>"";C2;"")

=SE(D2<>"";D2;"")


Quindi si copia F2:K2 e si incolla verso il basso.

Il codice html avrebbe consentito di impostare diversamente, e probabilmente in modo piu' mirato, l' importazione; ma la variazione del layout secondo me, in questo caso, rimane un lavoro da excel, macro o formule che sia.

In generale l' analisi del codice html consente di risolvere problemi di estrazione di testi e tabelle web anche generate tramite scripts (e quindi, per stessa ammissione di Microsoft, poco idonee a essere indirizzate tramite query web); per esempi di sviluppi sull' argomento vedi ad esempio queste discussioni:
viewtopic.php?f=26&t=100441
viewtopic.php?t=100428
viewtopic.php?f=26&t=97268#p558449
viewtopic.php?f=26&t=95343&start=20#p561186
viewtopic.php?f=26&t=97910
viewtopic.php?f=26&t=98113#p563731

Ciao

[Alan2014]

Grazie della pronta risposta e della soluzione da te suggerita, già è un passo avanti per me !
nello specifico, volevo entrare direttamente nel codice html, perchè alcune squadre, nella discrezione vengono troncate; esempio

nel seguente codice html:

<tr class="strong" data-dt="17,1,2014,2,10" data-def="1"><td class="time first-cell" >02:10</td><td class="left"><a href="/soccer/argentina/torneos-de-verano/matchdetails.php?matchid=lEUTXtv0" onclick="win(this.href,560,500,0,1); return false;"><span title="Independiente - Newells Old Boys">Independiente - Newells Old B...</span></a></td><td class="score"><strong>0:0</strong></td><td class="last-cell nobr partial" colspan="3">(0:0, 0:0)</td></tr>
</tr>

la macro giustamente mi restituisce :
Independiente - Newells Old B... (il nome della squadra troncato con i tre puntini)

ma io vorrei estrarre, anche in una cella seguente, dal codice <span title="Independiente - Newells Old Boys">Independiente - Newells Old B...</span>

la dicitura completa:
Independiente - Newells Old Boys
Il massimo sarrebe anche estrarre
data-dt="17,1,2014,2,10"

si può fare ?

[Flash30005]

Prova ad aprire un nuovo file xls
inserisci in un modulo questa macro
e avviala

Codice: Seleziona tutto

Sub ImportaWeb()
Set Ws1 = Worksheets("Foglio1")
Set Ws2 = Worksheets("Foglio2")
Ws2.Cells.Clear
 Ws1.Select
    Cells.Select
    Selection.Delete Shift:=xlUp
    Range("A1").Select
    With ActiveSheet.QueryTables.Add(Connection:= _
        "URL;http://www.betexplorer.com/results/soccer/?year=2014&month=01&day=17", _
        Destination:=Range("A1"))
        .Name = "?year=2014&month=01&day=17_1"
        .FieldNames = True
        .RowNumbers = False
        .FillAdjacentFormulas = False
        .PreserveFormatting = True
        .RefreshOnFileOpen = False
        .BackgroundQuery = True
        .RefreshStyle = xlInsertDeleteCells
        .SavePassword = False
        .SaveData = True
        .AdjustColumnWidth = True
        .RefreshPeriod = 0
        .WebSelectionType = xlEntirePage
        .WebFormatting = xlWebFormattingNone
        .WebPreFormattedTextToColumns = True
        .WebConsecutiveDelimitersAsOne = True
        .WebSingleBlockTextImport = False
        .WebDisableDateRecognition = False
        .WebDisableRedirections = False
        .Refresh BackgroundQuery:=False
    End With

UR1 = Ws1.Range("A" & Rows.Count).End(xlUp).Row
For RR1 = UR1 To 1 Step -1
If Ws1.Range("A" & RR1).Value = "Calendar" Then
Rows(RR1 & ":" & UR1).Delete
GoTo saltaRR11
End If
Next RR1
saltaRR11:

For RR1 = 2 To UR1
    Str1 = Ws1.Range("A" & RR1).Value
    If Len(Str1) < 6 Or Str1 = "" Then GoTo SaltaRR1
    UR2 = Ws2.Range("A" & Rows.Count).End(xlUp).Row + 1
    If Len(Str1) > Len(Replace(Str1, ":", "")) Then
        MioCamp = Ws1.Range("A" & RR1).Value
        If MMioCamp <> MioCamp Then
            MMioCamp = MioCamp
            For RR2 = RR1 + 1 To RR1 + 100
                StData = Ws1.Range("A" & RR2).Value
                If Len(StData) > Len(Replace(StData, ".", "")) Then
                    MstData = Replace(StData, ".", "/")
                    GoTo SaltaRR2
                End If
            Next RR2
SaltaRR2:
        End If
        Tr = 1
    End If
SaltaRR1:
    If Tr = 1 Then
    If Len(Str1) > Len(Replace(Str1, ",", "")) Then
    Ws2.Range("A" & UR2).Value = MMioCamp
    Ws2.Range("B" & UR2).Value = Format(CDate(MstData) & " " & CDate(Ws1.Range("A" & RR1).Value), "dd/mm/yyyy hh:mm")
    Ws1.Range("B" & RR1 & ":D" & RR1).Copy Destination:=Ws2.Range("C" & UR2)
    End If
    End If

Next RR1
Ws2.Columns("A:E").EntireColumn.AutoFit
Ws2.Select
End Sub


Ciao

EDIT ore 16:00 - modificata macro per aggiunta data

[Alan2014]

[quote="Flash30005"]Prova ad aprire un nuovo file xls
inserisci in un modulo questa macro
e avviala

Codice: Seleziona tutto

Sub ImportaWeb()



Grazie anche a te del supporto, ma non raggiungo il mio scopo in quanto prendendo sempre come esempio questo estratto di codice
<tr class="strong" data-dt="17,1,2014,2,10" data-def="1"><td class="time first-cell" >02:10</td><td class="left"><a href="/soccer/argentina/torneos-de-verano/matchdetails.php?matchid=lEUTXtv0" onclick="win(this.href,560,500,0,1); return false;"><span title="Independiente - Newells Old Boys">Independiente - Newells Old B...</span></a></td><td class="score"><strong>0:0</strong></td><td class="last-cell nobr partial" colspan="3">(0:0, 0:0)</td></tr>
</tr>
a me interesserebbe estrarre
data-dt="17,1,2014,2,10" , che non è sempre uguale (anche se parliamo dello stesso link), e non risolvo il problema dei 3 "..."

[raimea]

ciao
interessato all'argomento , ho provato la macro che preleva i risultati,
al momento mi si blocca qui:


ciao

[Flash30005]

@Alan2014

secondo me non hai provato la macro perché questo è il risultato


dove mi sembra ci sia tutto ciò che è stato richiesto e continuo a non capire perché continui ad usare il codice Html
Se ci sono frasi troncate ti consiglio di cambiare sito per scaricare i risultati ad esempio usare
questo dove hai tutte le squadre al completo

@Raimea
non capisco come mai ti dia errore
se non hai modificato nulla l'errore non dovrebbe esserci perché l'ho testata anche ora

ciao

[raimea]

ciao
questo il file che si inchioda
https://dl.dropboxusercontent.com/u/96374724/risultati.xls

ciao

[Flash30005]

Provato il tuo file e non si inchioda

Magari non usi IE come browser di default (?)

[raimea]

ciao
allora e mio pc con il settaggio delle date....
si uso IE, defolt...

quindi che devo fa ?

azz
mo riprovo

[Flash30005]

La data, ora etc deve essere quella europea

[raimea]

ciao

La data, ora etc deve essere quella europea

quindi usando IE come preferito, cosa /dove, devo settare x farle capire --> europea ?

ciao

[Flash30005]

No è il Pc che deve essere settato con data e ora europea in Pannello di controllo -> data e Ora
data dd/mm/aaaa
ora HH:mm

[raimea]

ciao
ok, sono entrato in pan.controllo e ho controllato settaggio -->paese lingua, questo come era e come e':


pur non avendo modif nulla ora la macro funziona correttamente...
e'... siiii... i segreti dei compuer...

ho visto che preleva i risult del giorno 18.1.14

---------
x newbie:
non sarebbe più corretto prelevare i risultati del giorno corrente ?

ciao

[Alan2014]

A me il foglio funziona perfettamente, e ti ringrazio dell'aiuto.
Riprendendo il discorso dell html, volevo giusto capire come prendere i dati dell html (contenuti in determinati tag) e scriverli sul foglio excel..

[Anthony47]

Nei link che avevo citato ci sono alcuni esempi di uso di aggancio al sorgente pagina e l' analisi del contenuto; li ripeto:
viewtopic.php?f=26&t=98113#p563731
viewtopic.php?f=26&t=100441
viewtopic.php?t=100428
viewtopic.php?f=26&t=97268#p558449
viewtopic.php?f=26&t=95343&start=20#p561186
viewtopic.php?f=26&t=97910

Ciao

[Alan2014]

Nei link che avevo citato ci sono alcuni esempi di uso di aggancio al sorgente pagina e l' analisi del contenuto; li ripeto:
viewtopic.php?f=26&t=98113#p563731
viewtopic.php?f=26&t=100441
viewtopic.php?t=100428
viewtopic.php?f=26&t=97268#p558449
viewtopic.php?f=26&t=95343&start=20#p561186
viewtopic.php?f=26&t=97910

Ciao

Scusate se insisto, ma non ci riesco proprio, nel senso che fino ad adesso riesco a prendere i dati e formattarli come indicato nei post precedenti, ma vorrei aggiungere, se possibile, due colonne dove sono presenti anche le informazioni presenti nel codice evidenziato:
<tr class="strong" data-dt="17,1,2014,2,10" data-def="1"><td class="time first-cell" >02:10</td><td class="left"><a href="/soccer/argentina/torneos-de-verano/matchdetails.php?matchid=lEUTXtv0" onclick="win(this.href,560,500,0,1); return false;"><span title="Independiente - Newells Old Boys">Independiente - Newells Old B...</span></a></td><td class="score"><strong>0:0</strong></td><td class="last-cell nobr partial" colspan="3">(0:0, 0:0)</td></tr>
</tr>

[Anthony47]

A scopo puramente dimostrativo ho sviluppato questa macro che legge i dati tramite codice html:

Codice: Seleziona tutto

Sub ProtoWeb()
'Vedi http://www.pc-facile.com/forum/viewtopic.php?f=26&t=101069
Dim IE, myItm, myTRColl, myTDColl, myTD, myTR, myTHColl, myTH, myTDate, myTRTxt
Dim I As Long, J As Long, KK As Long
'
offDay = Int(Now()) - 3    '<< Giorni di diff rispetto a "oggi"
'
urldate = "year=" & Year(offDay) & "&month=" & Format(offDay, "mm") & "&day=" & Format(offDay, "dd")
myUrl = "http://www.betexplorer.com/results/soccer/?" & urldate
'
Set IE = CreateObject("InternetExplorer.Application")
I = 0: J = 0: KK = 0
With IE
    .navigate myUrl
    .Visible = True
    Do While .Busy: DoEvents: Loop    'Attesa not busy
    Do While .readyState <> 4: DoEvents: Loop 'Attesa documento
End With
'
myStart = Timer  'attesa addizionale
Do
    DoEvents
    If Timer > myStart + 1 Or Timer < myStart Then Exit Do
Loop
'Leggi le tabelle su FoglioXX
Sheets("ALAN").Select     '<<< Vedi testo
Cells.ClearContents

Set mycoll = IE.document.getelementsbytagname("TABLE")
For Each myItm In mycoll

KK = 0
    Set myTRColl = myItm.getelementsbytagname("TR")
   
    For Each myTR In myTRColl
        If myTR.classname <> "nday first-row" And myTR.classname <> "nday" Then
            myTRTxt = myTR.outerhtml    '
           
            KK = KK + 1
    '        myTRTxt = myTR.innerhtml
            cercadt = InStr(1, myTRTxt, "data-dt=", vbTextCompare)
            cercadf = InStr(cercadt + 15, myTRTxt, ",", vbTextCompare)
            If cercadt > 0 And cercadf > cercadt Then
                myTDate = Replace(Mid(myTRTxt, cercadt + 9, cercadf - cercadt - 9), ",", "-")
            Else
                myTDate = ""
            End If
            Set myTHColl = myTR.getelementsbytagname("TH")
            If myTHColl.Length > 0 Then
                Cells(I + 1, J + 1) = myTHColl(0).innertext
            End If
            J = 1
            Set myTDColl = myTR.getelementsbytagname("TD")
            For Each myTD In myTDColl
                If J = 1 Then
                    If myTDate <> "" Then
                        Cells(I + 1, J + 1) = (myTDate) & "  " & (myTD.innertext)
                    Else
                        Cells(I + 1, J + 1) = myTD.innertext
                    End If
                Else
                    Cells(I + 1, J + 1) = myTD.innertext
                End If
                Cells(I + 1, 1).Select
                J = J + 1
            Next myTD
    'fase2, codice riciclato
            cercadt = InStr(1, myTRTxt, "<span title=", vbTextCompare)
            cercadf = InStr(cercadt + 12, myTRTxt, ">", vbTextCompare)
            If cercadt > 0 And cercadf > cercadt Then
                Cells(I + 1, J + 1) = Mid(myTRTxt, cercadt + 13, cercadf - cercadt - 14)
            End If
            I = I + 1: J = 0
        End If
    Next myTR

I = I + 2
Next myItm
IEQuit:
'Chiusura IE
IE.Quit
Set IE = Nothing
End Sub


In testa alla macro si puo' impostare la data a cui la query si riferira', come scarto rispetto alla data corrente; per prova io ho usato "-3".
Il foglio in cui i dati verranno raccolti si chiama "ALAN" e deve gia' esistere; il nome puo' essere cambiato nella riga marcata <<; all' avvio della macro il foglio VERRA' AZZERATO SENZA PREAVVISO.

Il risultato sara' come da immagine:

(Tasto dx, scegliere Visualizza immagine per vedere l' immagine completa)

Si tratta di un prototipo che oggi funziona; nulla garantisce che il sorgente della pagina cercata non cambiera' domani, la prossima settimana o il prossimo mese, ed e' certo che a quel punto ti tocchera' rivedere il codice.
Insomma hai qualche giorno per impratichirti.

Ciao

[Alan2014]

Grazie a tutti dell'impegno, siete magnifici..

sto facendo delle prove....


GRAZIE 1000