Non riesco più a scaricare le tabelle

[aggittoriu]

Ciao,

fino a due giorni fa, funzionava tutto correttamente. Ora non resco più a scaricare le tabelle dal sito bmbets.com. Ma non ho capito se sia un problema del mio pc o dipende dal sito.

Puoi dirmelo?

Purtroppo non mi ricordo come si chiamava la macro che mi avevi dato. Gli avevo cambiato nome . Ho fatto una ricerca e l'ultima che ho trovato dovrebbe essere la GetAllTablesLE. Ma non risulta, perchè è molto più corta.

Comunque il codice è questo:

Codice: Seleziona tutto

Sub GetImpQ(myUrl As String, Optional rNum0 As Long = 1, Optional cNum0 As Long = 1)
Dim TBColl As Object
Dim I As Long, J As Long, myTim As Single
Dim RNum As Long, CNum As Long
   
Dim TArr

If WPage Is Nothing Then
     Set WPage = CreateObject("Selenium.CHRomedriver")
End If

On Error Resume Next

WPage.Get myUrl
'
myTim = Timer
'
Set TBColl = WPage.FindElementsByTag("table")
RNum = rNum0: CNum = cNum0
'
For I = 1 To TBColl.Count               'Scan delle Tabelle presenti
    TArr = TBColl(I).AsTable.Data
    RNum = RNum + 1
    Cells(RNum, CNum).Value = "## Table " & I
    If (UBound(TArr) * UBound(TArr, 2)) > 0 Then
        Cells(RNum + 1, CNum).Resize(UBound(TArr), UBound(TArr, 2)).Value = TArr
    End If
    RNum = RNum + UBound(TArr) + 1
    DoEvents
Next I
Debug.Print "FINE", RNum, Format(Timer - myTim, "0.00"), myUrl
End Sub

Un link a caso per una prova invece

Codice: Seleziona tutto

https://www.bmbets.com/football/colombia/primera-a/deportes-tolima-v-fortaleza-7271143/

A me non si apre più la tabella con le quote. Fa in tempo a scaricare solo le squadre e la data, ma senza quote.

[Anthony47]

Usando il codice della GetImpQ e richiamandola con la macro che segue io ottengo in risposta un elenco di 4 tabelle, di cui la Tabella#4 e' posizionata su riga 95 con quelle che sembrano quotazioni

Codice: Seleziona tutto

Sub tttt()
Call GetImpQ("https://www.bmbets.com/football/colombia/primera-a/deportes-tolima-v-fortaleza-7271143/")
wPage.Quit
Set wPage = Nothing
End Sub

Tipo questi dati:

Codice: Seleziona tutto

1   X   2   Payout
1,7   3,6   5,5   0,9544
1,57   3,65   5,9   0,9256
1,55   3,6   7   0,9383
1,7   3,48   6,14   0,963
1,62   3,65   6   0,9452
1,6   3,45   6,5   0,9357
1,67   3,5   5,4   0,9348
1,68   3,5   5,25   0,9333
1,7   3,55   5,5   0,9508
1,65   3,35   5,05   0,907
1,68   3,6   7,2   0,9882
1,65   3,45   5,2   0,9189
etc etc


Insomma forse i dati sono solo poco visibili sul foglio...

[aggittoriu]

Ok. Grazie!

No. A me non va più. Evidentemente il problema è nel mio PC. Perché fino a due giorni fa, funzionava tutto perfettamente. Ho anche provato ad aggiornare i driver per selenium, ma non è cambiato nulla. Boh... Chissà che avrà!

[Anthony47]

"Non va più" non significa niente...
Hai provato, per test, con la mia Sub tttt ?
Se fai un "Trova" con la stringa ## Table ti trova niente sul foglio?

[aggittoriu]

Si. Ho provato anche quella.

Se ne hai voglia, faccio prima a fartelo vedere, più che a spiegare. Si tratta di un video di 3 minuti e 45 secondi. Questo.

Nel video si vedono tre tentativi di scaricare le quote. Ma la tabella con le quote non si apre mai. Al terzo tentativo è lì lì per aprirsi, ma poi la pagina si aggiorna prima di riuscire a visualizzare le quote. Ed è sempre così.

Alla fine si vede che gli unici dati scaricati sono nomi delle squadre e data e orario della partita.

Forse dovrei controllare qualche impostazione di excel? Boh... ma quale?

[Anthony47]

Il problema e' che aprendo la pagina web a quell'indirizzo io non vedo granchè:


Insomma anche se vedo una cosa diversa dalla tua non vedo proprio la tabella con le quote, ma una tabella con 3 righe * 2 colonne, che a me la macro impiega mezzo secondo a scaricare.
Vedo pero' (al minuto 1:27 del filmato) che le partite sono datate 21-gennaio: ma un sito di scommesse pubblica le quote per partite che sono gia' avvenute?
Non sono del mestiere, e sono sicuro che non ci sono settaggi di excel che impattano il comportamento di una pagina web; insomma sono incapace di fare ipotesi...

Ciao

[aggittoriu]

Non vedi le quote perché massimo dopo due giorni dalla data dell' incontro, non vengono più pubblicate. Quindi dovresti utilizzare un altro link di un'altra partita, che sia ancora da disputare o che non si sia giocata da più di due giorni. Fa lo stesso. E così le vedi.
Io prendo quelle già giocate, perché sono ancora in fase di test. Stabilisco delle regole, faccio una simulazione e solo se ottengo dei risultati apprezzabili, inizio a scommettere. Altrimenti no. Ecco perché mi servono le quote delle partite già disputate.
Però... se a me non va... ci sarà qualcosa da settare in modo diverso. Boh!

[Anthony47]

Forse dovresti pubblicare tutto il codice interessato, perche' io non so di quali partite parli quindi posso solo partire da quel che pubblichi

[aggittoriu]

Ok. Ho cercato di togliere tutto quello non necessario per semplificare al massimo.

I file sono questi.

Se vuoi fare una prova:

- Apri Ris.Live.xlsm
- Nella colonna L, clicca sul tasto reset
- Copia il link della cella Q3
- Apri Firefox, incollalo e apri quella pagina.
- Aspetta che finisca di caricarsi. Poi riincolla il link e riapri quella pagina, perché tanto quella di prima era la pagina sbagliata.
- Seleziona tutto e copia.
- Poi torna su Ris.Live.xlsm e clicca sul tasto Dati, sempre in colonna L.
- Poi apri Ris.Live - Importa.xlsm e clicca sul pulsante ImpQ. Dovrebbe scaricare le quote delle partite selezionate prima. Ma a me, non lo fa più. A te?

[aggittoriu]

Appena spento il pc, mi è subito venuto in mente che senza la colonna dove andre a prendere i nomi dei tornei, la macro Dati non poteva funzionare. Allora metto qui il file aggiornato.

Non volevo farti perdere tempo. Avrò provato una cinquantina di volte a loggarmi per avvertirti, ma anche questo forum non andava. Mi loggavo, provavo ad aggiungere una risposta e mi si diceva che prima dovevo loggarmi.

Ora rifunziona tutto correttamente.

[Anthony47]

Si, avevo provato il file ed era evidente che mancasse un foglio "cruciale".

Comunque avevo superato la raccolta dati fatta dal file "monco" raccogliendo manualmente alcuni link di partite visualizzate sulla pagina https://www.bmbets.com/matches/football/20240124 (Q3 del file Ris.Live.xlsm) e li ho inseriti in G7:G8 sul file Ris.Live - Importa.xlsm, cancellando tutti gli altri dati. In particolare ho usato:
https://www.bmbets.com/football/brazil/ ... s-7287180/
https://www.bmbets.com/football/brazil/ ... o-7287276/

Ho potuto quindi testare la Sub ImpQ.
A questo punto dal mio punto di vista il problema e' che aprendo questi link talvolta la pagina web non si completa e rimane aperta sul messaggio:
IMPORTANT! As bookmakers have different betting rules we recommend you check bookmaker’s site rules and review its safety before placing a bet

Se la pagina non si completa la macro non puo' fare granche'

A me e' capitato 2 volte su 40-50 prove fatte. Chiudendo la pagina Chrome e rieseguendo la macro sarebbe quindi possibile recuperare correttamente i dati; purtroppo nella Sub ImpQ e' presente l'istruzione

Codice: Seleziona tutto

If Cells(6, (I * 5) + 6) <> "Bookmaker" Then GoTo Ancora


che ripete all'infinito il tentativo di lettura senza nessun time out.
Questa istruzione va eliminata dalla Sub ImpQ

Quando la Sub ImpQ si completa regolarmente (perche' la pagina web si e' correttamente e completamente formata), essa importa da colonna K, per ognuna delle 2 partite, 4 tabelle che occupano fino a riga 109.
Esaminando il sorgente html delle due pagine, esse effettivamente contengono 4 tabelle, di cui la #3 invisibile, il cui contenuto e' pari a quello che viene mostrato nel foglio Excel.

Guardando il risultato, il problema che emerge e' che ora (non so come era in passato) la tabella con bookmakers + relative quote e' suddivisa (nella pagina web) in due <Table> che poi vengono visualizzate affiancate, per cui le quote le dovresti (su excel) guardare affiancando l'elenco da K5 in giu' (la ## Table 2) con l'altro elenco presente da L78 in giu' (la ## Table 4)

Anticipando la tua prossima richiesta , ho quindi modificato (nel file Ris.Live - Importa.xlsm) la Sub GetImpQ in modo da importare solo le tabelle 2 e 4 affiancate per riprodurre la tabella visibile sulla pagina web.
Il nuovo codice:

Codice: Seleziona tutto

Sub GetImpQ2n4(myUrl As String, Optional rNum0 As Long = 1, Optional cNum0 As Long = 1)
Dim TBColl As Object
Dim I As Long, J As Long, myTim As Single
Dim RNum As Long, CNum As Long, GetArr
'
Dim TArr
On Error Resume Next
'
WPage.Get myUrl
'
myTim = Timer
'
Set TBColl = WPage.FindElementsByTag("table")
RNum = rNum0: CNum = cNum0
'
GetArr = Array(4, 2)                            'Le tabelle richieste
RNum = RNum + 1
For I = 0 To 1   ' To TBColl.Count               'Importa le Tabelle richieste
    TArr = TBColl(GetArr(I)).AsTable.Data
        Cells(RNum, CNum).Value = "## Table " & I
        If (UBound(TArr) * UBound(TArr, 2)) > 0 Then
            Cells(RNum + 1, CNum).Resize(UBound(TArr), UBound(TArr, 2)).Value = TArr
        End If
    DoEvents
Next I
Debug.Print "FINE", RNum, Format(Timer - myTim, "0.00"), myUrl
End Sub


La precedente Sub GetImpQ puo' essere cancellata.
La nuova Sub funzionera' fino a che il gestore del sito bmbets.com non decidera' di cambiare la struttura dei dati; cosa che puo' avvenire domani, la prossima settimana, il prossimo mese, etc etc
Avendo cambiato il nome della Sub va anche cambiata l'istruzione che la richiama: all'interno della Sub ImpQ, la riga Call GetImpQ (myUrl, 1, (I * 5) + 6) va sostituita con

Codice: Seleziona tutto

Call GetImpQ2n4(myUrl, 1, (I * 6) + 6)


Prova apportando le suddette modifiche sulle macro del file Ris.Live - Importa.xlsm

Ciao

[aggittoriu]

dal mio punto di vista il problema e' che aprendo questi link talvolta la pagina web non si completa e rimane aperta sul messaggio:
IMPORTANT! As bookmakers have different betting rules we recommend you check bookmaker’s site rules and review its safety before placing a bet

Ma infatti il mio problema è proprio questo. A te e' capitato 2 volte su 40-50 prove fatte. A me capitava così fino a qualche giorno fa. Ora capita sempre. E non riesco a scaricare niente.

Il codice

Codice: Seleziona tutto

If Cells(6, (I * 5) + 6) <> "Bookmaker" Then GoTo Ancora

serviva proprio per quel motivo. Ossia, quando non si apriva completamente la pagina, ci riprovava, ci riusciva, me la scaricava, poi andava avanti con gli altri dati. Senza quel codice, dovevo sempre andare a cercarmi cosa non aveva scaricato, correggere tutto a mano, ecc. Con quel codice avevo risolto.

Però, perchè a me non mi si aprono più le pagine e a te non ti si aprono solo 2 volte su 40-50? Ci sarà qualche strano settaggio di excel da correggere?

Per il resto, ho già tutto il codice che mi serve. Magari scritto un po' alla carlona come lo scrivo io. Ma funziona e lo capisco, quindi lo posso anche modificare a mio piacimento.

[Anthony47]

Se il browser non apre la pagina e' qualcosa che riguarda il browser e la pagina che deve essere aperta; Excel si limita ad aspettare pazientemente che il driver di Chrome gli dica "la pagina e' pronta", intanto
Ma se provi ad aprire sul tuo browser la pagina https://www.bmbets.com/football/brazil/ ... s-7287180/ te la apre regolarmente?

[aggittoriu]

Si. Ci mette sempre un po', ma poi la apre. Infatti il piano B sarebbe quello di fare copia e incolla di tutte le varie pagine. Però... che noia!

[Anthony47]

Prova con Edge:
-devi installare il driver Edge (vedi viewtopic.php?f=26&t=112225#p659460)
-devi modificare in testa la Sub ImpQ come segue:

Codice: Seleziona tutto

If WPage Is Nothing Then
'    Set WPage = CreateObject("Selenium.CHRomedriver")       ' 1
    Set WPage = CreateObject("Selenium.Webdriver")          ' 2
End If

Range("J:AAA").ClearContents
Range("FA:FK").ClearContents


'WPage.Start "chrome"                                        ' 11
WPage.Start "edge"                                          ' 22


For I = 1 To Range("h5").Value
'etc etc


La rig1 "1" va sostituita con la "2"; poi inserisci la 11 se vuoi lavorare con Chrome o la 22 se vuoi lavorare con Edge.
A me non cambia niente, salvo che stamattina le pagine sono mooolto piu' lente di ieri sera a caricarsi (ma si sono caricate in tutte le prove che ho fatto, una ventina), indipendentemente dal browser usato.


Poi finche' il browser non ha finito di caricare la pagina la macro rimane in paziente attesa e non puo' fare granche':


Solo quando la "rotella" 1 smette di girare e la 2 smette di essere "X" la macro riprende il controllo

Confermo che l'istruzione If Cells(6, (I * 5) + 6) <> "Bookmaker" Then GoTo Ancora non fa nulla di utile ma puo' fare solo danni, quindi va eliminata; e la nuova Sub GetImpQ2n4 importa regolarmente la tabella con le quote, se la pagina web risponde.

Ho anche notato che molto spesso la tabella e' correttamente visibile sulla pagina web ma la "rotella" (1 nell'immagine) continua a girare e la X (2, nell'immagine) e' ancora presente a lungo: ma se nel frattempo si clicca manualmente la X (per stoppare il browser) la tabella viene importata lo stesso (senza aspettare secondi e secondi che la X scompaia da sola)
Ma la macro non puo' cliccare la X

[aggittoriu]

Ieri avevo problemi con la connessione e non ho potuto provare. Lo farò stasera.

Non capisco però quando dici

finche' il browser non ha finito di caricare la pagina la macro rimane in paziente attesa e non puo' fare granche'

Non rimane in attesa. Se lo facesse, non ci sarebbero problemi. Invece va avanti prima che le tabelle con le quote vengano caricate.
Se mi funzionasse regolarmente tutto come prima, ti farei vedere la differenza con e senza l'istruzione

Codice: Seleziona tutto

If Cells(6, (I * 5) + 6) <> "Bookmaker" Then GoTo Ancora

Ma ora... mi puoi solo credere sulla parola.

la macro non puo' cliccare la X

In realtà ci sono delle macro anche per quello. Io ad esempio usavo Auto Mouse Clicker. Poi è diventato a pagamento e l'ho mollato. Ma ne esistono altri gratuiti. Quindi, chissà...

[Anthony47]

Parlo per quello che ho visto:
1) qualche rara volta la pagina rimane impallata col messaggio IMPORTANT! As bookmakers have different etc etc (mi sara' successo 2-3 volte in tutto su centinaia di prove
2) quasi sempre la pagina dopo aver assemblato le tabelle rimane a fare non so che cosa con "la rotella" che gira e gira e gira anche per 10-20 secondi prima che la "x" si trasformi nell'icona di "ricarica pagina" e la macro possa importare la tabella (In questi casi se l'operatore preme la "x" la pagina viene dichiarata ready e la macro importa regolarmente)

Nella situazione che tu vedi (cioe' la pagina ferma con il messaggio IMPORTANT! Etc etc) l'istruzione Then GoTo Ancora non si arrivera' mai ad eseguirla.
Potrebbe servire se la pagina web si completasse pero' senza presentare, per errore ed occasionalmente, le tabelle: in questo caso ripetendo l'accesso alla pagina probabilisticamente l'errore non si presenterebbe e le tabelle verrebbero importate.

Non capisco però quando dici

finche' il browser non ha finito di caricare la pagina la macro rimane in paziente attesa e non puo' fare granche'

Non rimane in attesa. Se lo facesse, non ci sarebbero problemi. Invece va avanti prima che le tabelle con le quote vengano caricate

.
Ma nel video che avevi pubblicato si vede proprio la pagina web che si impalla sul messaggio IMPORTANT! Etc etc da cui non esce.


Aggiungo pero' un caso alle cose che ho visto:
3) Talvolta la pagina web non presenta la tabella con le quote, ma quello che avevo pubblicato qui: viewtopic.php?f=26&p=666140#p666078
In questi casi la presenza dell'istruzione If Cells(6, (I * 5) + 6) <> "Bookmaker" Then GoTo Ancora impallava la macro, perche' l'accesso alla stessa pagina web veniva ripetuta e ripetuta senza che cambiasse il risultato

Insomma la Sub ImpQ per quello che ho sperimentato:
-chiede a Chrome di aprire una pagina web
-quando Chrome dice "ho finito" la macro raccoglie le tabelle
-se la pagina non "finisce" la macro aspetta pazientemente
-se la pagina finisce, le tabelle che ci sono vengono importate

Infine c'e' da ricordare che il sito oggi (non so in passato) presenta i suoi risultati dividendo i dati che ti interessano in due tabelle, che la Sub GetImpQ (per sua impostazione) raccoglie una in coda all'altra, quindi senza l'immediata associazione Bookmaker <-> Quote.
La sua sostituzione con la nuova Sub GetImpQ2n4 consente di raccogliere la tabella leggibile. Sempre se la pagina web si completa e le tabelle sono lì presenti.

Quando puoi prova con Edge
Ciao

[aggittoriu]

No, niente. Anche con Edge è la stessa cosa.

Ma se a te funziona e a me no, evvidentemente è un problema del mio pc e non di excel. Infatti ci mette un'eternità ad accendersi ed essere operativo. E spesso si scollega senza un perchè e devo riaviarlo per riuscire a connettermi di nuovo. E anche per questi problemi non so come venirne a capo.

Per il resto:
sull'istruzione Then GoTo Ancora

Potrebbe servire se la pagina web si completasse pero' senza presentare, per errore ed occasionalmente, le tabelle: in questo caso ripetendo l'accesso alla pagina probabilisticamente l'errore non si presenterebbe e le tabelle verrebbero importate.

è proprio quello che succede. Ripeto. Te lo farei vedere, ma non posso, perchè ormai a me non si aprono più le tabelle con le quote.

Talvolta la pagina web non presenta la tabella con le quote

Dopo due giorni, le quote non vengono rese più disponibili.

La mia Sub ImpQ completa è quella qui sotto. Te l'avevo tagliata per non farti perdere tempo con del codice che non serviva a rispondere alla mia richiesta.

Codice: Seleziona tutto

Sub ImpQ()

Start = Time

Range("J:U").ClearContents

Range("I5").Value = "1X2"
 Range("C7:G1000") = Workbooks("Ris.Live.xlsm").Worksheets("Partite").Range("C7:G1000").Value

Windows("Ris.Live.xlsm").Close

Application.Calculation = xlManual


Dim myBet As String, myUrl As String

If WPage Is Nothing Then
   
    Set WPage = CreateObject("Selenium.CHRomedriver")
End If

Range("J:AAA").ClearContents
Range("FA:FK").ClearContents


WPage.Start "chrome"


For I = 1 To Range("h5").Value

Range("A1").Value = I

Ancora:

myUrl = Range("G" & I + 6).Value
Call GetImpQ(myUrl, 1, (I * 5) + 6)

Range("A2").Value = Format(Time - Start, "hh:mm:ss")
Range("A3").Value = (Range("A2").Value / I) * (Range("H5").Value - I)
Range("A5").Value = Format(Now + Range("A3").Value, "hh:mm:ss")

If Cells(6, (I * 5) + 6) <> "Bookmaker" Then GoTo Ancora


Next I

SQuit:
WPage.Quit

Set WPage = Nothing
    Application.Calculation = xlAutomatic
   
    For J = 1 To Range("H5").Value
 
    Range(Cells(6, (J * 5) + 7), Cells(6, (J * 5) + 9)).Select
    Range(Selection, Selection.End(xlDown).Offset(-1, 0)).Delete Shift:=xlUp
   
    ' Mettere i nomi di ciascuna partita, sopra le rispettive quote
    Range(Cells(4, J * 5 + 7), Cells(4, J * 5 + 9)).Value _
    = Range(Cells(J + 6, 4), Cells(J + 6, 7)).Value
   
    Range(Cells(1, 11), Cells(3, Range("H5").Value * 5 + 9)).ClearContents

    Next J
   
    ' Cancella cianfrusaglie sotto le quote
    For I = 1 To Range("H5").Value
        Cells(100, 10 + 5 * I - 1).End(xlUp).Offset(1, -3).Select
            Range(Selection, Cells(1048576, 5 * I + 10).End(xlUp)).ClearContents
    Next I
   
   ' Incolonna tutte le partite con rispettive quote
    For I = 1 To Range("H5").Value - 1
        Range(Cells(4, 11 + I * 5), Cells(100, 11 + I * 5).End(xlUp).Offset(0, 4)).Cut
            Range("K10000").End(xlUp).Offset(3, 0).Activate
                ActiveSheet.Paste
    Next I
   
  Range("A1").Select
                 
   'Trascrivo le quote e il palinsesto su Ris.Live.xlsm 1X2
          Workbooks.Open Filename:="C:\Users\Samuele\Desktop\Arbitraggio Sportivo\Ris.Live.xlsm", ReadOnly:=False
   
    Sheets("1X2").Select
     Range("FF6:FI1000") = Worksheets("Partite").Range("C7:F1001").Value
         Range("ED8").Value = "1X2"
         Range("EK6").Value = "1X2"
         
        Range("EH8").Value = "1"
        Range("EI8").Value = "X"
        Range("EJ8").Value = "2"
   

 Range("FK4:FN4000") = Workbooks("Ris.Live - Importa.xlsm").Worksheets("ImpQ").Range("K4:N4000").Value
Stop   ' Inutile andare più avanti di qui, tanto la sub Pronostici1X2 non c'è nel file pubblicato
 Call Pronostici1X2
   
    Range("FK6").FormulaR1C1 = "=MAX(C[-5])"
 
     For K = 1 To Range("FK6").Value
     
     Range("EG7").Value = K
     Call Sposta1X2
     
     Next K
            Sheets("1X2").Range("M1").Select
     
MsgBox "Tempo: " & Format(Time - Start, "hh:mm:ss")

End Sub



Le quote vengono riordinate in poche colonne, per poi poterle richiamare e analizzare in una tabella, partita per partita. Da lì estrapolare un pronostico. Verificare se il pronostico viene indovinato o meno. Archiviare i saldi di ciascuna scommessa. Calcolare il saldo totale. E in base a quei dati, suggerire quale sarebbe il modo migliore per calcolare i prossimi pronostici.

Ma non pubblico tutto. Questo è solo per dire che ho già tutto. Non ho bisogno di altre macro. Il mio solo ed unico problema è che queste maledette tabelle con le quote, non si aprono più.

[aggittoriu]

Alleluja il Signore!
Alleluja il Signore!
Alleluja il Signore!

Ho provato con il ripristino di sistema. Mi ha trovato il file System danneggiato. Me l'ha corretto (credo). E ora funziona tutto come prima. Con la dritta in più di cliccare sulla crocetta per fare prima.

Per me quindi questa discussione si può chiudere qui e considerare risolta (speriamo!).

Grazie di tutto!

[Anthony47]

Partecipo con gioia alla tua gioia: Alleluia al Signore