Python, verkkosivujen haku

pythonnoviisi

Miten tehdään ohjelma, jolla voisi luetella kaikkien annetun nettisivun alasivut? Siis jos vaikkapa annan osoitteeksi

http://keskustelu.suomi24.fi/ , niin se osaisi antaa muiden muassa sivun http://keskustelu.suomi24.fi/debate/3341 mutta ei sivua http://keskustelu.suomi24.fi/dekate/3341 Tai että sivua https://fi.wikipedia.org/wiki/17._tammikuutajjjjj ei oteta luetteloon mutta https://fi.wikipedia.org/wiki/17._tammikuuta otetaan. Varmaankin on olemassa tehokkaampikin tapa kuin kaikkien eri osoitteiden läpikäynti

4

162

Äänestä

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • aadfadadas

      1. Lataa sivu
      2. Parseta se
      3. Poimi linkit
      4. ???

      Sivujen lataamiseen löytyy kaikki tarvittava urllib2 -moduulista. Jos vähänkään monimutkaisemmasta on kyse niin on suositeltavaa käyttää Requests -moduulia joka tekee siitä inhimillisempää (http://docs.python-requests.org/en/latest/)

      Linkkien poimiminen onnistuu toki suoraan sivun datasta kaivelemallakin. Mutta miksi nähdä sitä vaivaa kun on olemassa Beautiful Soup? Parsetat sivun souppia käyttämällä ja sen kun poimit linkit DOM:sta
      http://www.crummy.com/software/BeautifulSoup/

      Ja jos johonkin oikeeseen tarpeeseen tulee niin kannattaa tarkistaa onko jotain valmista soveltuvaa jo olemassa.
      http://blog.adlibre.org/2011/06/03/extracting-all-links-website-using-wget/

      • pythonnoviisi

        Niin. Ajattelin lähinnä, että miten saan selville ne sivut, joihin ei ole linkkiä muilta sivuilta.

      • pythonnoviisi
      • aaaasdadsa

    Ketjusta on poistettu 0 sääntöjenvastaista viestiä.

    Takaisin ylös

    Luetuimmat keskustelut

    1. Tänään pyörit ajatuksissa enemmän, kun erehdyin lukemaan palstaa

      En saisi, silti toivon että sinä vielä palaat ja otetaan oikeasti selvää, hioituuko särmät ja sulaudummeko yhteen. Vuod
      Ikävä
      22
      5474

    2. Huomenta ihana

      Kauniskasvoinen ihanuus 😘 saan sut vielä
      Ikävä
      32
      4810

    3. Hei rakas...

      Miten on työpäivä sujunut? Rakastan sinua 💗
      Ikävä
      28
      2721

    4. Edelleen sitä on vaikea uskoa

      Että olisit oikeasti rakastunut muhun
      Ikävä
      34
      2344

    5. Toiveikas vai toivoton

      torstai? Ajatuksia?
      Ikävä
      37
      2058

    6. Vitsi mihin menit. Heti takasin.

      Mä näin sut tuu takasin! Oli kiire, niin en ehtiny sin perään!
      Ikävä
      15
      2008

    7. En ole koskaan kokenut

      Ennen mitään tällaista rakastumista. Tiedän että kaipaan sinua varmaan loppu elämän. Toivottavasti ei tarvitsisi vain ka
      Ikävä
      19
      1647

    8. Mukavaa päivää

      Mun rakkauden kohteelle ❤️ toivottavasti olet onnellinen
      Ikävä
      12
      1591

    9. Ei tämä etene ikinä

      Kun kumpikaan ei enää ota yhteyttä. Mä en ainakaan uskalla.
      Ikävä
      23
      1462

    10. Voi ei! Jari Sillanpää heitti keikan Helsingissä - Hämmästyttävä hetki lavalla...

      Ex-tangokuningas on parhaillaan konserttikiertueella. Hän esiintyi Savoy teatterissa äitienpäivänä. Sillanpää jakoi kons
      Suomalaiset julkkikset
      25
      1429
    Aihe
    TietosuojaselosteKäyttöehdotEvästeasetuksetSäännöt