Ignore:
Timestamp:
Mar 2, 2017, 2:09:05 AM (5 years ago)
Author:
obi
Message:

tithek upodate pornhub genre to awk is very faster

File:
1 edited

Legend:

Unmodified
Added
Removed
  • titan/mediathek/localparser_secret/pornhub.sh

    r40141 r40203  
    4545}
    4646
     47# comment block1 start
     48<<"COMMENT"
     49
     50<ul class="headerSubMenu">
     51 .
     52 <li class=" ">
     53 <a href="/video?c=28" onclick="ga('send', 'event', 'Header', 'click', 'Category 28');" alt="Reife Frauen">
     54 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
     55 <span>Reife Frauen</span>
     56 </a>
     57 </li>
     58 .
     59 <li>
     60 <a class="categoryDefault" href="/categories" onclick="ga('send', 'event', 'Header', 'click', 'Categories');">
     61 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/www-static/images/categories_seeall.gif" alt="See All" width="118" height="88">
     62 <span>Alle anzeigen</span>
     63 </a>
     64 </li>
     65</ul>
     66
     67TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genre 'categories'
     68/tmp/tithek/pornhub.genres.list
     69real    0m 1.07s
     70user    0m 0.39s
     71sys     0m 0.39s
     72TitanNit-ufs912:
     73
     74TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genreold 'categories'
     75/tmp/localcache/pornhub.genreold.categories.list
     76real    0m 19.03s
     77user    0m 4.71s
     78sys     0m 12.14s
     79TitanNit-ufs912:~#
     80
     81COMMENT
     82# comment block1 end
     83
    4784genre()
     85{
     86        if [ ! -e "$TMP/$FILENAME.list" ]; then
     87                $curlbin -o - $URL/$PAGE | awk -v SRC=$SRC -v NAME=$NAME \
     88                '
     89                        # 1. BEGIN variable setzen
     90                        BEGIN
     91                        {
     92                                # 2. setzt suchvariable auf 0 vor dem start
     93                                suche = 0
     94                                newpage = ""
     95                        }
     96                        # 3. eindeutige zeile vor ersten treffer
     97                        /<ul class=\"headerSubMenu\">/ \
     98                        {
     99                                # 4. suche erlauben ab dieser zeile
     100                                suche = 1
     101                                # 5. in naechste zeile springen
     102                                next
     103                        }
     104                        # 6. eindeutige zeile nach letzen treffer
     105                        /<\/ul>/ \
     106                        {
     107                                # 7. suche verbieten ab dieser zeile
     108                                suche = 0
     109                                # 8. in naechste zeile springen
     110                        next
     111                        }
     112                        # 9. eindeutige zeile nach letzen treffer backup fals erste nicht klappt
     113                        /categoryDefault/ \
     114                        {
     115                                # 10. suche verbieten ab dieser zeile
     116                                suche = 0
     117                                # 11. in naechste zeile springen
     118                    next
     119                        }
     120                        # 12. nextpage zeile
     121                        # /<a href=\"\/video?c=/ \
     122                        /<a href=\"\/video?/ \
     123                        {
     124                                if (suche == 1)
     125                                {
     126                                        # <a href="/video?c=28" onclick="ga.....>
     127                                        # 13. extrahiere den newpage pfad
     128                                        i = index($0, "href=\"") + 6
     129                            j = index(substr($0, i), "\"") - 1
     130                                        # 14. newpage = /video?c=28
     131                            newpage = substr($0, i, j)
     132                                        # 15. in naechste zeile springen
     133                                        next
     134                                }
     135                        }
     136                        # 16. erste zeile mit treffer
     137                        /<img class=\"/ \
     138                        {
     139                                if (suche == 1 && newpage != "")
     140                                {
     141                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
     142                                        # 17. extrahiere den titel alt="Reife Frauen"
     143                                        i = index($0, "alt=\"") + 5
     144                            j = index(substr($0, i), "\"") - 1
     145                                        # 18. titel = Reife Frauen
     146                            title = substr($0, i, j)
     147       
     148                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">     
     149                                        # 19. extrahiere den piclink data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184"
     150                                        i = index($0, "data-image=\"") + 12
     151                            j = index(substr($0, i), "\"") - 1
     152                                        # 20. pic = http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184
     153                            pic = substr($0, i, j)
     154                                       
     155                                        # 21. erstelle lokalen picname aus kleingeschriebenen titel
     156                                        # 22. titel = reife frauen
     157                                        picname = tolower(title)
     158       
     159                                        # 23. tausche leehrzeichen in punkte
     160                                        # 24. titel = reife.frauen
     161                            gsub(" ", ".", picname, picname)
     162       
     163                                        if (title != "")
     164                                        {
     165                                                # 25. in naechste zeile springen
     166                                                # 26. \x27 = single quotes
     167                                                print title "#" SRC " " SRC " search \x27" newpage "&page=\x27 1#" pic "#" picname ".jpg#" NAME "#0"
     168                                        }
     169                                       
     170                                        # 27. reset variables
     171                                        newpage = ""
     172                                        title = ""
     173                                        picname = ""
     174                                        pic = ""
     175                                        # 28. in naechste zeile springen
     176                                        next
     177                        }
     178                        }
     179                # 29. schreibe alles in die list datei
     180                ' >$TMP/$FILENAME.list
     181        fi
     182        # 30. gebe titan den list namen mit pfad zurueck
     183        echo "$TMP/$FILENAME.list"
     184}
     185
     186
     187genreold()
    48188{
    49189        if [ ! -e "$TMP/$FILENAME.list" ]; then
     
    156296        search) $INPUT;;
    157297        genre) $INPUT;;
     298        genreold) $INPUT;;
     299
    158300esac
Note: See TracChangeset for help on using the changeset viewer.