source: titan/mediathek/localparser_secret/pornhub.sh @ 40306

Last change on this file since 40306 was 40306, checked in by obi, 4 years ago

[tithek] Pornhub add Pornstars section

  • Property svn:executable set to *
File size: 23.7 KB
Line 
1#!/bin/sh
2# first sh box parser for titannit mfg obi
3
4. /tmp/localhoster/hoster.sh
5
6SRC=$1
7INPUT=$2
8PAGE=$3
9NEXT=$4
10PARSER=`echo $SRC | tr '/' '\n' | tail -n1 | sed 's/.sh//'`
11
12FILENAME="`echo $SRC | tr '/' '\n' | tail -n1 | sed 's/.sh//'` $INPUT $PAGE $NEXT"
13FILENAME="`echo $FILENAME | sed -e 's/\&\+/./g' -e 's#\/\+#.#g' -e 's/\?\+/./g' -e 's/;\+/./g' -e 's/=\+/./g' -e 's/ \+/./g' -e 's/\.\+/./g'`"
14PICNAME=`echo $FILENAME`
15
16if [ -z "$FILENAME" ]; then
17        FILENAME=none
18fi
19
20URL=http://www.pornhub.com
21NAME="Pornhub"
22
23mkdir $TMP > /dev/null 2>&1
24
25if [ `echo $SRC | grep ^"/mnt/parser" | wc -l` -gt 0 ];then
26        TYPE="$SRC - Shell script"
27elif [ `echo $SRC | grep ^"/var/swap" | wc -l` -gt 0 ];then
28        TYPE="Swap - Shell script"
29elif [ `echo $SRC | grep ^"/mnt/swapextensions" | wc -l` -gt 0 ];then
30        TYPE="Mnt - Shell script"
31else
32        TYPE="Flash - Shell script"
33fi
34
35init()
36{
37        rm -rf $TMP > /dev/null 2>&1
38        echo "$NAME ($TYPE)#$SRC $SRC mainmenu#http://atemio.dyndns.tv/mediathek/menu/$PARSER.jpg#$PARSER.jpg#TiThek#1000"
39}
40
41mainmenu()
42{
43        echo "Genre#$SRC $SRC genre 'categories'#http://atemio.dyndns.tv/mediathek/menu/Movies.genre.jpg#Movies.genre.jpg#$NAME#0" >$TMP/$FILENAME.list
44        echo "Pornstars#$SRC $SRC pornstars '/pornstars?page=' 1#http://atemio.dyndns.tv/mediathek/menu/Movies.genre.jpg#Movies.genre.jpg#$NAME#0" >$TMP/$FILENAME.list
45        echo "Suchen#$SRC $SRC search 'video/search?search=%search%&page=' 1#http://atemio.dyndns.tv/mediathek/menu/search.jpg#search.jpg#$NAME#112" >>$TMP/$FILENAME.list
46        echo "$TMP/$FILENAME.list"
47}
48
49# comment block1 start
50<<"COMMENT"
51
52<ul class="headerSubMenu">
53 .
54 <li class=" ">
55 <a href="/video?c=28" onclick="ga('send', 'event', 'Header', 'click', 'Category 28');" alt="Reife Frauen">
56 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
57 <span>Reife Frauen</span>
58 </a>
59 </li>
60 .
61 <li>
62 <a class="categoryDefault" href="/categories" onclick="ga('send', 'event', 'Header', 'click', 'Categories');">
63 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/www-static/images/categories_seeall.gif" alt="See All" width="118" height="88">
64 <span>Alle anzeigen</span>
65 </a>
66 </li>
67</ul>
68
69TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genre 'categories'
70/tmp/tithek/pornhub.genres.list
71real    0m 1.07s
72user    0m 0.39s
73sys     0m 0.39s
74TitanNit-ufs912:
75
76TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genreold 'categories'
77/tmp/localcache/pornhub.genreold.categories.list
78real    0m 19.03s
79user    0m 4.71s
80sys     0m 12.14s
81TitanNit-ufs912:~#
82
83COMMENT
84# comment block1 end
85
86genre()
87{
88        if [ ! -e "$TMP/$FILENAME.list" ]; then
89                $curlbin -o - $URL/$PAGE | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME \
90                '
91                        # 1. BEGIN variable setzen
92                        BEGIN
93                        {
94                                # 2. setzt suchvariable auf 0 vor dem start
95                                suche = 0
96                                newpage = ""
97                                piccount = 0
98                        }
99                        # 3. eindeutige zeile vor ersten treffer
100                        /<ul class=\"headerSubMenu\">/ \
101                        {
102                                # 4. suche erlauben ab dieser zeile
103                                suche = 1
104                                # 5. in naechste zeile springen
105                                next
106                        }
107                        # 6. eindeutige zeile nach letzen treffer
108                        /<\/ul>/ \
109                        {
110                                # 7. suche verbieten ab dieser zeile
111                                suche = 0
112                                # 8. in naechste zeile springen
113                        next
114                        }
115                        # 9. eindeutige zeile nach letzen treffer backup fals erste nicht klappt
116                        /categoryDefault/ \
117                        {
118                                # 10. suche verbieten ab dieser zeile
119                                suche = 0
120                                # 11. in naechste zeile springen
121                    next
122                        }
123                        # 12. nextpage zeile
124                        # <a href=\"\/video?c=28
125                        /<a href=\"\/video?/ \
126                        {
127                                if (suche == 1)
128                                {
129                                        # <a href="/video?c=28" onclick="ga.....>
130                                        # 13. extrahiere den newpage pfad
131                                        i = index($0, "href=\"") + 6
132                            j = index(substr($0, i), "\"") - 1
133                                        # 14. newpage = /video?c=28
134                            newpage = substr($0, i, j)
135                                        # 15. in naechste zeile springen
136                                        next
137                                }
138                        }
139                        # 16. erste zeile mit treffer
140                        /<img class=\"/ \
141                        {
142                                if (suche == 1 && newpage != "")
143                                {
144                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
145                                        # 17. extrahiere den titel alt="Reife Frauen"
146                                        i = index($0, "alt=\"") + 5
147                            j = index(substr($0, i), "\"") - 1
148                                        # 18. titel = Reife Frauen
149                            title = substr($0, i, j)
150       
151                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">     
152                                        # 19. extrahiere den piclink data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184"
153                                        i = index($0, "data-image=\"") + 12
154                            j = index(substr($0, i), "\"") - 1
155                                        # 20. pic = http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184
156                            pic = substr($0, i, j)
157                                       
158                                        if ( pic == "" )
159                                        {
160                                                # 21. erstelle lokalen picname aus kleingeschriebenen titel
161                                                # 22. titel = reife frauen
162                                                picname = tolower(title)
163       
164                                                # 23. tausche leehrzeichen in punkte
165                                                # 24. titel = reife.frauen
166                                gsub(" ", ".", picname, picname)
167                                                pic = "http://atemio.dyndns.tv/mediathek/menu/" picname ".jpg"
168                                        }
169       
170                                        if (title != "")
171                                        {
172                                                piccount += 1
173                                                # 25. in naechste zeile springen
174                                                # 26. \x27 = single quotes
175                                                print title "#" SRC " " SRC " search \x27" newpage "&page=\x27 1#" pic "#" PICNAME "." piccount ".jpg#" NAME "#0"
176                                        }
177                                       
178                                        # 27. reset variables
179                                        newpage = ""
180                                        title = ""
181                                        picname = ""
182                                        pic = ""
183                                        # 28. in naechste zeile springen
184                                        next
185                        }
186                        }
187                # 29. schreibe alles in die list datei
188                ' >$TMP/$FILENAME.list
189        fi
190        # 30. gebe titan den list namen mit pfad zurueck
191        echo "$TMP/$FILENAME.list"
192}
193
194
195genreold()
196{
197        if [ ! -e "$TMP/$FILENAME.list" ]; then
198                piccount=0
199                $curlbin $URL/$PAGE -o $TMP/cache.$FILENAME.1
200                cat $TMP/cache.$FILENAME.1 | tr '\n' ' ' | sed 's/<a href=/\n\n\nfound=/g' | grep ^found= | grep "/video?c=" | tr '\t' ' ' | sed 's/ \+/ /g' | grep "img src" | grep ".jpg" >$TMP/cache.$FILENAME.2
201               
202                while read -u 3 ROUND; do
203                        PIC=`echo $ROUND | sed 's!<img src=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
204                        TITLE=`echo $ROUND | sed 's!data-mxptext=!\ntitle=!g' | grep ^title= | cut -d'"' -f2`
205                        NEWPAGE=`echo $ROUND | cut -d'"' -f2 | head -n1`
206       
207                        if [ -z "$PIC" ]; then
208#                               PIC="http://atemio.dyndns.tv/mediathek/menu/default.jpg"
209                                PIC="http://atemio.dyndns.tv/mediathek/menu/`echo $TITLE | tr 'A-Z' 'a-z'`.jpg"
210                        fi
211       
212                        TITLE=`echo $TITLE | sed -e 's/&#038;/&/g' -e 's/&amp;/und/g' -e 's/&quot;/"/g' -e 's/&lt;/\</g' -e 's/&#034;/\"/g' -e 's/&#039;/\"/g' -e 's/#034;/\"/g' -e 's/#039;/\"/g' -e 's/&szlig;/Ãx/g' -e 's/&ndash;/-/g' -e 's/&Auml;/Ã/g' -e 's/&Uuml;/ÃS/g' -e 's/&Ouml;/Ã/g' -e 's/&auml;/ä/g' -e 's/&uuml;/ü/g' -e 's/&ouml;/ö/g' -e 's/&eacute;/é/g' -e 's/&egrave;/è/g' -e 's/%F6/ö/g' -e 's/%FC/ü/g' -e 's/%E4/ä/g' -e 's/%26/&/g' -e 's/%C4/Ã/g' -e 's/%D6/Ã/g' -e 's/%DC/ÃS/g' -e 's/%28/(/g' -e 's/%29/)/g' -e 's/%3A/:/g' -e 's/%40/@/g' -e 's/%2B/&/g' -e 's/%C3/A/g' -e 's/%B1/&/g' -e 's/%5B//g' -e 's/%5D//g' -e 's!%2F!/!g' -e 's/|/ /g' -e 's/(/ /g' -e 's/)/ /g' -e 's/+/ /g' -e 's/\//-/g' -e 's/,/ /g' -e 's/;/ /g' -e 's/:/ /g' -e 's/\.\+/./g'`
213       
214                        if [ ! -z "$TITLE" ] && [ ! -z "$NEWPAGE" ];then
215                                if [ ! -e $TMP/$FILENAME.list ];then
216                                        touch $TMP/$FILENAME.list
217                                fi
218                                piccount=`expr $piccount + 1`
219       
220                                if [ `cat $TMP/$FILENAME.list | grep "#$NEWPAGE#" | wc -l` -eq 0 ];then
221                                        LINE="$TITLE#$SRC $SRC search '$NEWPAGE&page=' 1#$PIC#$FILENAME.$FILENAME.$NEXT.$piccount.jpg#$NAME#0"
222                                fi
223                                echo "$LINE" >> $TMP/$FILENAME.list
224                        fi
225       
226                done 3<$TMP/cache.$FILENAME.2
227                rm $TMP/cache.$FILENAME.* > /dev/null 2>&1
228        fi
229        echo "$TMP/$FILENAME.list"
230}
231
232# comment block1 start
233<<"COMMENT"
234
235                                                <ul class="nf-videos videos search-video-thumbs">
236                                                                                                                <li class="videoblock videoBox" id="33423702" _vkey="127170590" >
237<div class="wrap">
238.
239.
240 <div class="phimage">
241 <div class="preloadLine"></div>
242 <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
243 <div class="img videoPreviewBg">
244 <div class="marker-overlays">
245 <var class="duration">6:06</var>
246 <span class="hd-thumbnail">HD</span>
247 </div>
248
249 <img
250 src="http://cdn1b.static.pornhub.phncdn.com/www-static/images/blank.gif"
251 alt="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
252 data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201410/14/33423702/original/(m=ecuK8daaaa)5.jpg"
253 data-mediabook="http://cdn2b.video.pornhub.phncdn.com/videos/201410/14/33423702/180P_375K_33423702.webm?rs=150&ri=1000&s=1488442497&e=1488449697&h=46dd89a4b2712a5e40a7f065ebf157ad"
254 class="js-preload js-videoThumb js-videoThumbFlip thumb js-videoPreview"
255 width="150"
256.
257.
258                                                        </ul>
259
260root@TitanNit-dm900:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh searchold '/video?c=95&page=' 1
261/tmp/localcache/pornhub.searchold.video.c.95.page.1.list
262
263real    0m2.128s
264user    0m0.625s
265sys     0m1.452s
266
267root@TitanNit-dm900:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh search '/video?c=95&page=' 1
268/tmp/localcache/pornhub.search.video.c.95.page.1.list
269
270real    0m0.495s
271user    0m0.090s
272sys     0m0.114s
273
274COMMENT
275# comment block1 end
276
277search()
278{
279        if [ ! -e "$TMP/$FILENAME.list" ]; then
280                $curlbin -o - $URL$PAGE$NEXT | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME -v INPUT=$INPUT -v PAGE=$PAGE -v NEXT=$NEXT \
281                '
282                        # BEGIN variable setzen
283                        BEGIN
284                                {
285                                        # setzt suchvariable auf 0 vor dem start
286                                        suche = 0
287                                        newpage = ""
288                                        pages = "0"
289                                        piccount = 0
290                                }
291                                # <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
292                                /<li class=\"page_next_set\">/ \
293                                {
294                                        # da 2 pages sources geht keine variable ob schon gesetzt.
295                                        #if (pages == "0")
296                                        #{
297                                                # extrahiere die max pages unter 10 pages
298                                                i = index($0, "&amp;page=") + 10
299                                    j = index(substr($0, i), "\"") - 1
300                                    pages = substr($0, i, j)
301                                    # in naechste zeile springen
302                                                next
303                                        #}
304                                }
305                                # <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
306                                /<li class=\"page_number\">/ \
307                                {
308                                        # da 2 pages sources geht keine variable ob schon gesetzt.
309                                        #if (pages == "0")
310                                        #{
311                                                # extrahiere die max pages groesser 10 pages
312                                                i = index($0, "&amp;page=") + 10
313                                    j = index(substr($0, i), "\"") - 1
314                                    pages = substr($0, i, j)
315                                                # in naechste zeile springen
316                                                next
317                                        #}
318                                }
319                                # eindeutige zeile vor ersten treffer
320                                /<ul class=\"nf-videos videos search-video-thumbs\">/ \
321                                {
322                                        # suche erlauben ab dieser zeile
323                                        suche = 1
324                                        # in naechste zeile springen
325                                        next
326                                }
327                                # eindeutige zeile nach letzen treffer
328                                /<\/ul>/ \
329                                {
330                                        # suche verbieten ab dieser zeile
331                                        suche = 0
332                                        # in naechste zeile springen
333                                next
334                                }
335                                # eindeutige zeile nach letzen treffer backup fals erste nicht klappt
336                                /<ul class=\"searchRelatedList sectionContent clearfix\">/ \
337                                {
338                                        # suche verbieten ab dieser zeile
339                                        suche = 0
340                                        # in naechste zeile springen
341                            next
342                                }
343                                # nextpage zeile
344                                # <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
345                                /<a href=\"\/view_video.php?/ \
346                                {
347                                        if (suche == 1)
348                                        {
349                                                # extrahiere den newpage pfad
350                                                i = index($0, "href=\"") + 6
351                                    j = index(substr($0, i), "\"") - 1
352                                                # newpage = /view_video.php?viewkey=127170590
353                                    newpage = substr($0, i, j)
354       
355                                                # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
356                                                # extrahiere den titel title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
357                                                i = index($0, "title=\"") + 7
358                                    j = index(substr($0, i), "\"") - 1
359                                                # title = "Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
360                                    title = substr($0, i, j)
361                                                # in naechste zeile springen
362                                                next
363                                        }
364                                }
365                                # bildlink treffer
366                                # data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/....
367                                /data-mediumthumb=/ \
368                                {
369                                        if (suche == 1 && newpage != "")
370                                        {
371                                                # extrahiere den piclink data-image="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/............
372                                                i = index($0, "data-mediumthumb=\"") + 18
373                                    j = index(substr($0, i), "\"") - 1
374                                                # pic = http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/........
375                                    pic = substr($0, i, j)
376
377                                                if ( pic == "" )
378                                                {
379                                        pic = "http://atemio.dyndns.tv/mediathek/menu/default.jpg"
380                                                }
381
382                                                if (title != "")
383                                                {
384                                                        piccount += 1
385                                                        # in naechste zeile springen
386                                                        # \x27 = single quotes
387                                                        print title "#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
388                                                }
389               
390                                                # 27. reset variables
391                                                newpage = ""
392                                                title = ""
393                                                picname = ""
394                                                pic = ""
395                                                # 28. in naechste zeile springen
396                                                next
397                                }
398                                }
399                                # next page init
400                        END
401                                {
402                                        print "Page (" NEXT + 1 "/" pages ")#" SRC " " SRC " " INPUT " \x27" PAGE "\x27 " NEXT + 1 "#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#" NAME "#0"
403                                }
404                # 29. schreibe alles in die list datei
405                ' >$TMP/$FILENAME.list
406        fi
407        # 30. gebe titan den list namen mit pfad zurueck
408        echo "$TMP/$FILENAME.list"
409}
410
411
412searchold()
413{
414        if [ ! -e "$TMP/$FILENAME.list" ]; then
415                piccount=0
416
417                $curlbin $URL/$PAGE$NEXT -o $TMP/cache.$FILENAME.1
418                cat $TMP/cache.$FILENAME.1 | tr '\n' ' ' | sed 's/<a href=/\n\n\nfound=/g' | grep ^found= | grep "/view_video.php?viewkey=" | tr '\t' ' ' | sed 's/ \+/ /g' | grep "img src" >$TMP/cache.$FILENAME.2
419       
420#               <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
421                pages=`cat $TMP/cache.$FILENAME.1 | grep "&amp;page" | grep "page_next_set" | sed 's/&amp;page=/\nfound="/g' | grep ^found= | cut -d'"' -f2 | tail -n1`
422
423#               <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
424                if [ -z "$pages" ];then
425                        pages=`cat $TMP/cache.$FILENAME.1 | grep "page_number" | sed 's/&amp;page=/\nfound="/g' | grep ^found= | cut -d'"' -f2 | tail -n1`
426                fi
427
428                while read -u 3 ROUND; do
429                        PIC=`echo $ROUND | sed 's!data-mediumthumb=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
430#                       if [ -z "$PIC" ];then
431#                               PIC=`echo $ROUND | sed 's!data-path=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
432#                       fi
433
434                        TITLE=`echo $ROUND | sed 's!title=!\ntitle=!g' | grep ^title= | cut -d'"' -f2`
435                        NEWPAGE=`echo $ROUND | cut -d'"' -f2`   
436                        TITLE=`echo $TITLE | sed -e 's/&#038;/&/g' -e 's/&amp;/und/g' -e 's/&quot;/"/g' -e 's/&lt;/\</g' -e 's/&#034;/\"/g' -e 's/&#039;/\"/g' -e 's/#034;/\"/g' -e 's/#039;/\"/g' -e 's/&szlig;/Ãx/g' -e 's/&ndash;/-/g' -e 's/&Auml;/Ã/g' -e 's/&Uuml;/ÃS/g' -e 's/&Ouml;/Ã/g' -e 's/&auml;/ä/g' -e 's/&uuml;/ü/g' -e 's/&ouml;/ö/g' -e 's/&eacute;/é/g' -e 's/&egrave;/è/g' -e 's/%F6/ö/g' -e 's/%FC/ü/g' -e 's/%E4/ä/g' -e 's/%26/&/g' -e 's/%C4/Ã/g' -e 's/%D6/Ã/g' -e 's/%DC/ÃS/g' -e 's/%28/(/g' -e 's/%29/)/g' -e 's/%3A/:/g' -e 's/%40/@/g' -e 's/%2B/&/g' -e 's/%C3/A/g' -e 's/%B1/&/g' -e 's/%5B//g' -e 's/%5D//g' -e 's!%2F!/!g' -e 's/|/ /g' -e 's/(/ /g' -e 's/)/ /g' -e 's/+/ /g' -e 's/\//-/g' -e 's/,/ /g' -e 's/;/ /g' -e 's/:/ /g' -e 's/\.\+/./g'`
437       
438                        if [ ! -z "$TITLE" ] && [ ! -z "$NEWPAGE" ] && [ ! -z "$PIC" ];then
439                                if [ ! -e $TMP/$FILENAME.list ];then
440                                        touch $TMP/$FILENAME.list
441                                fi
442                                piccount=`expr $piccount + 1`
443
444                                if [ `cat $TMP/$FILENAME.list | grep "#$NEWPAGE#" | wc -l` -eq 0 ];then
445                                        LINE="$TITLE#$SRC $SRC hoster '$NEWPAGE'#$PIC#$FILENAME.$FILENAME.$NEXT.$piccount.jpg#$NAME#111"
446                                fi
447                                echo "$LINE" >> $TMP/$FILENAME.list
448                        fi
449       
450                done 3<$TMP/cache.$FILENAME.2
451
452                if [ "$NEXT" -lt "$pages" ]; then
453                        NEXTPAGE=`expr $NEXT + 1`
454                        LINE="Page ($NEXTPAGE/$pages)#$SRC $SRC search '$PAGE' $NEXTPAGE#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#$NAME#0"
455                        echo "$LINE" >> $TMP/$FILENAME.list
456                fi
457                rm $TMP/cache.$FILENAME.* > /dev/null 2>&1
458        fi
459        echo "$TMP/$FILENAME.list"
460}
461
462# comment block1 start
463<<"COMMENT"
464        <div class="wrap">
465                <div class="subscribe-to-pornstar-icon display-none">
466                        <button type="button" data-title="bei Pornostar anmelden" class="tooltipTrig" onclick="return false;" ><span></span></button>
467                </div>
468                <a class="js-mxp" data-mxptype="Pornstar" data-mxptext="Angela White" href="/pornstar/angela-white">
469                                                                        <span class="pornstar_label">
470                                <span class="title-album">Rangordnung:
471                                        <span class="rank_number">
472                                                44                                      </span>
473
474                                        <span class='icon rank-up'></span>                              </span>
475                        </span>
476                        <img src="https://ci.phncdn.com/pics/pornstars/000/005/553/(m=lciyeNbOb_c)(mh=uncWnVAyet2L8iyD)thumb_21641.jpg" alt="Angela White"/>
477                </a>
478                <div class="thumbnail-info-wrapper">
479                        <a href="/pornstar/angela-white" class="title js-mxp" data-mxptype="Pornstar" data-mxptext="Angela White" >Angela White</a>
480                        <span class="videosNumber">156 Videos                   8M Aufrufe </span>
481                </div>
482        </div>
483COMMENT
484# comment block1 end
485
486pornstars()
487{
488#echo $URL$PAGE$NEXT
489        if [ ! -e "$TMP/$FILENAME.list" ]; then
490                $curlbin -o - $URL$PAGE$NEXT | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME -v INPUT=$INPUT -v PAGE=$PAGE -v NEXT=$NEXT \
491                '
492                        # BEGIN variable setzen
493                        BEGIN
494                                {
495                                        # setzt suchvariable auf 0 vor dem start
496                                        suche = 0
497                                        newpage = ""
498                                        pages = "0"
499                                        piccount = 0
500                                }
501                                # <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
502                                /class=\"page_next_set\">/ \
503                                {
504#                               print "888888888" $0
505
506                                        # da 2 pages sources geht keine variable ob schon gesetzt.
507                                        #if (pages == "0")
508                                        #{
509                                                # extrahiere die max pages unter 10 pages
510#                                               i = index($0, "&amp;page=") + 10
511                                                i = index($0, "page=") + 5
512                                    j = index(substr($0, i), "\"") - 1
513                                    pages = substr($0, i, j)
514#                                   print "pages" pages
515                                    # in naechste zeile springen
516                                                next
517                                        #}
518                                }
519                                # <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
520                                /class=\"greyButton\">/ \
521                                {
522#                               print "77777777777" $0
523
524                                        # da 2 pages sources geht keine variable ob schon gesetzt.
525                                        #if (pages == "0")
526                                        #{
527                                                # extrahiere die max pages groesser 10 pages
528                                                i = index($0, "page=") + 5
529                                    j = index(substr($0, i), "\"") - 1
530                                    pages = substr($0, i, j)
531#                               print "pages" pages
532
533                                                # in naechste zeile springen
534                                                next
535                                        #}
536                                }
537                                # eindeutige zeile vor ersten treffer
538                                /<ul class=\"videos row-5-thumbs popular-pornstar\">/ \
539                                {
540#                               print "000000000000"
541
542                                        # suche erlauben ab dieser zeile
543                                        suche = 1
544                                        # in naechste zeile springen
545                                        next
546                                }
547                                # eindeutige zeile nach letzen treffer
548                                /<\/ul>/ \
549                                {
550                                        # suche verbieten ab dieser zeile
551                                        suche = 0
552                                        # in naechste zeile springen
553                                next
554                                }
555                                # eindeutige zeile nach letzen treffer backup fals erste nicht klappt
556                                /<div class="pagination3\">/ \
557                                {
558                                        # suche verbieten ab dieser zeile
559                                        suche = 0
560                                        # in naechste zeile springen
561                            next
562                                }
563                                # nextpage zeile
564                                # <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
565                                /<a href=\"\/pornstar\// \
566                                {
567#                               print "33333333333"
568                                        if (suche == 1)
569                                        {
570#                               print "44444444444"
571
572                                                # extrahiere den newpage pfad
573                                                i = index($0, "href=\"") + 6
574                                    j = index(substr($0, i), "\"") - 1
575                                                # newpage = /view_video.php?viewkey=127170590
576                                    newpage = substr($0, i, j)
577#                               print "newpage: " newpage
578
579                                                next
580                                        }
581                                }
582                                # bildlink treffer
583                                # data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/....
584                                /<img src=/ \
585                                {
586#                               print "11111111111"
587
588#                                       if (suche == 1 && newpage != "")
589                                        if (suche == 1)
590                                        {
591#                               print "222222222222"
592
593                                                # extrahiere den piclink data-image="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/............
594                                                i = index($0, "<img src=\"") + 10
595                                    j = index(substr($0, i), "\"") - 1
596                                                # pic = http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/........
597                                    pic = substr($0, i, j)
598
599                                                if ( pic == "" )
600                                                {
601                                        pic = "http://atemio.dyndns.tv/mediathek/menu/default.jpg"
602                                                }
603#                               print "pic: " pic
604
605
606                                                # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
607                                                # extrahiere den titel title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
608                                                i = index($0, "alt=\"") + 5
609                                    j = index(substr($0, i), "\"") - 1
610                                                # title = "Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
611                                    title = substr($0, i, j)
612                                                # in naechste zeile springen
613#                               print "title: " title
614
615#                                               if (title != "")
616#                                               {
617#                                                       piccount += 1
618#                                                       # in naechste zeile springen
619#                                                       # \x27 = single quotes
620#                                                       print title "#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
621#                                               }
622#               
623#                                               # 27. reset variables
624#                                               newpage = ""
625#                                               title = ""
626#                                               picname = ""
627#                                               pic = ""
628#                                               # 28. in naechste zeile springen
629#                                               next
630                                }
631                                }
632                                /<span class=\"videosNumber\">/ \
633                                {
634#                               print "55555555555"
635
636
637                                        if (suche == 1 && newpage != "")
638                                        {
639#                               print "66666666666"
640
641
642                                                i = index($0, "<span class=\"videosNumber\">") + 28
643                                    j = index(substr($0, i), "</span>") - 1
644                                                # <span class="videosNumber">1074 Videos                        40M Aufrufe </span>
645                                    extra = substr($0, i, j)
646                                                # in naechste zeile springen
647
648                                                # trim left "  Hallo   tester   "
649                                                gsub(/^[ \t]+/,"",extra)
650                                                # trim right "  Hallo   tester   "
651                                                gsub(/[ \t]+$/,"",extra)
652                                                # trim middle "  Hallo   tester   "
653                                                gsub(/\t+/," / ",extra)
654
655#                               print "extra: " extra
656
657                                                if (title != "")
658                                                {
659                                                        piccount += 1
660                                                        # in naechste zeile springen
661                                                        # \x27 = single quotes
662#                                                       print title " (" extra ")#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
663                                                        print title " (" extra ")#" SRC " " SRC " search \x27" newpage "&page=\x27 1#" pic "#" PICNAME "." piccount ".jpg#" NAME "#0"
664
665                                                }
666               
667                                                # 27. reset variables
668                                                newpage = ""
669                                                title = ""
670                                                picname = ""
671                                                pic = ""
672                                                # 28. in naechste zeile springen
673                                                next
674                                }
675                                }                               
676                                # next page init
677                        END
678                                {
679                                        print "Page (" NEXT + 1 "/" pages ")#" SRC " " SRC " " INPUT " \x27" PAGE "\x27 " NEXT + 1 "#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#" NAME "#0"
680                                }
681                # 29. schreibe alles in die list datei
682                ' >$TMP/$FILENAME.list
683        fi
684        # 30. gebe titan den list namen mit pfad zurueck
685        echo "$TMP/$FILENAME.list"
686}
687
688hoster()
689{
690#       rm $TMP/cache.$PARSER.$INPUT.* > /dev/null 2>&1
691#       /tmp/localhoster/hoster.sh youtube_dl $URL$PAGE > $TMP/cache.$PARSER.$INPUT.1
692#       STREAMURL=`cat $TMP/cache.$PARSER.$INPUT.1`
693#       echo $STREAMURL
694        echo $URL$PAGE
695}
696
697case $INPUT in
698        init) $INPUT;;
699        mainmenu) $INPUT;;
700        hoster) $INPUT;;
701        search) $INPUT;;
702        searchold) $INPUT;;
703        genre) $INPUT;;
704        genreold) $INPUT;;
705        pornstars) $INPUT;;
706
707esac
Note: See TracBrowser for help on using the repository browser.