source: titan/mediathek/localparser_secret/pornhub.sh @ 41869

Last change on this file since 41869 was 40312, checked in by obi, 7 years ago

fix

  • Property svn:executable set to *
File size: 25.7 KB
Line 
1#!/bin/sh
2# first sh box parser for titannit mfg obi
3
4. /tmp/localhoster/hoster.sh
5
6SRC=$1
7INPUT=$2
8PAGE=$3
9NEXT=$4
10PARSER=`echo $SRC | tr '/' '\n' | tail -n1 | sed 's/.sh//'`
11
12FILENAME="`echo $SRC | tr '/' '\n' | tail -n1 | sed 's/.sh//'` $INPUT $PAGE $NEXT"
13FILENAME="`echo $FILENAME | sed -e 's/\&\+/./g' -e 's#\/\+#.#g' -e 's/\?\+/./g' -e 's/;\+/./g' -e 's/=\+/./g' -e 's/ \+/./g' -e 's/\.\+/./g'`"
14PICNAME=`echo $FILENAME`
15
16if [ -z "$FILENAME" ]; then
17        FILENAME=none
18fi
19
20URL=http://www.pornhub.com
21NAME="Pornhub"
22
23mkdir $TMP > /dev/null 2>&1
24
25if [ `echo $SRC | grep ^"/mnt/parser" | wc -l` -gt 0 ];then
26        TYPE="$SRC - Shell script"
27elif [ `echo $SRC | grep ^"/var/swap" | wc -l` -gt 0 ];then
28        TYPE="Swap - Shell script"
29elif [ `echo $SRC | grep ^"/mnt/swapextensions" | wc -l` -gt 0 ];then
30        TYPE="Mnt - Shell script"
31else
32        TYPE="Flash - Shell script"
33fi
34
35init()
36{
37        rm -rf $TMP > /dev/null 2>&1
38        echo "$NAME ($TYPE)#$SRC $SRC mainmenu#http://atemio.dyndns.tv/mediathek/menu/$PARSER.jpg#$PARSER.jpg#TiThek#1000"
39}
40
41mainmenu()
42{
43        echo "Genre#$SRC $SRC genre 'categories'#http://atemio.dyndns.tv/mediathek/menu/Movies.genre.jpg#Movies.genre.jpg#$NAME#0" >$TMP/$FILENAME.list
44        echo "Pornstars#$SRC $SRC pornstars '/pornstars?page=' 1#http://atemio.dyndns.tv/mediathek/menu/pornstars.jpg#pornstars.jpg#$NAME#0" >>$TMP/$FILENAME.list
45        echo "Suchen#$SRC $SRC search '/video/search?search=%search%&page=' 1#http://atemio.dyndns.tv/mediathek/menu/search.jpg#search.jpg#$NAME#112" >>$TMP/$FILENAME.list
46        echo "$TMP/$FILENAME.list"
47}
48
49# comment block1 start
50<<"COMMENT"
51
52<ul class="headerSubMenu">
53 .
54 <li class=" ">
55 <a href="/video?c=28" onclick="ga('send', 'event', 'Header', 'click', 'Category 28');" alt="Reife Frauen">
56 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
57 <span>Reife Frauen</span>
58 </a>
59 </li>
60 .
61 <li>
62 <a class="categoryDefault" href="/categories" onclick="ga('send', 'event', 'Header', 'click', 'Categories');">
63 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/www-static/images/categories_seeall.gif" alt="See All" width="118" height="88">
64 <span>Alle anzeigen</span>
65 </a>
66 </li>
67</ul>
68
69TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genre 'categories'
70/tmp/tithek/pornhub.genres.list
71real    0m 1.07s
72user    0m 0.39s
73sys     0m 0.39s
74TitanNit-ufs912:
75
76TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genreold 'categories'
77/tmp/localcache/pornhub.genreold.categories.list
78real    0m 19.03s
79user    0m 4.71s
80sys     0m 12.14s
81TitanNit-ufs912:~#
82
83COMMENT
84# comment block1 end
85
86genre()
87{
88        if [ ! -e "$TMP/$FILENAME.list" ]; then
89                $curlbin -o - $URL/$PAGE | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME \
90                '
91                        # 1. BEGIN variable setzen
92                        BEGIN
93                        {
94                                # 2. setzt suchvariable auf 0 vor dem start
95                                suche = 0
96                                newpage = ""
97                                piccount = 0
98                        }
99                        # 3. eindeutige zeile vor ersten treffer
100                        /<ul class=\"headerSubMenu\">/ \
101                        {
102                                # 4. suche erlauben ab dieser zeile
103                                suche = 1
104                                # 5. in naechste zeile springen
105                                next
106                        }
107                        # 6. eindeutige zeile nach letzen treffer
108                        /<\/ul>/ \
109                        {
110                                # 7. suche verbieten ab dieser zeile
111                                suche = 0
112                                # 8. in naechste zeile springen
113                        next
114                        }
115                        # 9. eindeutige zeile nach letzen treffer backup fals erste nicht klappt
116                        /categoryDefault/ \
117                        {
118                                # 10. suche verbieten ab dieser zeile
119                                suche = 0
120                                # 11. in naechste zeile springen
121                    next
122                        }
123                        # 12. nextpage zeile
124                        # <a href=\"\/video?c=28
125                        /<a href=\"\/video?/ \
126                        {
127                                if (suche == 1)
128                                {
129                                        # <a href="/video?c=28" onclick="ga.....>
130                                        # 13. extrahiere den newpage pfad
131                                        i = index($0, "href=\"") + 6
132                            j = index(substr($0, i), "\"") - 1
133                                        # 14. newpage = /video?c=28
134                            newpage = substr($0, i, j)
135                                        # 15. in naechste zeile springen
136                                        next
137                                }
138                        }
139                        # 16. erste zeile mit treffer
140                        /<img class=\"/ \
141                        {
142                                if (suche == 1 && newpage != "")
143                                {
144                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
145                                        # 17. extrahiere den titel alt="Reife Frauen"
146                                        i = index($0, "alt=\"") + 5
147                            j = index(substr($0, i), "\"") - 1
148                                        # 18. titel = Reife Frauen
149                            title = substr($0, i, j)
150       
151                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">     
152                                        # 19. extrahiere den piclink data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184"
153                                        i = index($0, "data-image=\"") + 12
154                            j = index(substr($0, i), "\"") - 1
155                                        # 20. pic = http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184
156                            pic = substr($0, i, j)
157                                       
158                                        if ( pic == "" )
159                                        {
160                                                # 21. erstelle lokalen picname aus kleingeschriebenen titel
161                                                # 22. titel = reife frauen
162                                                picname = tolower(title)
163       
164                                                # 23. tausche leehrzeichen in punkte
165                                                # 24. titel = reife.frauen
166                                gsub(" ", ".", picname, picname)
167                                                pic = "http://atemio.dyndns.tv/mediathek/menu/" picname ".jpg"
168                                        }
169       
170                                        if (title != "")
171                                        {
172                                                piccount += 1
173                                                # 25. in naechste zeile springen
174                                                # 26. \x27 = single quotes
175                                                print title "#" SRC " " SRC " search \x27/" newpage "&page=\x27 1#" pic "#" PICNAME "." piccount ".jpg#" NAME "#0"
176                                        }
177                                       
178                                        # 27. reset variables
179                                        newpage = ""
180                                        title = ""
181                                        picname = ""
182                                        pic = ""
183                                        # 28. in naechste zeile springen
184                                        next
185                        }
186                        }
187                # 29. schreibe alles in die list datei
188                ' >$TMP/$FILENAME.list
189        fi
190        # 30. gebe titan den list namen mit pfad zurueck
191        echo "$TMP/$FILENAME.list"
192}
193
194
195genreold()
196{
197        if [ ! -e "$TMP/$FILENAME.list" ]; then
198                piccount=0
199                $curlbin $URL/$PAGE -o $TMP/cache.$FILENAME.1
200                cat $TMP/cache.$FILENAME.1 | tr '\n' ' ' | sed 's/<a href=/\n\n\nfound=/g' | grep ^found= | grep "/video?c=" | tr '\t' ' ' | sed 's/ \+/ /g' | grep "img src" | grep ".jpg" >$TMP/cache.$FILENAME.2
201               
202                while read -u 3 ROUND; do
203                        PIC=`echo $ROUND | sed 's!<img src=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
204                        TITLE=`echo $ROUND | sed 's!data-mxptext=!\ntitle=!g' | grep ^title= | cut -d'"' -f2`
205                        NEWPAGE=`echo $ROUND | cut -d'"' -f2 | head -n1`
206       
207                        if [ -z "$PIC" ]; then
208#                               PIC="http://atemio.dyndns.tv/mediathek/menu/default.jpg"
209                                PIC="http://atemio.dyndns.tv/mediathek/menu/`echo $TITLE | tr 'A-Z' 'a-z'`.jpg"
210                        fi
211       
212                        TITLE=`echo $TITLE | sed -e 's/&#038;/&/g' -e 's/&amp;/und/g' -e 's/&quot;/"/g' -e 's/&lt;/\</g' -e 's/&#034;/\"/g' -e 's/&#039;/\"/g' -e 's/#034;/\"/g' -e 's/#039;/\"/g' -e 's/&szlig;/Ãx/g' -e 's/&ndash;/-/g' -e 's/&Auml;/Ã/g' -e 's/&Uuml;/ÃS/g' -e 's/&Ouml;/Ã/g' -e 's/&auml;/ä/g' -e 's/&uuml;/ü/g' -e 's/&ouml;/ö/g' -e 's/&eacute;/é/g' -e 's/&egrave;/è/g' -e 's/%F6/ö/g' -e 's/%FC/ü/g' -e 's/%E4/ä/g' -e 's/%26/&/g' -e 's/%C4/Ã/g' -e 's/%D6/Ã/g' -e 's/%DC/ÃS/g' -e 's/%28/(/g' -e 's/%29/)/g' -e 's/%3A/:/g' -e 's/%40/@/g' -e 's/%2B/&/g' -e 's/%C3/A/g' -e 's/%B1/&/g' -e 's/%5B//g' -e 's/%5D//g' -e 's!%2F!/!g' -e 's/|/ /g' -e 's/(/ /g' -e 's/)/ /g' -e 's/+/ /g' -e 's/\//-/g' -e 's/,/ /g' -e 's/;/ /g' -e 's/:/ /g' -e 's/\.\+/./g'`
213       
214                        if [ ! -z "$TITLE" ] && [ ! -z "$NEWPAGE" ];then
215                                if [ ! -e $TMP/$FILENAME.list ];then
216                                        touch $TMP/$FILENAME.list
217                                fi
218                                piccount=`expr $piccount + 1`
219       
220                                if [ `cat $TMP/$FILENAME.list | grep "#$NEWPAGE#" | wc -l` -eq 0 ];then
221                                        LINE="$TITLE#$SRC $SRC search '$NEWPAGE&page=' 1#$PIC#$FILENAME.$FILENAME.$NEXT.$piccount.jpg#$NAME#0"
222                                fi
223                                echo "$LINE" >> $TMP/$FILENAME.list
224                        fi
225       
226                done 3<$TMP/cache.$FILENAME.2
227                rm $TMP/cache.$FILENAME.* > /dev/null 2>&1
228        fi
229        echo "$TMP/$FILENAME.list"
230}
231
232# comment block1 start
233<<"COMMENT"
234
235                                                <ul class="nf-videos videos search-video-thumbs">
236                                                                                                                <li class="videoblock videoBox" id="33423702" _vkey="127170590" >
237<div class="wrap">
238.
239.
240 <div class="phimage">
241 <div class="preloadLine"></div>
242 <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
243 <div class="img videoPreviewBg">
244 <div class="marker-overlays">
245 <var class="duration">6:06</var>
246 <span class="hd-thumbnail">HD</span>
247 </div>
248
249 <img
250 src="http://cdn1b.static.pornhub.phncdn.com/www-static/images/blank.gif"
251 alt="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
252 data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201410/14/33423702/original/(m=ecuK8daaaa)5.jpg"
253 data-mediabook="http://cdn2b.video.pornhub.phncdn.com/videos/201410/14/33423702/180P_375K_33423702.webm?rs=150&ri=1000&s=1488442497&e=1488449697&h=46dd89a4b2712a5e40a7f065ebf157ad"
254 class="js-preload js-videoThumb js-videoThumbFlip thumb js-videoPreview"
255 width="150"
256.
257.
258                                                        </ul>
259
260root@TitanNit-dm900:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh searchold '/video?c=95&page=' 1
261/tmp/localcache/pornhub.searchold.video.c.95.page.1.list
262
263real    0m2.128s
264user    0m0.625s
265sys     0m1.452s
266
267root@TitanNit-dm900:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh search '/video?c=95&page=' 1
268/tmp/localcache/pornhub.search.video.c.95.page.1.list
269
270real    0m0.495s
271user    0m0.090s
272sys     0m0.114s
273
274COMMENT
275# comment block1 end
276
277#https://de.pornhub.com/pornstar/lisa-ann&page=1
278#https://de.pornhub.com/pornstar/lisa-ann?page=2
279
280
281#https://de.pornhub.com/video/search?search=billion&page=1
282
283search()
284{
285#echo $URL$PAGE$NEXT
286#$curlbin -vo - $URL$PAGE$NEXT > /mnt/parser/7777
287#$curlbin -vo - $URL$PAGE$NEXT > /tmp/localparser/6666
288        if [ ! -e "$TMP/$FILENAME.list" ]; then
289                $curlbin -o - $URL$PAGE$NEXT | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME -v INPUT=$INPUT -v PAGE=$PAGE -v NEXT=$NEXT \
290                '
291                        # BEGIN variable setzen
292                        BEGIN
293                                {
294                                        # setzt suchvariable auf 0 vor dem start
295                                        suche = 0
296                                        newpage = ""
297                                        pages = "0"
298                                        piccount = 0
299                                }
300                                #<li class="page_next"><a href="/video/search?search=billions&amp;page=2" class="orangeButton">Next</a></li>
301                                /class=\"page_next222222\">/ \
302                                {
303#                               print "88888888822" $0
304
305                                        # da 2 pages sources geht keine variable ob schon gesetzt.
306#                                       if (pages == "0" && $0 ~ /page=/)
307                                        if ($0 ~ /page=/)
308                                        {
309#                                               pagesold = pages
310
311                                                # extrahiere die max pages unter 10 pages
312                                                i = index($0, "page=") + 5
313                                    j = index(substr($0, i), "\"") - 1
314                                    pages = substr($0, i, j)
315#                                   print "pages" pages
316
317#                                               if (pagesold != 0 && pagesold > pages)
318#                                                       pages = pagesold
319
320                                    # in naechste zeile springen
321                                                next
322                                        }
323                                }
324                                # <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
325                                /class=\"page_next_set\">/ \
326                                {
327#                               print "aaaaaaaaaaaa" $0
328
329                                        # da 2 pages sources geht keine variable ob schon gesetzt.
330#                                       if (pages == "0" && $0 ~ /page=/)
331                                        if ($0 ~ /page=/)
332                                        {
333#                                               pagesold = pages
334                                                # extrahiere die max pages unter 10 pages
335#                                               i = index($0, "&amp;page=") + 10
336                                                i = index($0, "page=") + 5
337                                    j = index(substr($0, i), "\"") - 1
338                                    pages = substr($0, i, j)
339#                                               if (pagesold != 0 && pagesold > pages)
340#                                                       pages = pagesold
341
342#                                   print "pages1: " pages
343                                    # in naechste zeile springen
344                                                next
345                                        }
346                                }
347                                # <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
348                                /class=\"page_number\">/ \
349                                {
350#                               print "bbbbbbbbbbb" $0
351
352                                        # da 2 pages sources geht keine variable ob schon gesetzt.
353#                                       if (pages == "0" && $0 ~ /page=/)
354                                        if ($0 ~ /page=/)
355                                        {
356#                                               pagesold = pages
357                                                # extrahiere die max pages groesser 10 pages
358                                                i = index($0, "page=") + 5
359                                    j = index(substr($0, i), "\"") - 1
360                                    pages = substr($0, i, j)
361
362#                                               if (pagesold != 0 && pagesold > pages)
363#                                                       pages = pagesold
364                                                       
365#                               print "pages2: " pages
366
367                                                # in naechste zeile springen
368                                                next
369                                        }
370                                }
371                                # eindeutige zeile vor ersten treffer
372                                /<ul class=\"nf-videos videos search-video-thumbs\">/ \
373                                {
374#                               print "aaaaaa" $0
375
376                                        # suche erlauben ab dieser zeile
377                                        suche = 1
378                                        # in naechste zeile springen
379                                        next
380                                }
381                                /<ul class=\"videos row-5-thumbs search-video-thumbs\">/ \
382                                {
383#                               print "bbbbbb" $0
384
385                                        # suche erlauben ab dieser zeile
386                                        suche = 1
387                                        # in naechste zeile springen
388                                        next
389                                }
390                                /<ul class=\"dropdownHottestVideos videos\">/ \
391                                {
392#                               print "cccccc" $0
393
394                                        # suche erlauben ab dieser zeile
395                                        suche = 1
396                                        # in naechste zeile springen
397                                        next
398                                }
399                                # eindeutige zeile nach letzen treffer
400                                /<\/ul>/ \
401                                {
402                                        # suche verbieten ab dieser zeile
403                        #               suche = 0
404                                        # in naechste zeile springen
405                                next
406                                }
407                                # eindeutige zeile nach letzen treffer backup fals erste nicht klappt
408                                /<ul class=\"searchRelatedList sectionContent clearfix\">/ \
409                                {
410                                        # suche verbieten ab dieser zeile
411                                        suche = 0
412                                        # in naechste zeile springen
413                            next
414                                }
415                                # nextpage zeile
416                                # <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
417                                /<a href=\"\/view_video.php?/ \
418                                {
419#print "ddddd" $0
420#print "suche" suche
421
422                                        if (suche == 1)
423                                        {
424                                                # extrahiere den newpage pfad
425                                                i = index($0, "href=\"") + 6
426                                    j = index(substr($0, i), "\"") - 1
427                                                # newpage = /view_video.php?viewkey=127170590
428                                    newpage = substr($0, i, j)
429#print "newpage" newpage
430       
431                                                # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
432                                                # extrahiere den titel title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
433                                                i = index($0, "title=\"") + 7
434                                    j = index(substr($0, i), "\"") - 1
435                                                # title = "Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
436                                    title = substr($0, i, j)
437#print "title" title
438
439                                                # in naechste zeile springen
440                                                next
441                                        }
442                                }
443                                # bildlink treffer
444#data-image
445                                # data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/....
446                                /data-mediumthumb=/ \
447                                {
448                                        if (suche == 1 && newpage != "")
449                                        {
450                                                # extrahiere den piclink data-image="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/............
451                                                i = index($0, "data-mediumthumb=\"") + 18
452                                    j = index(substr($0, i), "\"") - 1
453                                                # pic = http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/........
454                                    pic = substr($0, i, j)
455
456                                                if ( pic == "" )
457                                                {
458                                        pic = "http://atemio.dyndns.tv/mediathek/menu/default.jpg"
459                                                }
460
461                                                if (title != "")
462                                                {
463                                                        piccount += 1
464                                                        # in naechste zeile springen
465                                                        # \x27 = single quotes
466                                                        print title "#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
467                                                }
468               
469                                                # 27. reset variables
470                                                newpage = ""
471                                                title = ""
472                                                picname = ""
473                                                pic = ""
474                                                # 28. in naechste zeile springen
475                                                next
476                                }
477                                }
478                                # next page init
479                        END
480                                {
481#                               print "pages3: " pages
482#                               print "NEXT + 1: " NEXT + 1
483
484                                        if (pages != "0")# && pages >= NEXT + 1)
485                                                print "Page (" NEXT + 1 "/" pages ")#" SRC " " SRC " " INPUT " \x27" PAGE "\x27 " NEXT + 1 "#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#" NAME "#0"
486                                }
487                # 29. schreibe alles in die list datei
488                ' >$TMP/$FILENAME.list
489        fi
490        # 30. gebe titan den list namen mit pfad zurueck
491        echo "$TMP/$FILENAME.list"
492}
493
494searchold()
495{
496        if [ ! -e "$TMP/$FILENAME.list" ]; then
497                piccount=0
498
499                $curlbin $URL/$PAGE$NEXT -o $TMP/cache.$FILENAME.1
500                cat $TMP/cache.$FILENAME.1 | tr '\n' ' ' | sed 's/<a href=/\n\n\nfound=/g' | grep ^found= | grep "/view_video.php?viewkey=" | tr '\t' ' ' | sed 's/ \+/ /g' | grep "img src" >$TMP/cache.$FILENAME.2
501       
502#               <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
503                pages=`cat $TMP/cache.$FILENAME.1 | grep "&amp;page" | grep "page_next_set" | sed 's/&amp;page=/\nfound="/g' | grep ^found= | cut -d'"' -f2 | tail -n1`
504
505#               <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
506                if [ -z "$pages" ];then
507                        pages=`cat $TMP/cache.$FILENAME.1 | grep "page_number" | sed 's/&amp;page=/\nfound="/g' | grep ^found= | cut -d'"' -f2 | tail -n1`
508                fi
509
510                while read -u 3 ROUND; do
511                        PIC=`echo $ROUND | sed 's!data-mediumthumb=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
512#                       if [ -z "$PIC" ];then
513#                               PIC=`echo $ROUND | sed 's!data-path=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
514#                       fi
515
516                        TITLE=`echo $ROUND | sed 's!title=!\ntitle=!g' | grep ^title= | cut -d'"' -f2`
517                        NEWPAGE=`echo $ROUND | cut -d'"' -f2`   
518                        TITLE=`echo $TITLE | sed -e 's/&#038;/&/g' -e 's/&amp;/und/g' -e 's/&quot;/"/g' -e 's/&lt;/\</g' -e 's/&#034;/\"/g' -e 's/&#039;/\"/g' -e 's/#034;/\"/g' -e 's/#039;/\"/g' -e 's/&szlig;/Ãx/g' -e 's/&ndash;/-/g' -e 's/&Auml;/Ã/g' -e 's/&Uuml;/ÃS/g' -e 's/&Ouml;/Ã/g' -e 's/&auml;/ä/g' -e 's/&uuml;/ü/g' -e 's/&ouml;/ö/g' -e 's/&eacute;/é/g' -e 's/&egrave;/è/g' -e 's/%F6/ö/g' -e 's/%FC/ü/g' -e 's/%E4/ä/g' -e 's/%26/&/g' -e 's/%C4/Ã/g' -e 's/%D6/Ã/g' -e 's/%DC/ÃS/g' -e 's/%28/(/g' -e 's/%29/)/g' -e 's/%3A/:/g' -e 's/%40/@/g' -e 's/%2B/&/g' -e 's/%C3/A/g' -e 's/%B1/&/g' -e 's/%5B//g' -e 's/%5D//g' -e 's!%2F!/!g' -e 's/|/ /g' -e 's/(/ /g' -e 's/)/ /g' -e 's/+/ /g' -e 's/\//-/g' -e 's/,/ /g' -e 's/;/ /g' -e 's/:/ /g' -e 's/\.\+/./g'`
519       
520                        if [ ! -z "$TITLE" ] && [ ! -z "$NEWPAGE" ] && [ ! -z "$PIC" ];then
521                                if [ ! -e $TMP/$FILENAME.list ];then
522                                        touch $TMP/$FILENAME.list
523                                fi
524                                piccount=`expr $piccount + 1`
525
526                                if [ `cat $TMP/$FILENAME.list | grep "#$NEWPAGE#" | wc -l` -eq 0 ];then
527                                        LINE="$TITLE#$SRC $SRC hoster '$NEWPAGE'#$PIC#$FILENAME.$FILENAME.$NEXT.$piccount.jpg#$NAME#111"
528                                fi
529                                echo "$LINE" >> $TMP/$FILENAME.list
530                        fi
531       
532                done 3<$TMP/cache.$FILENAME.2
533
534                if [ "$NEXT" -lt "$pages" ]; then
535                        NEXTPAGE=`expr $NEXT + 1`
536                        LINE="Page ($NEXTPAGE/$pages)#$SRC $SRC search '$PAGE' $NEXTPAGE#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#$NAME#0"
537                        echo "$LINE" >> $TMP/$FILENAME.list
538                fi
539                rm $TMP/cache.$FILENAME.* > /dev/null 2>&1
540        fi
541        echo "$TMP/$FILENAME.list"
542}
543
544# comment block1 start
545<<"COMMENT"
546        <div class="wrap">
547                <div class="subscribe-to-pornstar-icon display-none">
548                        <button type="button" data-title="bei Pornostar anmelden" class="tooltipTrig" onclick="return false;" ><span></span></button>
549                </div>
550                <a class="js-mxp" data-mxptype="Pornstar" data-mxptext="Angela White" href="/pornstar/angela-white">
551                                                                        <span class="pornstar_label">
552                                <span class="title-album">Rangordnung:
553                                        <span class="rank_number">
554                                                44                                      </span>
555
556                                        <span class='icon rank-up'></span>                              </span>
557                        </span>
558                        <img src="https://ci.phncdn.com/pics/pornstars/000/005/553/(m=lciyeNbOb_c)(mh=uncWnVAyet2L8iyD)thumb_21641.jpg" alt="Angela White"/>
559                </a>
560                <div class="thumbnail-info-wrapper">
561                        <a href="/pornstar/angela-white" class="title js-mxp" data-mxptype="Pornstar" data-mxptext="Angela White" >Angela White</a>
562                        <span class="videosNumber">156 Videos                   8M Aufrufe </span>
563                </div>
564        </div>
565COMMENT
566# comment block1 end
567
568pornstars()
569{
570#echo $URL$PAGE$NEXT
571        if [ ! -e "$TMP/$FILENAME.list" ]; then
572                $curlbin -o - $URL$PAGE$NEXT | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME -v INPUT=$INPUT -v PAGE=$PAGE -v NEXT=$NEXT \
573                '
574                        # BEGIN variable setzen
575                        BEGIN
576                                {
577                                        # setzt suchvariable auf 0 vor dem start
578                                        suche = 0
579                                        newpage = ""
580                                        pages = "0"
581                                        piccount = 0
582                                }
583                                # <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
584                                /class=\"page_next_set\">/ \
585                                {
586#                               print "888888888" $0
587
588                                        # da 2 pages sources geht keine variable ob schon gesetzt.
589                                        #if (pages == "0")
590                                        #{
591                                                # extrahiere die max pages unter 10 pages
592#                                               i = index($0, "&amp;page=") + 10
593                                                i = index($0, "page=") + 5
594                                    j = index(substr($0, i), "\"") - 1
595                                    pages = substr($0, i, j)
596#                                   print "pages" pages
597                                    # in naechste zeile springen
598                                                next
599                                        #}
600                                }
601                                # <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
602                                /class=\"greyButton\">/ \
603                                {
604#                               print "77777777777" $0
605
606                                        # da 2 pages sources geht keine variable ob schon gesetzt.
607                                        #if (pages == "0")
608                                        #{
609                                                # extrahiere die max pages groesser 10 pages
610                                                i = index($0, "page=") + 5
611                                    j = index(substr($0, i), "\"") - 1
612                                    pages = substr($0, i, j)
613#                               print "pages" pages
614
615                                                # in naechste zeile springen
616                                                next
617                                        #}
618                                }
619                                # eindeutige zeile vor ersten treffer
620                                /<ul class=\"videos row-5-thumbs popular-pornstar/ \
621                                {
622#                               print "000000000000"
623
624                                        # suche erlauben ab dieser zeile
625                                        suche = 1
626                                        # in naechste zeile springen
627                                        next
628                                }
629                                # eindeutige zeile nach letzen treffer
630                                /<\/ul>/ \
631                                {
632                                        # suche verbieten ab dieser zeile
633                                        suche = 0
634                                        # in naechste zeile springen
635                                next
636                                }
637                                # eindeutige zeile nach letzen treffer backup fals erste nicht klappt
638                                /<div class="pagination3\">/ \
639                                {
640                                        # suche verbieten ab dieser zeile
641                                        suche = 0
642                                        # in naechste zeile springen
643                            next
644                                }
645                                # nextpage zeile
646                                # <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
647                                /<a href=\"\/pornstar\// \
648                                {
649#                               print "33333333333"
650                                        if (suche == 1)
651                                        {
652#                               print "44444444444"
653
654                                                # extrahiere den newpage pfad
655                                                i = index($0, "href=\"") + 6
656                                    j = index(substr($0, i), "\"") - 1
657                                                # newpage = /view_video.php?viewkey=127170590
658                                    newpage = substr($0, i, j)
659#                               print "newpage: " newpage
660
661                                                next
662                                        }
663                                }
664                                # bildlink treffer
665                                # data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/....
666                                /<img src=/ \
667                                {
668#                               print "11111111111"
669
670#                                       if (suche == 1 && newpage != "")
671                                        if (suche == 1)
672                                        {
673#                               print "222222222222"
674
675                                                # extrahiere den piclink data-image="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/............
676                                                i = index($0, "<img src=\"") + 10
677                                    j = index(substr($0, i), "\"") - 1
678                                                # pic = http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/........
679                                    pic = substr($0, i, j)
680
681                                                if ( pic == "" )
682                                                {
683                                        pic = "http://atemio.dyndns.tv/mediathek/menu/default.jpg"
684                                                }
685#                               print "pic: " pic
686
687
688                                                # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
689                                                # extrahiere den titel title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
690                                                i = index($0, "alt=\"") + 5
691                                    j = index(substr($0, i), "\"") - 1
692                                                # title = "Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
693                                    title = substr($0, i, j)
694                                                # in naechste zeile springen
695#                               print "title: " title
696
697#                                               if (title != "")
698#                                               {
699#                                                       piccount += 1
700#                                                       # in naechste zeile springen
701#                                                       # \x27 = single quotes
702#                                                       print title "#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
703#                                               }
704#               
705#                                               # 27. reset variables
706#                                               newpage = ""
707#                                               title = ""
708#                                               picname = ""
709#                                               pic = ""
710#                                               # 28. in naechste zeile springen
711#                                               next
712                                }
713                                }
714                                /<span class=\"videosNumber\">/ \
715                                {
716#                               print "55555555555"
717
718
719                                        if (suche == 1 && newpage != "")
720                                        {
721#                               print "66666666666"
722
723
724                                                i = index($0, "<span class=\"videosNumber\">") + 28
725                                    j = index(substr($0, i), "</span>") - 1
726                                                # <span class="videosNumber">1074 Videos                        40M Aufrufe </span>
727                                    extra = substr($0, i, j)
728                                                # in naechste zeile springen
729
730                                                # trim left "  Hallo   tester   "
731                                                gsub(/^[ \t]+/,"",extra)
732                                                # trim right "  Hallo   tester   "
733                                                gsub(/[ \t]+$/,"",extra)
734                                                # trim middle "  Hallo   tester   "
735                                                gsub(/\t+/," / ",extra)
736
737#                               print "extra: " extra
738
739                                                if (title != "")
740                                                {
741                                                        piccount += 1
742                                                        # in naechste zeile springen
743                                                        # \x27 = single quotes
744#                                                       print title " (" extra ")#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
745                                                        print title " (" extra ")#" SRC " " SRC " search \x27" newpage "?page=\x27 1#" pic "#" PICNAME "." piccount ".jpg#" NAME "#0"
746
747                                                }
748               
749                                                # 27. reset variables
750                                                newpage = ""
751                                                title = ""
752                                                picname = ""
753                                                pic = ""
754                                                # 28. in naechste zeile springen
755                                                next
756                                }
757                                }                               
758                                # next page init
759                        END
760                                {
761                                        print "Page (" NEXT + 1 "/" pages ")#" SRC " " SRC " " INPUT " \x27" PAGE "\x27 " NEXT + 1 "#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#" NAME "#0"
762                                }
763                # 29. schreibe alles in die list datei
764                ' >$TMP/$FILENAME.list
765        fi
766        # 30. gebe titan den list namen mit pfad zurueck
767        echo "$TMP/$FILENAME.list"
768}
769
770hoster()
771{
772#       rm $TMP/cache.$PARSER.$INPUT.* > /dev/null 2>&1
773#       /tmp/localhoster/hoster.sh youtube_dl $URL$PAGE > $TMP/cache.$PARSER.$INPUT.1
774#       STREAMURL=`cat $TMP/cache.$PARSER.$INPUT.1`
775#       echo $STREAMURL
776        echo $URL$PAGE
777}
778
779case $INPUT in
780        init) $INPUT;;
781        mainmenu) $INPUT;;
782        hoster) $INPUT;;
783        search) $INPUT;;
784        searchold) $INPUT;;
785        genre) $INPUT;;
786        genreold) $INPUT;;
787        pornstars) $INPUT;;
788
789esac
Note: See TracBrowser for help on using the repository browser.