source: titan/mediathek/localparser_secret/pornhub.sh @ 43491

Last change on this file since 43491 was 43491, checked in by obi, 5 years ago

update tithek for oebuild

  • Property svn:executable set to *
File size: 25.7 KB
Line 
1#!/bin/sh
2# first sh box parser for titannit mfg obi
3
4case $2 in
5        init) echo skip load hoster.sh;;
6        *) . /tmp/localhoster/hoster.sh;;
7esac
8
9SRC=$1
10INPUT=$2
11PAGE=$3
12NEXT=$4
13PARSER=`echo $SRC | tr '/' '\n' | tail -n1 | sed 's/.sh//'`
14
15FILENAME="`echo $SRC | tr '/' '\n' | tail -n1 | sed 's/.sh//'` $INPUT $PAGE $NEXT"
16FILENAME="`echo $FILENAME | sed -e 's/\&\+/./g' -e 's#\/\+#.#g' -e 's/\?\+/./g' -e 's/;\+/./g' -e 's/=\+/./g' -e 's/ \+/./g' -e 's/\.\+/./g'`"
17PICNAME=`echo $FILENAME`
18
19if [ -z "$FILENAME" ]; then
20        FILENAME=none
21fi
22
23URL=http://www.pornhub.com
24NAME="Pornhub"
25
26mkdir $TMP > /dev/null 2>&1
27
28if [ `echo $SRC | grep ^"/mnt/parser" | wc -l` -gt 0 ];then
29        TYPE="$SRC - Shell script"
30elif [ `echo $SRC | grep ^"/var/swap" | wc -l` -gt 0 ];then
31        TYPE="Swap - Shell script"
32elif [ `echo $SRC | grep ^"/mnt/swapextensions" | wc -l` -gt 0 ];then
33        TYPE="Mnt - Shell script"
34else
35        TYPE="Flash - Shell script"
36fi
37
38init()
39{
40        rm -rf $TMP > /dev/null 2>&1
41        echo "$NAME ($TYPE)#$SRC $SRC mainmenu#http://atemio.dyndns.tv/mediathek/menu/$PARSER.jpg#$PARSER.jpg#TiThek#1000"
42}
43
44mainmenu()
45{
46        echo "Genre#$SRC $SRC genre 'categories'#http://atemio.dyndns.tv/mediathek/menu/Movies.genre.jpg#Movies.genre.jpg#$NAME#0" >$TMP/$FILENAME.list
47        echo "Pornstars#$SRC $SRC pornstars '/pornstars?page=' 1#http://atemio.dyndns.tv/mediathek/menu/pornstars.jpg#pornstars.jpg#$NAME#0" >>$TMP/$FILENAME.list
48        echo "Suchen#$SRC $SRC search '/video/search?search=%search%&page=' 1#http://atemio.dyndns.tv/mediathek/menu/search.jpg#search.jpg#$NAME#112" >>$TMP/$FILENAME.list
49        echo "$TMP/$FILENAME.list"
50}
51
52# comment block1 start
53<<"COMMENT"
54
55<ul class="headerSubMenu">
56 .
57 <li class=" ">
58 <a href="/video?c=28" onclick="ga('send', 'event', 'Header', 'click', 'Category 28');" alt="Reife Frauen">
59 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
60 <span>Reife Frauen</span>
61 </a>
62 </li>
63 .
64 <li>
65 <a class="categoryDefault" href="/categories" onclick="ga('send', 'event', 'Header', 'click', 'Categories');">
66 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/www-static/images/categories_seeall.gif" alt="See All" width="118" height="88">
67 <span>Alle anzeigen</span>
68 </a>
69 </li>
70</ul>
71
72TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genre 'categories'
73/tmp/tithek/pornhub.genres.list
74real    0m 1.07s
75user    0m 0.39s
76sys     0m 0.39s
77TitanNit-ufs912:
78
79TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genreold 'categories'
80/tmp/localcache/pornhub.genreold.categories.list
81real    0m 19.03s
82user    0m 4.71s
83sys     0m 12.14s
84TitanNit-ufs912:~#
85
86COMMENT
87# comment block1 end
88
89genre()
90{
91        if [ ! -e "$TMP/$FILENAME.list" ]; then
92                $curlbin -o - $URL/$PAGE | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME \
93                '
94                        # 1. BEGIN variable setzen
95                        BEGIN \
96                        {
97                                # 2. setzt suchvariable auf 0 vor dem start
98                                suche = 0
99                                newpage = ""
100                                piccount = 0
101                        }
102                        # 3. eindeutige zeile vor ersten treffer
103                        /<ul class=\"headerSubMenu\">/ \
104                        {
105                                # 4. suche erlauben ab dieser zeile
106                                suche = 1
107                                # 5. in naechste zeile springen
108                                next
109                        }
110                        # 6. eindeutige zeile nach letzen treffer
111                        /<\/ul>/ \
112                        {
113                                # 7. suche verbieten ab dieser zeile
114                                suche = 0
115                                # 8. in naechste zeile springen
116                        next
117                        }
118                        # 9. eindeutige zeile nach letzen treffer backup fals erste nicht klappt
119                        /categoryDefault/ \
120                        {
121                                # 10. suche verbieten ab dieser zeile
122                                suche = 0
123                                # 11. in naechste zeile springen
124                    next
125                        }
126                        # 12. nextpage zeile
127                        # href=\"\/video?c=28
128                        /href=\"\/video?/ \
129                        {
130                                if (suche == 1)
131                                {
132                                        # href="/video?c=28" onclick="ga.....>
133                                        # 13. extrahiere den newpage pfad
134                                        i = index($0, "href=\"") + 6
135                            j = index(substr($0, i), "\"") - 1
136                                        # 14. newpage = /video?c=28
137                            newpage = substr($0, i, j)
138                                        # 15. in naechste zeile springen
139                                        next
140                                }
141                        }
142                        # 16. erste zeile mit treffer
143                        /<img class=\"/ \
144                        {
145                                if (suche == 1 && newpage != "")
146                                {
147                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
148                                        # 17. extrahiere den titel alt="Reife Frauen"
149                                        i = index($0, "alt=\"") + 5
150                            j = index(substr($0, i), "\"") - 1
151                                        # 18. titel = Reife Frauen
152                            title = substr($0, i, j)
153       
154                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">     
155                                        # 19. extrahiere den piclink data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184"
156                                        i = index($0, "data-image=\"") + 12
157                            j = index(substr($0, i), "\"") - 1
158                                        # 20. pic = http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184
159                            pic = substr($0, i, j)
160                                       
161                                        if ( pic == "" )
162                                        {
163                                                # 21. erstelle lokalen picname aus kleingeschriebenen titel
164                                                # 22. titel = reife frauen
165                                                picname = tolower(title)
166       
167                                                # 23. tausche leehrzeichen in punkte
168                                                # 24. titel = reife.frauen
169                                gsub(" ", ".", picname)
170                                                pic = "http://atemio.dyndns.tv/mediathek/menu/" picname ".jpg"
171                                        }
172       
173                                        if (title != "")
174                                        {
175                                                piccount += 1
176                                                # 25. in naechste zeile springen
177                                                # 26. \x27 = single quotes
178                                                print title "#" SRC " " SRC " search \x27" newpage "&page=\x27 1#" pic "#" PICNAME "." piccount ".jpg#" NAME "#0"
179                                        }
180                                       
181                                        # 27. reset variables
182                                        newpage = ""
183                                        title = ""
184                                        picname = ""
185                                        pic = ""
186                                        # 28. in naechste zeile springen
187                                        next
188                        }
189                        }
190                # 29. schreibe alles in die list datei
191                ' >$TMP/$FILENAME.list
192        fi
193        # 30. gebe titan den list namen mit pfad zurueck
194        echo "$TMP/$FILENAME.list"
195}
196
197
198genreold()
199{
200        if [ ! -e "$TMP/$FILENAME.list" ]; then
201                piccount=0
202                $curlbin $URL/$PAGE -o $TMP/cache.$FILENAME.1
203                cat $TMP/cache.$FILENAME.1 | tr '\n' ' ' | sed 's/<a href=/\n\n\nfound=/g' | grep ^found= | grep "/video?c=" | tr '\t' ' ' | sed 's/ \+/ /g' | grep "img src" | grep ".jpg" >$TMP/cache.$FILENAME.2
204               
205                while read -u 3 ROUND; do
206                        PIC=`echo $ROUND | sed 's!<img src=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
207                        TITLE=`echo $ROUND | sed 's!data-mxptext=!\ntitle=!g' | grep ^title= | cut -d'"' -f2`
208                        NEWPAGE=`echo $ROUND | cut -d'"' -f2 | head -n1`
209       
210                        if [ -z "$PIC" ]; then
211#                               PIC="http://atemio.dyndns.tv/mediathek/menu/default.jpg"
212                                PIC="http://atemio.dyndns.tv/mediathek/menu/`echo $TITLE | tr 'A-Z' 'a-z'`.jpg"
213                        fi
214       
215                        TITLE=`echo $TITLE | sed -e 's/&#038;/&/g' -e 's/&amp;/und/g' -e 's/&quot;/"/g' -e 's/&lt;/\</g' -e 's/&#034;/\"/g' -e 's/&#039;/\"/g' -e 's/#034;/\"/g' -e 's/#039;/\"/g' -e 's/&szlig;/Ãx/g' -e 's/&ndash;/-/g' -e 's/&Auml;/Ã/g' -e 's/&Uuml;/ÃS/g' -e 's/&Ouml;/Ã/g' -e 's/&auml;/ä/g' -e 's/&uuml;/ü/g' -e 's/&ouml;/ö/g' -e 's/&eacute;/é/g' -e 's/&egrave;/è/g' -e 's/%F6/ö/g' -e 's/%FC/ü/g' -e 's/%E4/ä/g' -e 's/%26/&/g' -e 's/%C4/Ã/g' -e 's/%D6/Ã/g' -e 's/%DC/ÃS/g' -e 's/%28/(/g' -e 's/%29/)/g' -e 's/%3A/:/g' -e 's/%40/@/g' -e 's/%2B/&/g' -e 's/%C3/A/g' -e 's/%B1/&/g' -e 's/%5B//g' -e 's/%5D//g' -e 's!%2F!/!g' -e 's/|/ /g' -e 's/(/ /g' -e 's/)/ /g' -e 's/+/ /g' -e 's/\//-/g' -e 's/,/ /g' -e 's/;/ /g' -e 's/:/ /g' -e 's/\.\+/./g'`
216       
217                        if [ ! -z "$TITLE" ] && [ ! -z "$NEWPAGE" ];then
218                                if [ ! -e $TMP/$FILENAME.list ];then
219                                        touch $TMP/$FILENAME.list
220                                fi
221                                piccount=`expr $piccount + 1`
222       
223                                if [ `cat $TMP/$FILENAME.list | grep "#$NEWPAGE#" | wc -l` -eq 0 ];then
224                                        LINE="$TITLE#$SRC $SRC search '$NEWPAGE&page=' 1#$PIC#$FILENAME.$FILENAME.$NEXT.$piccount.jpg#$NAME#0"
225                                fi
226                                echo "$LINE" >> $TMP/$FILENAME.list
227                        fi
228       
229                done 3<$TMP/cache.$FILENAME.2
230                rm $TMP/cache.$FILENAME.* > /dev/null 2>&1
231        fi
232        echo "$TMP/$FILENAME.list"
233}
234
235# comment block1 start
236<<"COMMENT"
237
238                                                <ul class="nf-videos videos search-video-thumbs">
239                                                                                                                <li class="videoblock videoBox" id="33423702" _vkey="127170590" >
240<div class="wrap">
241.
242.
243 <div class="phimage">
244 <div class="preloadLine"></div>
245 <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
246 <div class="img videoPreviewBg">
247 <div class="marker-overlays">
248 <var class="duration">6:06</var>
249 <span class="hd-thumbnail">HD</span>
250 </div>
251
252 <img
253 src="http://cdn1b.static.pornhub.phncdn.com/www-static/images/blank.gif"
254 alt="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
255 data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201410/14/33423702/original/(m=ecuK8daaaa)5.jpg"
256 data-mediabook="http://cdn2b.video.pornhub.phncdn.com/videos/201410/14/33423702/180P_375K_33423702.webm?rs=150&ri=1000&s=1488442497&e=1488449697&h=46dd89a4b2712a5e40a7f065ebf157ad"
257 class="js-preload js-videoThumb js-videoThumbFlip thumb js-videoPreview"
258 width="150"
259.
260.
261                                                        </ul>
262
263root@TitanNit-dm900:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh searchold '/video?c=95&page=' 1
264/tmp/localcache/pornhub.searchold.video.c.95.page.1.list
265
266real    0m2.128s
267user    0m0.625s
268sys     0m1.452s
269
270root@TitanNit-dm900:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh search '/video?c=95&page=' 1
271/tmp/localcache/pornhub.search.video.c.95.page.1.list
272
273real    0m0.495s
274user    0m0.090s
275sys     0m0.114s
276
277COMMENT
278# comment block1 end
279
280#https://de.pornhub.com/pornstar/lisa-ann&page=1
281#https://de.pornhub.com/pornstar/lisa-ann?page=2
282
283
284#https://de.pornhub.com/video/search?search=billion&page=1
285
286search()
287{
288#echo $URL$PAGE$NEXT
289#$curlbin -vo - $URL$PAGE$NEXT > /mnt/parser/7777
290#$curlbin -vo - $URL$PAGE$NEXT > /tmp/localparser/6666
291        if [ ! -e "$TMP/$FILENAME.list" ]; then
292                $curlbin -o - $URL$PAGE$NEXT | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME -v INPUT=$INPUT -v PAGE=$PAGE -v NEXT=$NEXT \
293                '
294                        # BEGIN variable setzen
295                        BEGIN \
296                                {
297                                        # setzt suchvariable auf 0 vor dem start
298                                        suche = 1
299                                        newpage = ""
300                                        pages = "0"
301                                        piccount = 0
302                                }
303                                #<li class="page_next"><a href="/video/search?search=billions&amp;page=2" class="orangeButton">Next</a></li>
304                                /class=\"page_next222222\">/ \
305                                {
306#                               print "88888888822" $0
307
308                                        # da 2 pages sources geht keine variable ob schon gesetzt.
309#                                       if (pages == "0" && $0 ~ /page=/)
310                                        if ($0 ~ /page=/)
311                                        {
312#                                               pagesold = pages
313
314                                                # extrahiere die max pages unter 10 pages
315                                                i = index($0, "page=") + 5
316                                    j = index(substr($0, i), "\"") - 1
317                                    pages = substr($0, i, j)
318#                                   print "pages" pages
319
320#                                               if (pagesold != 0 && pagesold > pages)
321#                                                       pages = pagesold
322
323                                    # in naechste zeile springen
324                                                next
325                                        }
326                                }
327                                # <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
328                                /class=\"page_next_set\">/ \
329                                {
330#                               print "aaaaaaaaaaaa" $0
331
332                                        # da 2 pages sources geht keine variable ob schon gesetzt.
333#                                       if (pages == "0" && $0 ~ /page=/)
334                                        if ($0 ~ /page=/)
335                                        {
336#                                               pagesold = pages
337                                                # extrahiere die max pages unter 10 pages
338#                                               i = index($0, "&amp;page=") + 10
339                                                i = index($0, "page=") + 5
340                                    j = index(substr($0, i), "\"") - 1
341                                    pages = substr($0, i, j)
342#                                               if (pagesold != 0 && pagesold > pages)
343#                                                       pages = pagesold
344
345#                                   print "pages1: " pages
346                                    # in naechste zeile springen
347                                                next
348                                        }
349                                }
350                                # <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
351                                /class=\"page_number\">/ \
352                                {
353#                               print "bbbbbbbbbbb" $0
354
355                                        # da 2 pages sources geht keine variable ob schon gesetzt.
356#                                       if (pages == "0" && $0 ~ /page=/)
357                                        if ($0 ~ /page=/)
358                                        {
359#                                               pagesold = pages
360                                                # extrahiere die max pages groesser 10 pages
361                                                i = index($0, "page=") + 5
362                                    j = index(substr($0, i), "\"") - 1
363                                    pages = substr($0, i, j)
364
365#                                               if (pagesold != 0 && pagesold > pages)
366#                                                       pages = pagesold
367                                                       
368#                               print "pages2: " pages
369
370                                                # in naechste zeile springen
371                                                next
372                                        }
373                                }
374                                # eindeutige zeile vor ersten treffer
375                                /<ul class=\"nf-videos videos search-video-thumbs\">/ \
376                                {
377#                               print "aaaaaa" $0
378
379                                        # suche erlauben ab dieser zeile
380                                        suche = 1
381                                        # in naechste zeile springen
382                                        next
383                                }
384                                /<ul class=\"videos row-5-thumbs search-video-thumbs\">/ \
385                                {
386#                               print "bbbbbb" $0
387
388                                        # suche erlauben ab dieser zeile
389                                        suche = 1
390                                        # in naechste zeile springen
391                                        next
392                                }
393                                /<ul class=\"dropdownHottestVideos videos\">/ \
394                                {
395#                               print "cccccc" $0
396
397                                        # suche erlauben ab dieser zeile
398                                        suche = 1
399                                        # in naechste zeile springen
400                                        next
401                                }
402                                # eindeutige zeile nach letzen treffer
403                                /<\/ul>/ \
404                                {
405                                        # suche verbieten ab dieser zeile
406                        #               suche = 0
407                                        # in naechste zeile springen
408                                next
409                                }
410                                # eindeutige zeile nach letzen treffer backup fals erste nicht klappt
411                                /<ul class=\"searchRelatedList sectionContent clearfix\">/ \
412                                {
413                                        # suche verbieten ab dieser zeile
414                                        suche = 0
415                                        # in naechste zeile springen
416                            next
417                                }
418                                # nextpage zeile
419                                # <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
420                                /<a href=\"\/view_video.php?/ \
421                                {
422#print "ddddd" $0
423#print "suche" suche
424
425                                        if (suche == 1)
426                                        {
427                                                # extrahiere den newpage pfad
428                                                i = index($0, "href=\"") + 6
429                                    j = index(substr($0, i), "\"") - 1
430                                                # newpage = /view_video.php?viewkey=127170590
431                                    newpage = substr($0, i, j)
432#print "newpage" newpage
433       
434                                                # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
435                                                # extrahiere den titel title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
436                                                i = index($0, "title=\"") + 7
437                                    j = index(substr($0, i), "\"") - 1
438                                                # title = "Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
439                                    title = substr($0, i, j)
440#print "title" title
441
442                                                # in naechste zeile springen
443                                                next
444                                        }
445                                }
446                                # bildlink treffer
447#data-image
448                                # data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/....
449                                /data-mediumthumb=/ \
450                                {
451                                        if (suche == 1 && newpage != "")
452                                        {
453                                                # extrahiere den piclink data-image="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/............
454                                                i = index($0, "data-mediumthumb=\"") + 18
455                                    j = index(substr($0, i), "\"") - 1
456                                                # pic = http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/........
457                                    pic = substr($0, i, j)
458
459                                                if ( pic == "" )
460                                                {
461                                        pic = "http://atemio.dyndns.tv/mediathek/menu/default.jpg"
462                                                }
463
464                                                if (title != "")
465                                                {
466                                                        piccount += 1
467                                                        # in naechste zeile springen
468                                                        # \x27 = single quotes
469                                                        print title "#" SRC " " SRC " play \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
470                                                }
471               
472                                                # 27. reset variables
473                                                newpage = ""
474                                                title = ""
475                                                picname = ""
476                                                pic = ""
477                                                # 28. in naechste zeile springen
478                                                next
479                                }
480                                }
481                                # next page init
482                        END
483                                {
484#                               print "pages3: " pages
485#                               print "NEXT + 1: " NEXT + 1
486
487                                        if (pages != "0")# && pages >= NEXT + 1)
488                                                print "Page (" NEXT + 1 "/" pages ")#" SRC " " SRC " " INPUT " \x27" PAGE "\x27 " NEXT + 1 "#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#" NAME "#0"
489                                }
490                # 29. schreibe alles in die list datei
491                ' >$TMP/$FILENAME.list
492        fi
493        # 30. gebe titan den list namen mit pfad zurueck
494        echo "$TMP/$FILENAME.list"
495}
496
497searchold()
498{
499        if [ ! -e "$TMP/$FILENAME.list" ]; then
500                piccount=0
501
502                $curlbin $URL/$PAGE$NEXT -o $TMP/cache.$FILENAME.1
503                cat $TMP/cache.$FILENAME.1 | tr '\n' ' ' | sed 's/<a href=/\n\n\nfound=/g' | grep ^found= | grep "/view_video.php?viewkey=" | tr '\t' ' ' | sed 's/ \+/ /g' | grep "img src" >$TMP/cache.$FILENAME.2
504       
505#               <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
506                pages=`cat $TMP/cache.$FILENAME.1 | grep "&amp;page" | grep "page_next_set" | sed 's/&amp;page=/\nfound="/g' | grep ^found= | cut -d'"' -f2 | tail -n1`
507
508#               <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
509                if [ -z "$pages" ];then
510                        pages=`cat $TMP/cache.$FILENAME.1 | grep "page_number" | sed 's/&amp;page=/\nfound="/g' | grep ^found= | cut -d'"' -f2 | tail -n1`
511                fi
512
513                while read -u 3 ROUND; do
514                        PIC=`echo $ROUND | sed 's!data-mediumthumb=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
515#                       if [ -z "$PIC" ];then
516#                               PIC=`echo $ROUND | sed 's!data-path=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
517#                       fi
518
519                        TITLE=`echo $ROUND | sed 's!title=!\ntitle=!g' | grep ^title= | cut -d'"' -f2`
520                        NEWPAGE=`echo $ROUND | cut -d'"' -f2`   
521                        TITLE=`echo $TITLE | sed -e 's/&#038;/&/g' -e 's/&amp;/und/g' -e 's/&quot;/"/g' -e 's/&lt;/\</g' -e 's/&#034;/\"/g' -e 's/&#039;/\"/g' -e 's/#034;/\"/g' -e 's/#039;/\"/g' -e 's/&szlig;/Ãx/g' -e 's/&ndash;/-/g' -e 's/&Auml;/Ã/g' -e 's/&Uuml;/ÃS/g' -e 's/&Ouml;/Ã/g' -e 's/&auml;/ä/g' -e 's/&uuml;/ü/g' -e 's/&ouml;/ö/g' -e 's/&eacute;/é/g' -e 's/&egrave;/è/g' -e 's/%F6/ö/g' -e 's/%FC/ü/g' -e 's/%E4/ä/g' -e 's/%26/&/g' -e 's/%C4/Ã/g' -e 's/%D6/Ã/g' -e 's/%DC/ÃS/g' -e 's/%28/(/g' -e 's/%29/)/g' -e 's/%3A/:/g' -e 's/%40/@/g' -e 's/%2B/&/g' -e 's/%C3/A/g' -e 's/%B1/&/g' -e 's/%5B//g' -e 's/%5D//g' -e 's!%2F!/!g' -e 's/|/ /g' -e 's/(/ /g' -e 's/)/ /g' -e 's/+/ /g' -e 's/\//-/g' -e 's/,/ /g' -e 's/;/ /g' -e 's/:/ /g' -e 's/\.\+/./g'`
522       
523                        if [ ! -z "$TITLE" ] && [ ! -z "$NEWPAGE" ] && [ ! -z "$PIC" ];then
524                                if [ ! -e $TMP/$FILENAME.list ];then
525                                        touch $TMP/$FILENAME.list
526                                fi
527                                piccount=`expr $piccount + 1`
528
529                                if [ `cat $TMP/$FILENAME.list | grep "#$NEWPAGE#" | wc -l` -eq 0 ];then
530                                        LINE="$TITLE#$SRC $SRC play '$NEWPAGE'#$PIC#$FILENAME.$FILENAME.$NEXT.$piccount.jpg#$NAME#111"
531                                fi
532                                echo "$LINE" >> $TMP/$FILENAME.list
533                        fi
534       
535                done 3<$TMP/cache.$FILENAME.2
536
537                if [ "$NEXT" -lt "$pages" ]; then
538                        NEXTPAGE=`expr $NEXT + 1`
539                        LINE="Page ($NEXTPAGE/$pages)#$SRC $SRC search '$PAGE' $NEXTPAGE#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#$NAME#0"
540                        echo "$LINE" >> $TMP/$FILENAME.list
541                fi
542                rm $TMP/cache.$FILENAME.* > /dev/null 2>&1
543        fi
544        echo "$TMP/$FILENAME.list"
545}
546
547# comment block1 start
548<<"COMMENT"
549        <div class="wrap">
550                <div class="subscribe-to-pornstar-icon display-none">
551                        <button type="button" data-title="bei Pornostar anmelden" class="tooltipTrig" onclick="return false;" ><span></span></button>
552                </div>
553                <a class="js-mxp" data-mxptype="Pornstar" data-mxptext="Angela White" href="/pornstar/angela-white">
554                                                                        <span class="pornstar_label">
555                                <span class="title-album">Rangordnung:
556                                        <span class="rank_number">
557                                                44                                      </span>
558
559                                        <span class='icon rank-up'></span>                              </span>
560                        </span>
561                        <img src="https://ci.phncdn.com/pics/pornstars/000/005/553/(m=lciyeNbOb_c)(mh=uncWnVAyet2L8iyD)thumb_21641.jpg" alt="Angela White"/>
562                </a>
563                <div class="thumbnail-info-wrapper">
564                        <a href="/pornstar/angela-white" class="title js-mxp" data-mxptype="Pornstar" data-mxptext="Angela White" >Angela White</a>
565                        <span class="videosNumber">156 Videos                   8M Aufrufe </span>
566                </div>
567        </div>
568COMMENT
569# comment block1 end
570
571pornstars()
572{
573#echo $URL$PAGE$NEXT
574        if [ ! -e "$TMP/$FILENAME.list" ]; then
575                $curlbin -o - $URL$PAGE$NEXT | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME -v INPUT=$INPUT -v PAGE=$PAGE -v NEXT=$NEXT \
576                '
577                        # BEGIN variable setzen
578                        BEGIN \
579                                {
580                                        # setzt suchvariable auf 0 vor dem start
581                                        suche = 0
582                                        newpage = ""
583                                        pages = "0"
584                                        piccount = 0
585                                }
586                                # <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
587                                /class=\"page_next_set\">/ \
588                                {
589#                               print "888888888" $0
590
591                                        # da 2 pages sources geht keine variable ob schon gesetzt.
592                                        #if (pages == "0")
593                                        #{
594                                                # extrahiere die max pages unter 10 pages
595#                                               i = index($0, "&amp;page=") + 10
596                                                i = index($0, "page=") + 5
597                                    j = index(substr($0, i), "\"") - 1
598                                    pages = substr($0, i, j)
599#                                   print "pages" pages
600                                    # in naechste zeile springen
601                                                next
602                                        #}
603                                }
604                                # <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
605                                /class=\"greyButton\">/ \
606                                {
607#                               print "77777777777" $0
608
609                                        # da 2 pages sources geht keine variable ob schon gesetzt.
610                                        #if (pages == "0")
611                                        #{
612                                                # extrahiere die max pages groesser 10 pages
613                                                i = index($0, "page=") + 5
614                                    j = index(substr($0, i), "\"") - 1
615                                    pages = substr($0, i, j)
616#                               print "pages" pages
617
618                                                # in naechste zeile springen
619                                                next
620                                        #}
621                                }
622                                # eindeutige zeile vor ersten treffer
623                                /<ul class=\"videos row-5-thumbs popular-pornstar/ \
624                                {
625#                               print "000000000000"
626
627                                        # suche erlauben ab dieser zeile
628                                        suche = 1
629                                        # in naechste zeile springen
630                                        next
631                                }
632                                # eindeutige zeile nach letzen treffer
633                                /<\/ul>/ \
634                                {
635                                        # suche verbieten ab dieser zeile
636                                        suche = 0
637                                        # in naechste zeile springen
638                                next
639                                }
640                                # eindeutige zeile nach letzen treffer backup fals erste nicht klappt
641                                /<div class="pagination3\">/ \
642                                {
643                                        # suche verbieten ab dieser zeile
644                                        suche = 0
645                                        # in naechste zeile springen
646                            next
647                                }
648                                # nextpage zeile
649                                # <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
650                                /<a href=\"\/pornstar\// \
651                                {
652#                               print "33333333333"
653                                        if (suche == 1)
654                                        {
655#                               print "44444444444"
656
657                                                # extrahiere den newpage pfad
658                                                i = index($0, "href=\"") + 6
659                                    j = index(substr($0, i), "\"") - 1
660                                                # newpage = /view_video.php?viewkey=127170590
661                                    newpage = substr($0, i, j)
662#                               print "newpage: " newpage
663
664                                                next
665                                        }
666                                }
667                                # bildlink treffer
668                                # data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/....
669                                /<img src=/ \
670                                {
671#                               print "11111111111"
672
673#                                       if (suche == 1 && newpage != "")
674                                        if (suche == 1)
675                                        {
676#                               print "222222222222"
677
678                                                # extrahiere den piclink data-image="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/............
679                                                i = index($0, "<img src=\"") + 10
680                                    j = index(substr($0, i), "\"") - 1
681                                                # pic = http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/........
682                                    pic = substr($0, i, j)
683
684                                                if ( pic == "" )
685                                                {
686                                        pic = "http://atemio.dyndns.tv/mediathek/menu/default.jpg"
687                                                }
688#                               print "pic: " pic
689
690
691                                                # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
692                                                # extrahiere den titel title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
693                                                i = index($0, "alt=\"") + 5
694                                    j = index(substr($0, i), "\"") - 1
695                                                # title = "Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
696                                    title = substr($0, i, j)
697                                                # in naechste zeile springen
698#                               print "title: " title
699
700#                                               if (title != "")
701#                                               {
702#                                                       piccount += 1
703#                                                       # in naechste zeile springen
704#                                                       # \x27 = single quotes
705#                                                       print title "#" SRC " " SRC " play \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
706#                                               }
707#               
708#                                               # 27. reset variables
709#                                               newpage = ""
710#                                               title = ""
711#                                               picname = ""
712#                                               pic = ""
713#                                               # 28. in naechste zeile springen
714#                                               next
715                                }
716                                }
717                                /<span class=\"videosNumber\">/ \
718                                {
719#                               print "55555555555"
720
721
722                                        if (suche == 1 && newpage != "")
723                                        {
724#                               print "66666666666"
725
726
727                                                i = index($0, "<span class=\"videosNumber\">") + 28
728                                    j = index(substr($0, i), "</span>") - 1
729                                                # <span class="videosNumber">1074 Videos                        40M Aufrufe </span>
730                                    extra = substr($0, i, j)
731                                                # in naechste zeile springen
732
733                                                # trim left "  Hallo   tester   "
734                                                gsub(/^[ \t]+/,"",extra)
735                                                # trim right "  Hallo   tester   "
736                                                gsub(/[ \t]+$/,"",extra)
737                                                # trim middle "  Hallo   tester   "
738                                                gsub(/\t+/," / ",extra)
739
740#                               print "extra: " extra
741
742                                                if (title != "")
743                                                {
744                                                        piccount += 1
745                                                        # in naechste zeile springen
746                                                        # \x27 = single quotes
747#                                                       print title " (" extra ")#" SRC " " SRC " play \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
748                                                        print title " (" extra ")#" SRC " " SRC " search \x27" newpage "?page=\x27 1#" pic "#" PICNAME "." piccount ".jpg#" NAME "#0"
749
750                                                }
751               
752                                                # 27. reset variables
753                                                newpage = ""
754                                                title = ""
755                                                picname = ""
756                                                pic = ""
757                                                # 28. in naechste zeile springen
758                                                next
759                                }
760                                }                               
761                                # next page init
762                        END
763                                {
764                                        print "Page (" NEXT + 1 "/" pages ")#" SRC " " SRC " " INPUT " \x27" PAGE "\x27 " NEXT + 1 "#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#" NAME "#0"
765                                }
766                # 29. schreibe alles in die list datei
767                ' >$TMP/$FILENAME.list
768        fi
769        # 30. gebe titan den list namen mit pfad zurueck
770        echo "$TMP/$FILENAME.list"
771}
772
773play()
774{
775        rm $TMP/cache.$PARSER.$INPUT.* > /dev/null 2>&1
776        /tmp/localhoster/hoster.sh youtube_dl $URL$PAGE > $TMP/cache.$PARSER.$INPUT.1
777        STREAMURL=`cat $TMP/cache.$PARSER.$INPUT.1`
778        cat $STREAMURL
779#       echo $URL$PAGE
780}
781
782case $INPUT in
783        init) $INPUT;;
784        mainmenu) $INPUT;;
785        play) $INPUT;;
786        search) $INPUT;;
787        searchold) $INPUT;;
788        genre) $INPUT;;
789        genreold) $INPUT;;
790        pornstars) $INPUT;;
791
792esac
Note: See TracBrowser for help on using the repository browser.