source: titan/mediathek/localparser_secret/pornhub.sh @ 40307

Last change on this file since 40307 was 40307, checked in by obi, 4 years ago

fix

  • Property svn:executable set to *
File size: 24.0 KB
Line 
1#!/bin/sh
2# first sh box parser for titannit mfg obi
3
4. /tmp/localhoster/hoster.sh
5
6SRC=$1
7INPUT=$2
8PAGE=$3
9NEXT=$4
10PARSER=`echo $SRC | tr '/' '\n' | tail -n1 | sed 's/.sh//'`
11
12FILENAME="`echo $SRC | tr '/' '\n' | tail -n1 | sed 's/.sh//'` $INPUT $PAGE $NEXT"
13FILENAME="`echo $FILENAME | sed -e 's/\&\+/./g' -e 's#\/\+#.#g' -e 's/\?\+/./g' -e 's/;\+/./g' -e 's/=\+/./g' -e 's/ \+/./g' -e 's/\.\+/./g'`"
14PICNAME=`echo $FILENAME`
15
16if [ -z "$FILENAME" ]; then
17        FILENAME=none
18fi
19
20URL=http://www.pornhub.com
21NAME="Pornhub"
22
23mkdir $TMP > /dev/null 2>&1
24
25if [ `echo $SRC | grep ^"/mnt/parser" | wc -l` -gt 0 ];then
26        TYPE="$SRC - Shell script"
27elif [ `echo $SRC | grep ^"/var/swap" | wc -l` -gt 0 ];then
28        TYPE="Swap - Shell script"
29elif [ `echo $SRC | grep ^"/mnt/swapextensions" | wc -l` -gt 0 ];then
30        TYPE="Mnt - Shell script"
31else
32        TYPE="Flash - Shell script"
33fi
34
35init()
36{
37        rm -rf $TMP > /dev/null 2>&1
38        echo "$NAME ($TYPE)#$SRC $SRC mainmenu#http://atemio.dyndns.tv/mediathek/menu/$PARSER.jpg#$PARSER.jpg#TiThek#1000"
39}
40
41mainmenu()
42{
43        echo "Genre#$SRC $SRC genre 'categories'#http://atemio.dyndns.tv/mediathek/menu/Movies.genre.jpg#Movies.genre.jpg#$NAME#0" >$TMP/$FILENAME.list
44        echo "Pornstars#$SRC $SRC pornstars '/pornstars?page=' 1#http://atemio.dyndns.tv/mediathek/menu/Movies.genre.jpg#Movies.genre.jpg#$NAME#0" >$TMP/$FILENAME.list
45        echo "Suchen#$SRC $SRC search 'video/search?search=%search%&page=' 1#http://atemio.dyndns.tv/mediathek/menu/search.jpg#search.jpg#$NAME#112" >>$TMP/$FILENAME.list
46        echo "$TMP/$FILENAME.list"
47}
48
49# comment block1 start
50<<"COMMENT"
51
52<ul class="headerSubMenu">
53 .
54 <li class=" ">
55 <a href="/video?c=28" onclick="ga('send', 'event', 'Header', 'click', 'Category 28');" alt="Reife Frauen">
56 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
57 <span>Reife Frauen</span>
58 </a>
59 </li>
60 .
61 <li>
62 <a class="categoryDefault" href="/categories" onclick="ga('send', 'event', 'Header', 'click', 'Categories');">
63 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/www-static/images/categories_seeall.gif" alt="See All" width="118" height="88">
64 <span>Alle anzeigen</span>
65 </a>
66 </li>
67</ul>
68
69TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genre 'categories'
70/tmp/tithek/pornhub.genres.list
71real    0m 1.07s
72user    0m 0.39s
73sys     0m 0.39s
74TitanNit-ufs912:
75
76TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genreold 'categories'
77/tmp/localcache/pornhub.genreold.categories.list
78real    0m 19.03s
79user    0m 4.71s
80sys     0m 12.14s
81TitanNit-ufs912:~#
82
83COMMENT
84# comment block1 end
85
86genre()
87{
88        if [ ! -e "$TMP/$FILENAME.list" ]; then
89                $curlbin -o - $URL/$PAGE | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME \
90                '
91                        # 1. BEGIN variable setzen
92                        BEGIN
93                        {
94                                # 2. setzt suchvariable auf 0 vor dem start
95                                suche = 0
96                                newpage = ""
97                                piccount = 0
98                        }
99                        # 3. eindeutige zeile vor ersten treffer
100                        /<ul class=\"headerSubMenu\">/ \
101                        {
102                                # 4. suche erlauben ab dieser zeile
103                                suche = 1
104                                # 5. in naechste zeile springen
105                                next
106                        }
107                        # 6. eindeutige zeile nach letzen treffer
108                        /<\/ul>/ \
109                        {
110                                # 7. suche verbieten ab dieser zeile
111                                suche = 0
112                                # 8. in naechste zeile springen
113                        next
114                        }
115                        # 9. eindeutige zeile nach letzen treffer backup fals erste nicht klappt
116                        /categoryDefault/ \
117                        {
118                                # 10. suche verbieten ab dieser zeile
119                                suche = 0
120                                # 11. in naechste zeile springen
121                    next
122                        }
123                        # 12. nextpage zeile
124                        # <a href=\"\/video?c=28
125                        /<a href=\"\/video?/ \
126                        {
127                                if (suche == 1)
128                                {
129                                        # <a href="/video?c=28" onclick="ga.....>
130                                        # 13. extrahiere den newpage pfad
131                                        i = index($0, "href=\"") + 6
132                            j = index(substr($0, i), "\"") - 1
133                                        # 14. newpage = /video?c=28
134                            newpage = substr($0, i, j)
135                                        # 15. in naechste zeile springen
136                                        next
137                                }
138                        }
139                        # 16. erste zeile mit treffer
140                        /<img class=\"/ \
141                        {
142                                if (suche == 1 && newpage != "")
143                                {
144                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
145                                        # 17. extrahiere den titel alt="Reife Frauen"
146                                        i = index($0, "alt=\"") + 5
147                            j = index(substr($0, i), "\"") - 1
148                                        # 18. titel = Reife Frauen
149                            title = substr($0, i, j)
150       
151                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">     
152                                        # 19. extrahiere den piclink data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184"
153                                        i = index($0, "data-image=\"") + 12
154                            j = index(substr($0, i), "\"") - 1
155                                        # 20. pic = http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184
156                            pic = substr($0, i, j)
157                                       
158                                        if ( pic == "" )
159                                        {
160                                                # 21. erstelle lokalen picname aus kleingeschriebenen titel
161                                                # 22. titel = reife frauen
162                                                picname = tolower(title)
163       
164                                                # 23. tausche leehrzeichen in punkte
165                                                # 24. titel = reife.frauen
166                                gsub(" ", ".", picname, picname)
167                                                pic = "http://atemio.dyndns.tv/mediathek/menu/" picname ".jpg"
168                                        }
169       
170                                        if (title != "")
171                                        {
172                                                piccount += 1
173                                                # 25. in naechste zeile springen
174                                                # 26. \x27 = single quotes
175                                                print title "#" SRC " " SRC " search \x27" newpage "&page=\x27 1#" pic "#" PICNAME "." piccount ".jpg#" NAME "#0"
176                                        }
177                                       
178                                        # 27. reset variables
179                                        newpage = ""
180                                        title = ""
181                                        picname = ""
182                                        pic = ""
183                                        # 28. in naechste zeile springen
184                                        next
185                        }
186                        }
187                # 29. schreibe alles in die list datei
188                ' >$TMP/$FILENAME.list
189        fi
190        # 30. gebe titan den list namen mit pfad zurueck
191        echo "$TMP/$FILENAME.list"
192}
193
194
195genreold()
196{
197        if [ ! -e "$TMP/$FILENAME.list" ]; then
198                piccount=0
199                $curlbin $URL/$PAGE -o $TMP/cache.$FILENAME.1
200                cat $TMP/cache.$FILENAME.1 | tr '\n' ' ' | sed 's/<a href=/\n\n\nfound=/g' | grep ^found= | grep "/video?c=" | tr '\t' ' ' | sed 's/ \+/ /g' | grep "img src" | grep ".jpg" >$TMP/cache.$FILENAME.2
201               
202                while read -u 3 ROUND; do
203                        PIC=`echo $ROUND | sed 's!<img src=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
204                        TITLE=`echo $ROUND | sed 's!data-mxptext=!\ntitle=!g' | grep ^title= | cut -d'"' -f2`
205                        NEWPAGE=`echo $ROUND | cut -d'"' -f2 | head -n1`
206       
207                        if [ -z "$PIC" ]; then
208#                               PIC="http://atemio.dyndns.tv/mediathek/menu/default.jpg"
209                                PIC="http://atemio.dyndns.tv/mediathek/menu/`echo $TITLE | tr 'A-Z' 'a-z'`.jpg"
210                        fi
211       
212                        TITLE=`echo $TITLE | sed -e 's/&#038;/&/g' -e 's/&amp;/und/g' -e 's/&quot;/"/g' -e 's/&lt;/\</g' -e 's/&#034;/\"/g' -e 's/&#039;/\"/g' -e 's/#034;/\"/g' -e 's/#039;/\"/g' -e 's/&szlig;/Ãx/g' -e 's/&ndash;/-/g' -e 's/&Auml;/Ã/g' -e 's/&Uuml;/ÃS/g' -e 's/&Ouml;/Ã/g' -e 's/&auml;/ä/g' -e 's/&uuml;/ü/g' -e 's/&ouml;/ö/g' -e 's/&eacute;/é/g' -e 's/&egrave;/è/g' -e 's/%F6/ö/g' -e 's/%FC/ü/g' -e 's/%E4/ä/g' -e 's/%26/&/g' -e 's/%C4/Ã/g' -e 's/%D6/Ã/g' -e 's/%DC/ÃS/g' -e 's/%28/(/g' -e 's/%29/)/g' -e 's/%3A/:/g' -e 's/%40/@/g' -e 's/%2B/&/g' -e 's/%C3/A/g' -e 's/%B1/&/g' -e 's/%5B//g' -e 's/%5D//g' -e 's!%2F!/!g' -e 's/|/ /g' -e 's/(/ /g' -e 's/)/ /g' -e 's/+/ /g' -e 's/\//-/g' -e 's/,/ /g' -e 's/;/ /g' -e 's/:/ /g' -e 's/\.\+/./g'`
213       
214                        if [ ! -z "$TITLE" ] && [ ! -z "$NEWPAGE" ];then
215                                if [ ! -e $TMP/$FILENAME.list ];then
216                                        touch $TMP/$FILENAME.list
217                                fi
218                                piccount=`expr $piccount + 1`
219       
220                                if [ `cat $TMP/$FILENAME.list | grep "#$NEWPAGE#" | wc -l` -eq 0 ];then
221                                        LINE="$TITLE#$SRC $SRC search '$NEWPAGE&page=' 1#$PIC#$FILENAME.$FILENAME.$NEXT.$piccount.jpg#$NAME#0"
222                                fi
223                                echo "$LINE" >> $TMP/$FILENAME.list
224                        fi
225       
226                done 3<$TMP/cache.$FILENAME.2
227                rm $TMP/cache.$FILENAME.* > /dev/null 2>&1
228        fi
229        echo "$TMP/$FILENAME.list"
230}
231
232# comment block1 start
233<<"COMMENT"
234
235                                                <ul class="nf-videos videos search-video-thumbs">
236                                                                                                                <li class="videoblock videoBox" id="33423702" _vkey="127170590" >
237<div class="wrap">
238.
239.
240 <div class="phimage">
241 <div class="preloadLine"></div>
242 <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
243 <div class="img videoPreviewBg">
244 <div class="marker-overlays">
245 <var class="duration">6:06</var>
246 <span class="hd-thumbnail">HD</span>
247 </div>
248
249 <img
250 src="http://cdn1b.static.pornhub.phncdn.com/www-static/images/blank.gif"
251 alt="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
252 data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201410/14/33423702/original/(m=ecuK8daaaa)5.jpg"
253 data-mediabook="http://cdn2b.video.pornhub.phncdn.com/videos/201410/14/33423702/180P_375K_33423702.webm?rs=150&ri=1000&s=1488442497&e=1488449697&h=46dd89a4b2712a5e40a7f065ebf157ad"
254 class="js-preload js-videoThumb js-videoThumbFlip thumb js-videoPreview"
255 width="150"
256.
257.
258                                                        </ul>
259
260root@TitanNit-dm900:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh searchold '/video?c=95&page=' 1
261/tmp/localcache/pornhub.searchold.video.c.95.page.1.list
262
263real    0m2.128s
264user    0m0.625s
265sys     0m1.452s
266
267root@TitanNit-dm900:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh search '/video?c=95&page=' 1
268/tmp/localcache/pornhub.search.video.c.95.page.1.list
269
270real    0m0.495s
271user    0m0.090s
272sys     0m0.114s
273
274COMMENT
275# comment block1 end
276
277#https://de.pornhub.com/pornstar/lisa-ann&page=1
278#https://de.pornhub.com/pornstar/lisa-ann?page=2
279
280search()
281{
282#echo $URL$PAGE$NEXT
283#$curlbin -vo - $URL$PAGE$NEXT > /mnt/parser/6666
284        if [ ! -e "$TMP/$FILENAME.list" ]; then
285                $curlbin -o - $URL$PAGE$NEXT | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME -v INPUT=$INPUT -v PAGE=$PAGE -v NEXT=$NEXT \
286                '
287                        # BEGIN variable setzen
288                        BEGIN
289                                {
290                                        # setzt suchvariable auf 0 vor dem start
291                                        suche = 0
292                                        newpage = ""
293                                        pages = "0"
294                                        piccount = 0
295                                }
296                                # <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
297                                /<li class=\"page_next_set\">/ \
298                                {
299                                        # da 2 pages sources geht keine variable ob schon gesetzt.
300                                        #if (pages == "0")
301                                        #{
302                                                # extrahiere die max pages unter 10 pages
303                                                i = index($0, "&amp;page=") + 10
304                                    j = index(substr($0, i), "\"") - 1
305                                    pages = substr($0, i, j)
306                                    # in naechste zeile springen
307                                                next
308                                        #}
309                                }
310                                # <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
311                                /<li class=\"page_number\">/ \
312                                {
313                                        # da 2 pages sources geht keine variable ob schon gesetzt.
314                                        #if (pages == "0")
315                                        #{
316                                                # extrahiere die max pages groesser 10 pages
317                                                i = index($0, "&amp;page=") + 10
318                                    j = index(substr($0, i), "\"") - 1
319                                    pages = substr($0, i, j)
320                                                # in naechste zeile springen
321                                                next
322                                        #}
323                                }
324                                # eindeutige zeile vor ersten treffer
325                                /<ul class=\"nf-videos videos search-video-thumbs\">/ \
326                                {
327                                        # suche erlauben ab dieser zeile
328                                        suche = 1
329                                        # in naechste zeile springen
330                                        next
331                                }
332                                /<ul class=\"videos row-5-thumbs search-video-thumbs\">/ \
333                                {
334                                        # suche erlauben ab dieser zeile
335                                        suche = 1
336                                        # in naechste zeile springen
337                                        next
338                                }
339                                # eindeutige zeile nach letzen treffer
340                                /<\/ul>/ \
341                                {
342                                        # suche verbieten ab dieser zeile
343                                        suche = 0
344                                        # in naechste zeile springen
345                                next
346                                }
347                                # eindeutige zeile nach letzen treffer backup fals erste nicht klappt
348                                /<ul class=\"searchRelatedList sectionContent clearfix\">/ \
349                                {
350                                        # suche verbieten ab dieser zeile
351                                        suche = 0
352                                        # in naechste zeile springen
353                            next
354                                }
355                                # nextpage zeile
356                                # <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
357                                /<a href=\"\/view_video.php?/ \
358                                {
359                                        if (suche == 1)
360                                        {
361                                                # extrahiere den newpage pfad
362                                                i = index($0, "href=\"") + 6
363                                    j = index(substr($0, i), "\"") - 1
364                                                # newpage = /view_video.php?viewkey=127170590
365                                    newpage = substr($0, i, j)
366       
367                                                # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
368                                                # extrahiere den titel title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
369                                                i = index($0, "title=\"") + 7
370                                    j = index(substr($0, i), "\"") - 1
371                                                # title = "Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
372                                    title = substr($0, i, j)
373                                                # in naechste zeile springen
374                                                next
375                                        }
376                                }
377                                # bildlink treffer
378                                # data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/....
379                                /data-mediumthumb=/ \
380                                {
381                                        if (suche == 1 && newpage != "")
382                                        {
383                                                # extrahiere den piclink data-image="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/............
384                                                i = index($0, "data-mediumthumb=\"") + 18
385                                    j = index(substr($0, i), "\"") - 1
386                                                # pic = http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/........
387                                    pic = substr($0, i, j)
388
389                                                if ( pic == "" )
390                                                {
391                                        pic = "http://atemio.dyndns.tv/mediathek/menu/default.jpg"
392                                                }
393
394                                                if (title != "")
395                                                {
396                                                        piccount += 1
397                                                        # in naechste zeile springen
398                                                        # \x27 = single quotes
399                                                        print title "#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
400                                                }
401               
402                                                # 27. reset variables
403                                                newpage = ""
404                                                title = ""
405                                                picname = ""
406                                                pic = ""
407                                                # 28. in naechste zeile springen
408                                                next
409                                }
410                                }
411                                # next page init
412                        END
413                                {
414                                        print "Page (" NEXT + 1 "/" pages ")#" SRC " " SRC " " INPUT " \x27" PAGE "\x27 " NEXT + 1 "#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#" NAME "#0"
415                                }
416                # 29. schreibe alles in die list datei
417                ' >$TMP/$FILENAME.list
418        fi
419        # 30. gebe titan den list namen mit pfad zurueck
420        echo "$TMP/$FILENAME.list"
421}
422
423searchold()
424{
425        if [ ! -e "$TMP/$FILENAME.list" ]; then
426                piccount=0
427
428                $curlbin $URL/$PAGE$NEXT -o $TMP/cache.$FILENAME.1
429                cat $TMP/cache.$FILENAME.1 | tr '\n' ' ' | sed 's/<a href=/\n\n\nfound=/g' | grep ^found= | grep "/view_video.php?viewkey=" | tr '\t' ' ' | sed 's/ \+/ /g' | grep "img src" >$TMP/cache.$FILENAME.2
430       
431#               <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
432                pages=`cat $TMP/cache.$FILENAME.1 | grep "&amp;page" | grep "page_next_set" | sed 's/&amp;page=/\nfound="/g' | grep ^found= | cut -d'"' -f2 | tail -n1`
433
434#               <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
435                if [ -z "$pages" ];then
436                        pages=`cat $TMP/cache.$FILENAME.1 | grep "page_number" | sed 's/&amp;page=/\nfound="/g' | grep ^found= | cut -d'"' -f2 | tail -n1`
437                fi
438
439                while read -u 3 ROUND; do
440                        PIC=`echo $ROUND | sed 's!data-mediumthumb=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
441#                       if [ -z "$PIC" ];then
442#                               PIC=`echo $ROUND | sed 's!data-path=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
443#                       fi
444
445                        TITLE=`echo $ROUND | sed 's!title=!\ntitle=!g' | grep ^title= | cut -d'"' -f2`
446                        NEWPAGE=`echo $ROUND | cut -d'"' -f2`   
447                        TITLE=`echo $TITLE | sed -e 's/&#038;/&/g' -e 's/&amp;/und/g' -e 's/&quot;/"/g' -e 's/&lt;/\</g' -e 's/&#034;/\"/g' -e 's/&#039;/\"/g' -e 's/#034;/\"/g' -e 's/#039;/\"/g' -e 's/&szlig;/Ãx/g' -e 's/&ndash;/-/g' -e 's/&Auml;/Ã/g' -e 's/&Uuml;/ÃS/g' -e 's/&Ouml;/Ã/g' -e 's/&auml;/ä/g' -e 's/&uuml;/ü/g' -e 's/&ouml;/ö/g' -e 's/&eacute;/é/g' -e 's/&egrave;/è/g' -e 's/%F6/ö/g' -e 's/%FC/ü/g' -e 's/%E4/ä/g' -e 's/%26/&/g' -e 's/%C4/Ã/g' -e 's/%D6/Ã/g' -e 's/%DC/ÃS/g' -e 's/%28/(/g' -e 's/%29/)/g' -e 's/%3A/:/g' -e 's/%40/@/g' -e 's/%2B/&/g' -e 's/%C3/A/g' -e 's/%B1/&/g' -e 's/%5B//g' -e 's/%5D//g' -e 's!%2F!/!g' -e 's/|/ /g' -e 's/(/ /g' -e 's/)/ /g' -e 's/+/ /g' -e 's/\//-/g' -e 's/,/ /g' -e 's/;/ /g' -e 's/:/ /g' -e 's/\.\+/./g'`
448       
449                        if [ ! -z "$TITLE" ] && [ ! -z "$NEWPAGE" ] && [ ! -z "$PIC" ];then
450                                if [ ! -e $TMP/$FILENAME.list ];then
451                                        touch $TMP/$FILENAME.list
452                                fi
453                                piccount=`expr $piccount + 1`
454
455                                if [ `cat $TMP/$FILENAME.list | grep "#$NEWPAGE#" | wc -l` -eq 0 ];then
456                                        LINE="$TITLE#$SRC $SRC hoster '$NEWPAGE'#$PIC#$FILENAME.$FILENAME.$NEXT.$piccount.jpg#$NAME#111"
457                                fi
458                                echo "$LINE" >> $TMP/$FILENAME.list
459                        fi
460       
461                done 3<$TMP/cache.$FILENAME.2
462
463                if [ "$NEXT" -lt "$pages" ]; then
464                        NEXTPAGE=`expr $NEXT + 1`
465                        LINE="Page ($NEXTPAGE/$pages)#$SRC $SRC search '$PAGE' $NEXTPAGE#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#$NAME#0"
466                        echo "$LINE" >> $TMP/$FILENAME.list
467                fi
468                rm $TMP/cache.$FILENAME.* > /dev/null 2>&1
469        fi
470        echo "$TMP/$FILENAME.list"
471}
472
473# comment block1 start
474<<"COMMENT"
475        <div class="wrap">
476                <div class="subscribe-to-pornstar-icon display-none">
477                        <button type="button" data-title="bei Pornostar anmelden" class="tooltipTrig" onclick="return false;" ><span></span></button>
478                </div>
479                <a class="js-mxp" data-mxptype="Pornstar" data-mxptext="Angela White" href="/pornstar/angela-white">
480                                                                        <span class="pornstar_label">
481                                <span class="title-album">Rangordnung:
482                                        <span class="rank_number">
483                                                44                                      </span>
484
485                                        <span class='icon rank-up'></span>                              </span>
486                        </span>
487                        <img src="https://ci.phncdn.com/pics/pornstars/000/005/553/(m=lciyeNbOb_c)(mh=uncWnVAyet2L8iyD)thumb_21641.jpg" alt="Angela White"/>
488                </a>
489                <div class="thumbnail-info-wrapper">
490                        <a href="/pornstar/angela-white" class="title js-mxp" data-mxptype="Pornstar" data-mxptext="Angela White" >Angela White</a>
491                        <span class="videosNumber">156 Videos                   8M Aufrufe </span>
492                </div>
493        </div>
494COMMENT
495# comment block1 end
496
497pornstars()
498{
499#echo $URL$PAGE$NEXT
500        if [ ! -e "$TMP/$FILENAME.list" ]; then
501                $curlbin -o - $URL$PAGE$NEXT | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME -v INPUT=$INPUT -v PAGE=$PAGE -v NEXT=$NEXT \
502                '
503                        # BEGIN variable setzen
504                        BEGIN
505                                {
506                                        # setzt suchvariable auf 0 vor dem start
507                                        suche = 0
508                                        newpage = ""
509                                        pages = "0"
510                                        piccount = 0
511                                }
512                                # <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
513                                /class=\"page_next_set\">/ \
514                                {
515#                               print "888888888" $0
516
517                                        # da 2 pages sources geht keine variable ob schon gesetzt.
518                                        #if (pages == "0")
519                                        #{
520                                                # extrahiere die max pages unter 10 pages
521#                                               i = index($0, "&amp;page=") + 10
522                                                i = index($0, "page=") + 5
523                                    j = index(substr($0, i), "\"") - 1
524                                    pages = substr($0, i, j)
525#                                   print "pages" pages
526                                    # in naechste zeile springen
527                                                next
528                                        #}
529                                }
530                                # <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
531                                /class=\"greyButton\">/ \
532                                {
533#                               print "77777777777" $0
534
535                                        # da 2 pages sources geht keine variable ob schon gesetzt.
536                                        #if (pages == "0")
537                                        #{
538                                                # extrahiere die max pages groesser 10 pages
539                                                i = index($0, "page=") + 5
540                                    j = index(substr($0, i), "\"") - 1
541                                    pages = substr($0, i, j)
542#                               print "pages" pages
543
544                                                # in naechste zeile springen
545                                                next
546                                        #}
547                                }
548                                # eindeutige zeile vor ersten treffer
549                                /<ul class=\"videos row-5-thumbs popular-pornstar\">/ \
550                                {
551#                               print "000000000000"
552
553                                        # suche erlauben ab dieser zeile
554                                        suche = 1
555                                        # in naechste zeile springen
556                                        next
557                                }
558                                # eindeutige zeile nach letzen treffer
559                                /<\/ul>/ \
560                                {
561                                        # suche verbieten ab dieser zeile
562                                        suche = 0
563                                        # in naechste zeile springen
564                                next
565                                }
566                                # eindeutige zeile nach letzen treffer backup fals erste nicht klappt
567                                /<div class="pagination3\">/ \
568                                {
569                                        # suche verbieten ab dieser zeile
570                                        suche = 0
571                                        # in naechste zeile springen
572                            next
573                                }
574                                # nextpage zeile
575                                # <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
576                                /<a href=\"\/pornstar\// \
577                                {
578#                               print "33333333333"
579                                        if (suche == 1)
580                                        {
581#                               print "44444444444"
582
583                                                # extrahiere den newpage pfad
584                                                i = index($0, "href=\"") + 6
585                                    j = index(substr($0, i), "\"") - 1
586                                                # newpage = /view_video.php?viewkey=127170590
587                                    newpage = substr($0, i, j)
588#                               print "newpage: " newpage
589
590                                                next
591                                        }
592                                }
593                                # bildlink treffer
594                                # data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/....
595                                /<img src=/ \
596                                {
597#                               print "11111111111"
598
599#                                       if (suche == 1 && newpage != "")
600                                        if (suche == 1)
601                                        {
602#                               print "222222222222"
603
604                                                # extrahiere den piclink data-image="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/............
605                                                i = index($0, "<img src=\"") + 10
606                                    j = index(substr($0, i), "\"") - 1
607                                                # pic = http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/........
608                                    pic = substr($0, i, j)
609
610                                                if ( pic == "" )
611                                                {
612                                        pic = "http://atemio.dyndns.tv/mediathek/menu/default.jpg"
613                                                }
614#                               print "pic: " pic
615
616
617                                                # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
618                                                # extrahiere den titel title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
619                                                i = index($0, "alt=\"") + 5
620                                    j = index(substr($0, i), "\"") - 1
621                                                # title = "Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
622                                    title = substr($0, i, j)
623                                                # in naechste zeile springen
624#                               print "title: " title
625
626#                                               if (title != "")
627#                                               {
628#                                                       piccount += 1
629#                                                       # in naechste zeile springen
630#                                                       # \x27 = single quotes
631#                                                       print title "#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
632#                                               }
633#               
634#                                               # 27. reset variables
635#                                               newpage = ""
636#                                               title = ""
637#                                               picname = ""
638#                                               pic = ""
639#                                               # 28. in naechste zeile springen
640#                                               next
641                                }
642                                }
643                                /<span class=\"videosNumber\">/ \
644                                {
645#                               print "55555555555"
646
647
648                                        if (suche == 1 && newpage != "")
649                                        {
650#                               print "66666666666"
651
652
653                                                i = index($0, "<span class=\"videosNumber\">") + 28
654                                    j = index(substr($0, i), "</span>") - 1
655                                                # <span class="videosNumber">1074 Videos                        40M Aufrufe </span>
656                                    extra = substr($0, i, j)
657                                                # in naechste zeile springen
658
659                                                # trim left "  Hallo   tester   "
660                                                gsub(/^[ \t]+/,"",extra)
661                                                # trim right "  Hallo   tester   "
662                                                gsub(/[ \t]+$/,"",extra)
663                                                # trim middle "  Hallo   tester   "
664                                                gsub(/\t+/," / ",extra)
665
666#                               print "extra: " extra
667
668                                                if (title != "")
669                                                {
670                                                        piccount += 1
671                                                        # in naechste zeile springen
672                                                        # \x27 = single quotes
673#                                                       print title " (" extra ")#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
674                                                        print title " (" extra ")#" SRC " " SRC " search \x27" newpage "?page=\x27 1#" pic "#" PICNAME "." piccount ".jpg#" NAME "#0"
675
676                                                }
677               
678                                                # 27. reset variables
679                                                newpage = ""
680                                                title = ""
681                                                picname = ""
682                                                pic = ""
683                                                # 28. in naechste zeile springen
684                                                next
685                                }
686                                }                               
687                                # next page init
688                        END
689                                {
690                                        print "Page (" NEXT + 1 "/" pages ")#" SRC " " SRC " " INPUT " \x27" PAGE "\x27 " NEXT + 1 "#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#" NAME "#0"
691                                }
692                # 29. schreibe alles in die list datei
693                ' >$TMP/$FILENAME.list
694        fi
695        # 30. gebe titan den list namen mit pfad zurueck
696        echo "$TMP/$FILENAME.list"
697}
698
699hoster()
700{
701#       rm $TMP/cache.$PARSER.$INPUT.* > /dev/null 2>&1
702#       /tmp/localhoster/hoster.sh youtube_dl $URL$PAGE > $TMP/cache.$PARSER.$INPUT.1
703#       STREAMURL=`cat $TMP/cache.$PARSER.$INPUT.1`
704#       echo $STREAMURL
705        echo $URL$PAGE
706}
707
708case $INPUT in
709        init) $INPUT;;
710        mainmenu) $INPUT;;
711        hoster) $INPUT;;
712        search) $INPUT;;
713        searchold) $INPUT;;
714        genre) $INPUT;;
715        genreold) $INPUT;;
716        pornstars) $INPUT;;
717
718esac
Note: See TracBrowser for help on using the repository browser.