source: titan/mediathek/localparser_secret/pornhub.sh @ 40309

Last change on this file since 40309 was 40309, checked in by obi, 5 years ago

fix

  • Property svn:executable set to *
File size: 24.2 KB
Line 
1#!/bin/sh
2# first sh box parser for titannit mfg obi
3
4. /tmp/localhoster/hoster.sh
5
6SRC=$1
7INPUT=$2
8PAGE=$3
9NEXT=$4
10PARSER=`echo $SRC | tr '/' '\n' | tail -n1 | sed 's/.sh//'`
11
12FILENAME="`echo $SRC | tr '/' '\n' | tail -n1 | sed 's/.sh//'` $INPUT $PAGE $NEXT"
13FILENAME="`echo $FILENAME | sed -e 's/\&\+/./g' -e 's#\/\+#.#g' -e 's/\?\+/./g' -e 's/;\+/./g' -e 's/=\+/./g' -e 's/ \+/./g' -e 's/\.\+/./g'`"
14PICNAME=`echo $FILENAME`
15
16if [ -z "$FILENAME" ]; then
17        FILENAME=none
18fi
19
20URL=http://www.pornhub.com
21NAME="Pornhub"
22
23mkdir $TMP > /dev/null 2>&1
24
25if [ `echo $SRC | grep ^"/mnt/parser" | wc -l` -gt 0 ];then
26        TYPE="$SRC - Shell script"
27elif [ `echo $SRC | grep ^"/var/swap" | wc -l` -gt 0 ];then
28        TYPE="Swap - Shell script"
29elif [ `echo $SRC | grep ^"/mnt/swapextensions" | wc -l` -gt 0 ];then
30        TYPE="Mnt - Shell script"
31else
32        TYPE="Flash - Shell script"
33fi
34
35init()
36{
37        rm -rf $TMP > /dev/null 2>&1
38        echo "$NAME ($TYPE)#$SRC $SRC mainmenu#http://atemio.dyndns.tv/mediathek/menu/$PARSER.jpg#$PARSER.jpg#TiThek#1000"
39}
40
41mainmenu()
42{
43        echo "Genre#$SRC $SRC genre 'categories'#http://atemio.dyndns.tv/mediathek/menu/Movies.genre.jpg#Movies.genre.jpg#$NAME#0" >$TMP/$FILENAME.list
44        echo "Pornstars#$SRC $SRC pornstars '/pornstars?page=' 1#http://atemio.dyndns.tv/mediathek/menu/pornstars.jpg#pornstars.jpg#$NAME#0" >>$TMP/$FILENAME.list
45        echo "Suchen#$SRC $SRC search 'video/search?search=%search%&page=' 1#http://atemio.dyndns.tv/mediathek/menu/search.jpg#search.jpg#$NAME#112" >>$TMP/$FILENAME.list
46        echo "$TMP/$FILENAME.list"
47}
48
49# comment block1 start
50<<"COMMENT"
51
52<ul class="headerSubMenu">
53 .
54 <li class=" ">
55 <a href="/video?c=28" onclick="ga('send', 'event', 'Header', 'click', 'Category 28');" alt="Reife Frauen">
56 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
57 <span>Reife Frauen</span>
58 </a>
59 </li>
60 .
61 <li>
62 <a class="categoryDefault" href="/categories" onclick="ga('send', 'event', 'Header', 'click', 'Categories');">
63 <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/www-static/images/categories_seeall.gif" alt="See All" width="118" height="88">
64 <span>Alle anzeigen</span>
65 </a>
66 </li>
67</ul>
68
69TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genre 'categories'
70/tmp/tithek/pornhub.genres.list
71real    0m 1.07s
72user    0m 0.39s
73sys     0m 0.39s
74TitanNit-ufs912:
75
76TitanNit-ufs912:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh genreold 'categories'
77/tmp/localcache/pornhub.genreold.categories.list
78real    0m 19.03s
79user    0m 4.71s
80sys     0m 12.14s
81TitanNit-ufs912:~#
82
83COMMENT
84# comment block1 end
85
86genre()
87{
88        if [ ! -e "$TMP/$FILENAME.list" ]; then
89                $curlbin -o - $URL/$PAGE | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME \
90                '
91                        # 1. BEGIN variable setzen
92                        BEGIN
93                        {
94                                # 2. setzt suchvariable auf 0 vor dem start
95                                suche = 0
96                                newpage = ""
97                                piccount = 0
98                        }
99                        # 3. eindeutige zeile vor ersten treffer
100                        /<ul class=\"headerSubMenu\">/ \
101                        {
102                                # 4. suche erlauben ab dieser zeile
103                                suche = 1
104                                # 5. in naechste zeile springen
105                                next
106                        }
107                        # 6. eindeutige zeile nach letzen treffer
108                        /<\/ul>/ \
109                        {
110                                # 7. suche verbieten ab dieser zeile
111                                suche = 0
112                                # 8. in naechste zeile springen
113                        next
114                        }
115                        # 9. eindeutige zeile nach letzen treffer backup fals erste nicht klappt
116                        /categoryDefault/ \
117                        {
118                                # 10. suche verbieten ab dieser zeile
119                                suche = 0
120                                # 11. in naechste zeile springen
121                    next
122                        }
123                        # 12. nextpage zeile
124                        # <a href=\"\/video?c=28
125                        /<a href=\"\/video?/ \
126                        {
127                                if (suche == 1)
128                                {
129                                        # <a href="/video?c=28" onclick="ga.....>
130                                        # 13. extrahiere den newpage pfad
131                                        i = index($0, "href=\"") + 6
132                            j = index(substr($0, i), "\"") - 1
133                                        # 14. newpage = /video?c=28
134                            newpage = substr($0, i, j)
135                                        # 15. in naechste zeile springen
136                                        next
137                                }
138                        }
139                        # 16. erste zeile mit treffer
140                        /<img class=\"/ \
141                        {
142                                if (suche == 1 && newpage != "")
143                                {
144                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
145                                        # 17. extrahiere den titel alt="Reife Frauen"
146                                        i = index($0, "alt=\"") + 5
147                            j = index(substr($0, i), "\"") - 1
148                                        # 18. titel = Reife Frauen
149                            title = substr($0, i, j)
150       
151                                        # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">     
152                                        # 19. extrahiere den piclink data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184"
153                                        i = index($0, "data-image=\"") + 12
154                            j = index(substr($0, i), "\"") - 1
155                                        # 20. pic = http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184
156                            pic = substr($0, i, j)
157                                       
158                                        if ( pic == "" )
159                                        {
160                                                # 21. erstelle lokalen picname aus kleingeschriebenen titel
161                                                # 22. titel = reife frauen
162                                                picname = tolower(title)
163       
164                                                # 23. tausche leehrzeichen in punkte
165                                                # 24. titel = reife.frauen
166                                gsub(" ", ".", picname, picname)
167                                                pic = "http://atemio.dyndns.tv/mediathek/menu/" picname ".jpg"
168                                        }
169       
170                                        if (title != "")
171                                        {
172                                                piccount += 1
173                                                # 25. in naechste zeile springen
174                                                # 26. \x27 = single quotes
175                                                print title "#" SRC " " SRC " search \x27" newpage "&page=\x27 1#" pic "#" PICNAME "." piccount ".jpg#" NAME "#0"
176                                        }
177                                       
178                                        # 27. reset variables
179                                        newpage = ""
180                                        title = ""
181                                        picname = ""
182                                        pic = ""
183                                        # 28. in naechste zeile springen
184                                        next
185                        }
186                        }
187                # 29. schreibe alles in die list datei
188                ' >$TMP/$FILENAME.list
189        fi
190        # 30. gebe titan den list namen mit pfad zurueck
191        echo "$TMP/$FILENAME.list"
192}
193
194
195genreold()
196{
197        if [ ! -e "$TMP/$FILENAME.list" ]; then
198                piccount=0
199                $curlbin $URL/$PAGE -o $TMP/cache.$FILENAME.1
200                cat $TMP/cache.$FILENAME.1 | tr '\n' ' ' | sed 's/<a href=/\n\n\nfound=/g' | grep ^found= | grep "/video?c=" | tr '\t' ' ' | sed 's/ \+/ /g' | grep "img src" | grep ".jpg" >$TMP/cache.$FILENAME.2
201               
202                while read -u 3 ROUND; do
203                        PIC=`echo $ROUND | sed 's!<img src=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
204                        TITLE=`echo $ROUND | sed 's!data-mxptext=!\ntitle=!g' | grep ^title= | cut -d'"' -f2`
205                        NEWPAGE=`echo $ROUND | cut -d'"' -f2 | head -n1`
206       
207                        if [ -z "$PIC" ]; then
208#                               PIC="http://atemio.dyndns.tv/mediathek/menu/default.jpg"
209                                PIC="http://atemio.dyndns.tv/mediathek/menu/`echo $TITLE | tr 'A-Z' 'a-z'`.jpg"
210                        fi
211       
212                        TITLE=`echo $TITLE | sed -e 's/&#038;/&/g' -e 's/&amp;/und/g' -e 's/&quot;/"/g' -e 's/&lt;/\</g' -e 's/&#034;/\"/g' -e 's/&#039;/\"/g' -e 's/#034;/\"/g' -e 's/#039;/\"/g' -e 's/&szlig;/Ãx/g' -e 's/&ndash;/-/g' -e 's/&Auml;/Ã/g' -e 's/&Uuml;/ÃS/g' -e 's/&Ouml;/Ã/g' -e 's/&auml;/ä/g' -e 's/&uuml;/ü/g' -e 's/&ouml;/ö/g' -e 's/&eacute;/é/g' -e 's/&egrave;/è/g' -e 's/%F6/ö/g' -e 's/%FC/ü/g' -e 's/%E4/ä/g' -e 's/%26/&/g' -e 's/%C4/Ã/g' -e 's/%D6/Ã/g' -e 's/%DC/ÃS/g' -e 's/%28/(/g' -e 's/%29/)/g' -e 's/%3A/:/g' -e 's/%40/@/g' -e 's/%2B/&/g' -e 's/%C3/A/g' -e 's/%B1/&/g' -e 's/%5B//g' -e 's/%5D//g' -e 's!%2F!/!g' -e 's/|/ /g' -e 's/(/ /g' -e 's/)/ /g' -e 's/+/ /g' -e 's/\//-/g' -e 's/,/ /g' -e 's/;/ /g' -e 's/:/ /g' -e 's/\.\+/./g'`
213       
214                        if [ ! -z "$TITLE" ] && [ ! -z "$NEWPAGE" ];then
215                                if [ ! -e $TMP/$FILENAME.list ];then
216                                        touch $TMP/$FILENAME.list
217                                fi
218                                piccount=`expr $piccount + 1`
219       
220                                if [ `cat $TMP/$FILENAME.list | grep "#$NEWPAGE#" | wc -l` -eq 0 ];then
221                                        LINE="$TITLE#$SRC $SRC search '$NEWPAGE&page=' 1#$PIC#$FILENAME.$FILENAME.$NEXT.$piccount.jpg#$NAME#0"
222                                fi
223                                echo "$LINE" >> $TMP/$FILENAME.list
224                        fi
225       
226                done 3<$TMP/cache.$FILENAME.2
227                rm $TMP/cache.$FILENAME.* > /dev/null 2>&1
228        fi
229        echo "$TMP/$FILENAME.list"
230}
231
232# comment block1 start
233<<"COMMENT"
234
235                                                <ul class="nf-videos videos search-video-thumbs">
236                                                                                                                <li class="videoblock videoBox" id="33423702" _vkey="127170590" >
237<div class="wrap">
238.
239.
240 <div class="phimage">
241 <div class="preloadLine"></div>
242 <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
243 <div class="img videoPreviewBg">
244 <div class="marker-overlays">
245 <var class="duration">6:06</var>
246 <span class="hd-thumbnail">HD</span>
247 </div>
248
249 <img
250 src="http://cdn1b.static.pornhub.phncdn.com/www-static/images/blank.gif"
251 alt="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
252 data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201410/14/33423702/original/(m=ecuK8daaaa)5.jpg"
253 data-mediabook="http://cdn2b.video.pornhub.phncdn.com/videos/201410/14/33423702/180P_375K_33423702.webm?rs=150&ri=1000&s=1488442497&e=1488449697&h=46dd89a4b2712a5e40a7f065ebf157ad"
254 class="js-preload js-videoThumb js-videoThumbFlip thumb js-videoPreview"
255 width="150"
256.
257.
258                                                        </ul>
259
260root@TitanNit-dm900:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh searchold '/video?c=95&page=' 1
261/tmp/localcache/pornhub.searchold.video.c.95.page.1.list
262
263real    0m2.128s
264user    0m0.625s
265sys     0m1.452s
266
267root@TitanNit-dm900:~# time /tmp/localparser/pornhub.sh /tmp/localparser/pornhub.sh search '/video?c=95&page=' 1
268/tmp/localcache/pornhub.search.video.c.95.page.1.list
269
270real    0m0.495s
271user    0m0.090s
272sys     0m0.114s
273
274COMMENT
275# comment block1 end
276
277#https://de.pornhub.com/pornstar/lisa-ann&page=1
278#https://de.pornhub.com/pornstar/lisa-ann?page=2
279
280search()
281{
282#echo $URL$PAGE$NEXT
283#$curlbin -vo - $URL$PAGE$NEXT > /mnt/parser/6666
284        if [ ! -e "$TMP/$FILENAME.list" ]; then
285                $curlbin -o - $URL$PAGE$NEXT | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME -v INPUT=$INPUT -v PAGE=$PAGE -v NEXT=$NEXT \
286                '
287                        # BEGIN variable setzen
288                        BEGIN
289                                {
290                                        # setzt suchvariable auf 0 vor dem start
291                                        suche = 0
292                                        newpage = ""
293                                        pages = "0"
294                                        piccount = 0
295                                }
296                                # <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
297                                /class=\"page_next_set\">/ \
298                                {
299#                               print "888888888" $0
300
301                                        # da 2 pages sources geht keine variable ob schon gesetzt.
302                                        #if (pages == "0")
303                                        #{
304                                                # extrahiere die max pages unter 10 pages
305#                                               i = index($0, "&amp;page=") + 10
306                                                i = index($0, "page=") + 5
307                                    j = index(substr($0, i), "\"") - 1
308                                    pages = substr($0, i, j)
309#                                   print "pages" pages
310                                    # in naechste zeile springen
311                                                next
312                                        #}
313                                }
314                                # <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
315                                /class=\"greyButton\">/ \
316                                {
317#                               print "77777777777" $0
318
319                                        # da 2 pages sources geht keine variable ob schon gesetzt.
320                                        #if (pages == "0")
321                                        #{
322                                                # extrahiere die max pages groesser 10 pages
323                                                i = index($0, "page=") + 5
324                                    j = index(substr($0, i), "\"") - 1
325                                    pages = substr($0, i, j)
326#                               print "pages" pages
327
328                                                # in naechste zeile springen
329                                                next
330                                        #}
331                                }
332                                # eindeutige zeile vor ersten treffer
333                                /<ul class=\"nf-videos videos search-video-thumbs\">/ \
334                                {
335                                        # suche erlauben ab dieser zeile
336                                        suche = 1
337                                        # in naechste zeile springen
338                                        next
339                                }
340                                /<ul class=\"videos row-5-thumbs search-video-thumbs\">/ \
341                                {
342                                        # suche erlauben ab dieser zeile
343                                        suche = 1
344                                        # in naechste zeile springen
345                                        next
346                                }
347                                # eindeutige zeile nach letzen treffer
348                                /<\/ul>/ \
349                                {
350                                        # suche verbieten ab dieser zeile
351                                        suche = 0
352                                        # in naechste zeile springen
353                                next
354                                }
355                                # eindeutige zeile nach letzen treffer backup fals erste nicht klappt
356                                /<ul class=\"searchRelatedList sectionContent clearfix\">/ \
357                                {
358                                        # suche verbieten ab dieser zeile
359                                        suche = 0
360                                        # in naechste zeile springen
361                            next
362                                }
363                                # nextpage zeile
364                                # <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
365                                /<a href=\"\/view_video.php?/ \
366                                {
367                                        if (suche == 1)
368                                        {
369                                                # extrahiere den newpage pfad
370                                                i = index($0, "href=\"") + 6
371                                    j = index(substr($0, i), "\"") - 1
372                                                # newpage = /view_video.php?viewkey=127170590
373                                    newpage = substr($0, i, j)
374       
375                                                # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
376                                                # extrahiere den titel title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
377                                                i = index($0, "title=\"") + 7
378                                    j = index(substr($0, i), "\"") - 1
379                                                # title = "Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
380                                    title = substr($0, i, j)
381                                                # in naechste zeile springen
382                                                next
383                                        }
384                                }
385                                # bildlink treffer
386                                # data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/....
387                                /data-mediumthumb=/ \
388                                {
389                                        if (suche == 1 && newpage != "")
390                                        {
391                                                # extrahiere den piclink data-image="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/............
392                                                i = index($0, "data-mediumthumb=\"") + 18
393                                    j = index(substr($0, i), "\"") - 1
394                                                # pic = http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/........
395                                    pic = substr($0, i, j)
396
397                                                if ( pic == "" )
398                                                {
399                                        pic = "http://atemio.dyndns.tv/mediathek/menu/default.jpg"
400                                                }
401
402                                                if (title != "")
403                                                {
404                                                        piccount += 1
405                                                        # in naechste zeile springen
406                                                        # \x27 = single quotes
407                                                        print title "#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
408                                                }
409               
410                                                # 27. reset variables
411                                                newpage = ""
412                                                title = ""
413                                                picname = ""
414                                                pic = ""
415                                                # 28. in naechste zeile springen
416                                                next
417                                }
418                                }
419                                # next page init
420                        END
421                                {
422                                        print "Page (" NEXT + 1 "/" pages ")#" SRC " " SRC " " INPUT " \x27" PAGE "\x27 " NEXT + 1 "#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#" NAME "#0"
423                                }
424                # 29. schreibe alles in die list datei
425                ' >$TMP/$FILENAME.list
426        fi
427        # 30. gebe titan den list namen mit pfad zurueck
428        echo "$TMP/$FILENAME.list"
429}
430
431searchold()
432{
433        if [ ! -e "$TMP/$FILENAME.list" ]; then
434                piccount=0
435
436                $curlbin $URL/$PAGE$NEXT -o $TMP/cache.$FILENAME.1
437                cat $TMP/cache.$FILENAME.1 | tr '\n' ' ' | sed 's/<a href=/\n\n\nfound=/g' | grep ^found= | grep "/view_video.php?viewkey=" | tr '\t' ' ' | sed 's/ \+/ /g' | grep "img src" >$TMP/cache.$FILENAME.2
438       
439#               <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
440                pages=`cat $TMP/cache.$FILENAME.1 | grep "&amp;page" | grep "page_next_set" | sed 's/&amp;page=/\nfound="/g' | grep ^found= | cut -d'"' -f2 | tail -n1`
441
442#               <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
443                if [ -z "$pages" ];then
444                        pages=`cat $TMP/cache.$FILENAME.1 | grep "page_number" | sed 's/&amp;page=/\nfound="/g' | grep ^found= | cut -d'"' -f2 | tail -n1`
445                fi
446
447                while read -u 3 ROUND; do
448                        PIC=`echo $ROUND | sed 's!data-mediumthumb=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
449#                       if [ -z "$PIC" ];then
450#                               PIC=`echo $ROUND | sed 's!data-path=!\npic=!g' | grep ^pic= | cut -d'"' -f2 | tail -n1`
451#                       fi
452
453                        TITLE=`echo $ROUND | sed 's!title=!\ntitle=!g' | grep ^title= | cut -d'"' -f2`
454                        NEWPAGE=`echo $ROUND | cut -d'"' -f2`   
455                        TITLE=`echo $TITLE | sed -e 's/&#038;/&/g' -e 's/&amp;/und/g' -e 's/&quot;/"/g' -e 's/&lt;/\</g' -e 's/&#034;/\"/g' -e 's/&#039;/\"/g' -e 's/#034;/\"/g' -e 's/#039;/\"/g' -e 's/&szlig;/Ãx/g' -e 's/&ndash;/-/g' -e 's/&Auml;/Ã/g' -e 's/&Uuml;/ÃS/g' -e 's/&Ouml;/Ã/g' -e 's/&auml;/ä/g' -e 's/&uuml;/ü/g' -e 's/&ouml;/ö/g' -e 's/&eacute;/é/g' -e 's/&egrave;/è/g' -e 's/%F6/ö/g' -e 's/%FC/ü/g' -e 's/%E4/ä/g' -e 's/%26/&/g' -e 's/%C4/Ã/g' -e 's/%D6/Ã/g' -e 's/%DC/ÃS/g' -e 's/%28/(/g' -e 's/%29/)/g' -e 's/%3A/:/g' -e 's/%40/@/g' -e 's/%2B/&/g' -e 's/%C3/A/g' -e 's/%B1/&/g' -e 's/%5B//g' -e 's/%5D//g' -e 's!%2F!/!g' -e 's/|/ /g' -e 's/(/ /g' -e 's/)/ /g' -e 's/+/ /g' -e 's/\//-/g' -e 's/,/ /g' -e 's/;/ /g' -e 's/:/ /g' -e 's/\.\+/./g'`
456       
457                        if [ ! -z "$TITLE" ] && [ ! -z "$NEWPAGE" ] && [ ! -z "$PIC" ];then
458                                if [ ! -e $TMP/$FILENAME.list ];then
459                                        touch $TMP/$FILENAME.list
460                                fi
461                                piccount=`expr $piccount + 1`
462
463                                if [ `cat $TMP/$FILENAME.list | grep "#$NEWPAGE#" | wc -l` -eq 0 ];then
464                                        LINE="$TITLE#$SRC $SRC hoster '$NEWPAGE'#$PIC#$FILENAME.$FILENAME.$NEXT.$piccount.jpg#$NAME#111"
465                                fi
466                                echo "$LINE" >> $TMP/$FILENAME.list
467                        fi
468       
469                done 3<$TMP/cache.$FILENAME.2
470
471                if [ "$NEXT" -lt "$pages" ]; then
472                        NEXTPAGE=`expr $NEXT + 1`
473                        LINE="Page ($NEXTPAGE/$pages)#$SRC $SRC search '$PAGE' $NEXTPAGE#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#$NAME#0"
474                        echo "$LINE" >> $TMP/$FILENAME.list
475                fi
476                rm $TMP/cache.$FILENAME.* > /dev/null 2>&1
477        fi
478        echo "$TMP/$FILENAME.list"
479}
480
481# comment block1 start
482<<"COMMENT"
483        <div class="wrap">
484                <div class="subscribe-to-pornstar-icon display-none">
485                        <button type="button" data-title="bei Pornostar anmelden" class="tooltipTrig" onclick="return false;" ><span></span></button>
486                </div>
487                <a class="js-mxp" data-mxptype="Pornstar" data-mxptext="Angela White" href="/pornstar/angela-white">
488                                                                        <span class="pornstar_label">
489                                <span class="title-album">Rangordnung:
490                                        <span class="rank_number">
491                                                44                                      </span>
492
493                                        <span class='icon rank-up'></span>                              </span>
494                        </span>
495                        <img src="https://ci.phncdn.com/pics/pornstars/000/005/553/(m=lciyeNbOb_c)(mh=uncWnVAyet2L8iyD)thumb_21641.jpg" alt="Angela White"/>
496                </a>
497                <div class="thumbnail-info-wrapper">
498                        <a href="/pornstar/angela-white" class="title js-mxp" data-mxptype="Pornstar" data-mxptext="Angela White" >Angela White</a>
499                        <span class="videosNumber">156 Videos                   8M Aufrufe </span>
500                </div>
501        </div>
502COMMENT
503# comment block1 end
504
505pornstars()
506{
507#echo $URL$PAGE$NEXT
508        if [ ! -e "$TMP/$FILENAME.list" ]; then
509                $curlbin -o - $URL$PAGE$NEXT | awk -v SRC=$SRC -v NAME=$NAME -v PICNAME=$PICNAME -v INPUT=$INPUT -v PAGE=$PAGE -v NEXT=$NEXT \
510                '
511                        # BEGIN variable setzen
512                        BEGIN
513                                {
514                                        # setzt suchvariable auf 0 vor dem start
515                                        suche = 0
516                                        newpage = ""
517                                        pages = "0"
518                                        piccount = 0
519                                }
520                                # <li class="page_next_set"><a class="greyButton" href="/video?c=95&amp;page=10">10</a></li>
521                                /class=\"page_next_set\">/ \
522                                {
523#                               print "888888888" $0
524
525                                        # da 2 pages sources geht keine variable ob schon gesetzt.
526                                        #if (pages == "0")
527                                        #{
528                                                # extrahiere die max pages unter 10 pages
529#                                               i = index($0, "&amp;page=") + 10
530                                                i = index($0, "page=") + 5
531                                    j = index(substr($0, i), "\"") - 1
532                                    pages = substr($0, i, j)
533#                                   print "pages" pages
534                                    # in naechste zeile springen
535                                                next
536                                        #}
537                                }
538                                # <li class="page_number"><a class="greyButton" href="/video/search?search=michaela&amp;page=5">5</a></li>
539                                /class=\"greyButton\">/ \
540                                {
541#                               print "77777777777" $0
542
543                                        # da 2 pages sources geht keine variable ob schon gesetzt.
544                                        #if (pages == "0")
545                                        #{
546                                                # extrahiere die max pages groesser 10 pages
547                                                i = index($0, "page=") + 5
548                                    j = index(substr($0, i), "\"") - 1
549                                    pages = substr($0, i, j)
550#                               print "pages" pages
551
552                                                # in naechste zeile springen
553                                                next
554                                        #}
555                                }
556                                # eindeutige zeile vor ersten treffer
557                                /<ul class=\"videos row-5-thumbs popular-pornstar\">/ \
558                                {
559#                               print "000000000000"
560
561                                        # suche erlauben ab dieser zeile
562                                        suche = 1
563                                        # in naechste zeile springen
564                                        next
565                                }
566                                # eindeutige zeile nach letzen treffer
567                                /<\/ul>/ \
568                                {
569                                        # suche verbieten ab dieser zeile
570                                        suche = 0
571                                        # in naechste zeile springen
572                                next
573                                }
574                                # eindeutige zeile nach letzen treffer backup fals erste nicht klappt
575                                /<div class="pagination3\">/ \
576                                {
577                                        # suche verbieten ab dieser zeile
578                                        suche = 0
579                                        # in naechste zeile springen
580                            next
581                                }
582                                # nextpage zeile
583                                # <a href="/view_video.php?viewkey=127170590" title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14" class="img" data-related-url="/video/ajax_related_video?vkey=127170590" >
584                                /<a href=\"\/pornstar\// \
585                                {
586#                               print "33333333333"
587                                        if (suche == 1)
588                                        {
589#                               print "44444444444"
590
591                                                # extrahiere den newpage pfad
592                                                i = index($0, "href=\"") + 6
593                                    j = index(substr($0, i), "\"") - 1
594                                                # newpage = /view_video.php?viewkey=127170590
595                                    newpage = substr($0, i, j)
596#                               print "newpage: " newpage
597
598                                                next
599                                        }
600                                }
601                                # bildlink treffer
602                                # data-mediumthumb="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/....
603                                /<img src=/ \
604                                {
605#                               print "11111111111"
606
607#                                       if (suche == 1 && newpage != "")
608                                        if (suche == 1)
609                                        {
610#                               print "222222222222"
611
612                                                # extrahiere den piclink data-image="http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/............
613                                                i = index($0, "<img src=\"") + 10
614                                    j = index(substr($0, i), "\"") - 1
615                                                # pic = http://i0.cdn2b.image.pornhub.phncdn.com/videos/201702/17/106465292/original/........
616                                    pic = substr($0, i, j)
617
618                                                if ( pic == "" )
619                                                {
620                                        pic = "http://atemio.dyndns.tv/mediathek/menu/default.jpg"
621                                                }
622#                               print "pic: " pic
623
624
625                                                # <img class="js-menuSwap" data-image="http://cdn1b.static.pornhub.phncdn.com/images/categories/118x88/28.jpg?cache=1488300184" width="118" height="88" alt="Reife Frauen">
626                                                # extrahiere den titel title="Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
627                                                i = index($0, "alt=\"") + 5
628                                    j = index(substr($0, i), "\"") - 1
629                                                # title = "Young-Devotion - Verdammt! Ist mir das jetzt wirklich passiert 17.02.14"
630                                    title = substr($0, i, j)
631                                                # in naechste zeile springen
632#                               print "title: " title
633
634#                                               if (title != "")
635#                                               {
636#                                                       piccount += 1
637#                                                       # in naechste zeile springen
638#                                                       # \x27 = single quotes
639#                                                       print title "#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
640#                                               }
641#               
642#                                               # 27. reset variables
643#                                               newpage = ""
644#                                               title = ""
645#                                               picname = ""
646#                                               pic = ""
647#                                               # 28. in naechste zeile springen
648#                                               next
649                                }
650                                }
651                                /<span class=\"videosNumber\">/ \
652                                {
653#                               print "55555555555"
654
655
656                                        if (suche == 1 && newpage != "")
657                                        {
658#                               print "66666666666"
659
660
661                                                i = index($0, "<span class=\"videosNumber\">") + 28
662                                    j = index(substr($0, i), "</span>") - 1
663                                                # <span class="videosNumber">1074 Videos                        40M Aufrufe </span>
664                                    extra = substr($0, i, j)
665                                                # in naechste zeile springen
666
667                                                # trim left "  Hallo   tester   "
668                                                gsub(/^[ \t]+/,"",extra)
669                                                # trim right "  Hallo   tester   "
670                                                gsub(/[ \t]+$/,"",extra)
671                                                # trim middle "  Hallo   tester   "
672                                                gsub(/\t+/," / ",extra)
673
674#                               print "extra: " extra
675
676                                                if (title != "")
677                                                {
678                                                        piccount += 1
679                                                        # in naechste zeile springen
680                                                        # \x27 = single quotes
681#                                                       print title " (" extra ")#" SRC " " SRC " hoster \x27" newpage "\x27#" pic "#" PICNAME "." piccount ".jpg#" NAME "#111"
682                                                        print title " (" extra ")#" SRC " " SRC " search \x27" newpage "?page=\x27 1#" pic "#" PICNAME "." piccount ".jpg#" NAME "#0"
683
684                                                }
685               
686                                                # 27. reset variables
687                                                newpage = ""
688                                                title = ""
689                                                picname = ""
690                                                pic = ""
691                                                # 28. in naechste zeile springen
692                                                next
693                                }
694                                }                               
695                                # next page init
696                        END
697                                {
698                                        print "Page (" NEXT + 1 "/" pages ")#" SRC " " SRC " " INPUT " \x27" PAGE "\x27 " NEXT + 1 "#http://atemio.dyndns.tv/mediathek/menu/next.jpg#next.jpg#" NAME "#0"
699                                }
700                # 29. schreibe alles in die list datei
701                ' >$TMP/$FILENAME.list
702        fi
703        # 30. gebe titan den list namen mit pfad zurueck
704        echo "$TMP/$FILENAME.list"
705}
706
707hoster()
708{
709#       rm $TMP/cache.$PARSER.$INPUT.* > /dev/null 2>&1
710#       /tmp/localhoster/hoster.sh youtube_dl $URL$PAGE > $TMP/cache.$PARSER.$INPUT.1
711#       STREAMURL=`cat $TMP/cache.$PARSER.$INPUT.1`
712#       echo $STREAMURL
713        echo $URL$PAGE
714}
715
716case $INPUT in
717        init) $INPUT;;
718        mainmenu) $INPUT;;
719        hoster) $INPUT;;
720        search) $INPUT;;
721        searchold) $INPUT;;
722        genre) $INPUT;;
723        genreold) $INPUT;;
724        pornstars) $INPUT;;
725
726esac
Note: See TracBrowser for help on using the repository browser.