# I am the Watcher. I am your guide through this vast new twtiverse.
#
# Usage:
# https://watcher.sour.is/api/plain/users View list of users and latest twt date.
# https://watcher.sour.is/api/plain/twt View all twts.
# https://watcher.sour.is/api/plain/mentions?uri=:uri View all mentions for uri.
# https://watcher.sour.is/api/plain/conv/:hash View all twts for a conversation subject.
#
# Options:
# uri Filter to show a specific users twts.
# offset Start index for quey.
# limit Count of items to return (going back in time).
#
# twt range = 1 2
# self = https://watcher.sour.is/conv/110751142401190316
Então, para obter uma lista de users e o número de vídeos de cada um, esta linha serviu:
cat videos.jsonl | grep '\"author\":\"[a-z0-9]*\"' -o | sed 's/"author":"//;s/"//' | sort | uniq -c | sort -n | tac > users.txt
Isto é útil porque há vários "parceiros" (ex. noticiasaominuto) cujos vídeos não vão ser removidos e por isso não temos interesse em preservar
Vejo tb que o canal com mais vídeos (rtc) tem 43000 no dataset mas 91000 no site, por isso é uma boa medida de quão completo o nosso dataset está :-)
O top10 dos já descobertos:
43115 rtc
26422 tpa1
19110 canalq
18020 entretenimentoporto
14628 stv
14452 fantunes11
12712 portocanalonline
8641 alticemeokanal
8498 sapodesporto
7972 economicotv
cc @hugopeixoto @bossatossa@bossatossa
#sapovideos
Então, para obter uma lista de users e o número de vídeos de cada um, esta linha serviu:
cat videos.jsonl | grep '\"author\":\"[a-z0-9]*\"' -o | sed 's/"author":"//;s/"//' | sort | uniq -c | sort -n | tac > users.txt
Isto é útil porque há vários "parceiros" (ex. noticiasaominuto) cujos vídeos não vão ser removidos e por isso não temos interesse em preservar
Vejo tb que o canal com mais vídeos (rtc) tem 43000 no dataset mas 91000 no site, por isso é uma boa medida de quão completo o nosso dataset está :-)
O top10 dos já descobertos:
43115 rtc
26422 tpa1
19110 canalq
18020 entretenimentoporto
14628 stv
14452 fantunes11
12712 portocanalonline
8641 alticemeokanal
8498 sapodesporto
7972 economicotv
cc @hugopeixoto @bossatossa@bossatossa
#sapovideos