Archive for the ‘code’ Category

Регулярни изрази в C (PCRE)

Thursday, November 19th, 2009

Предполагам че на всеки, който пише код рано или късно му се налага да парсва низове. В случай че низът не е нещо кратко, точно и ясно, се налага използването на regex. В различните езици регулярни изрази се ползват по различен начин. Общото е че върху изследвания низ се налага шаблон и според това дали низът попада в шаблона (match-ва) се предприемат някакви действия или части от низа се прехвърлят в други променливи. В Perl това става лесно – има си езикова конструкция:

  1.  
  2. $string = "The lazy dog jumped over the quick brown fox.";
  3. if ($string =~ /(\w{3}\./){
  4. $match = $1;
  5. do_something_on($match);
  6. }
  7.  

Кракто и ясно – ако низът попада в /шаблон/ – да се направи еди какво си. Няма да се спирам точно върху синтаксиса на шаблоните, понеже самия факт че четете това тук предполага че сте на ясно :)
Все пак ако не сте на ясно, ето ви един плашещ шаблон, за да се откажете още тук:
/^([\d\.]+?)\skill\s+(\d+)\s+([\w\s]+?)(\d+?)\s+([\w\s]+?)\w+$/
Това използвам за парсване на тези редове от логовете на Unreal Tournament:
175.48 kill 1 Sniper Rifle 5 Sniper Rifle Decapitated
В PHP няма езикова конструкция, но има доста функции за Perl Compatible Regular Expressions, които работят на същия принцип.
Сега да видим как е положението в С.
От много време търсех как мога да ползвам регулярни изрази, но все удрях на камък. Когато ми се е налагало да парсвам низове съм ползвал sscanf или разбиване на символи, броене, чакане Х-тия символ да е точно ‘А’, Y-тия да е точно ‘B’ и т.н. Неприятна работа включваща жонглиране с цикли, if-ове, strcmp и двадесет нива индентация на кода.
Днес открих че в С има поддръжка на PCRE и ми се дощя да се самоубия :)
Ако работите на нормална операционна система, то може да видите много информация с man pcre и man pcreapi. Ако сте наистина щастливци, някъде из дистрибуцията ще имате файл pcredemo.c, който нагледно показва как се работи с PCRE функциите.
Ако не сте от тези щастливци можете да си намерите файла от тук.
Използват се две основни функции: pcre_compile и pcre_exec. Първата поема съставения шаблон от потребителски низов вид и го превръща във вътрешното представяне, което компилатора използва. Втората функция налага шаблона върху тествания низ и връща съвпаденията във вид на масив от вектори, сочещи началните позиции на съвпаденията. Можете да прочетете за функциите в съответните man страници. И най-добре вижте pcredemo.c

Закоментиране на цял блок код с един знак

Sunday, November 1st, 2009

Този бърз хак работи само в езици, които поддържат коментари от вида “//” за коментиране на ред и такива от вида “/* … */” за коментиране на блок.
Да вземем този блок:

  1.  
  2. blqk();
  3. puf();
  4. paf();
  5.  

Да го закоментираме целия:

  1.  
  2. /*
  3. blqk();
  4. puf();
  5. paf();
  6. */
  7.  

И да закоментираме затварящия коментар :)

  1.  
  2. /*
  3. blqk();
  4. puf();
  5. paf();
  6. //*/
  7.  

В този момент целия блок е закоментиран. Ако сега добавим единична “/” пред отварящия коментар, коментарите ще отпаднат и блокът ще се разкоментира:

  1.  
  2. //*
  3. blqk();
  4. puf();
  5. paf();
  6. //*/
  7.  

Изпробвано е и работи в С и РНР. Ако имате пуснато оцветяване на кода в редактора, който ползвате (и оцветяването работи добре в реално време), ще видите интерсна гледка при добавяне и премахване на магическата “/” :)

Интегриране на GCC във Vim

Wednesday, March 25th, 2009

Вдъхновен от поста на един приятел, реших че може малко да си улесня живота като добавя бързи бутони за Compile и CompileRun във vim :) Пиниза наистина е лесен и си струва. Следните редове се добавят във .vimrc:

  1.  
  2. map <F9> :call CompileRun()<CR>
  3. map <F5> :call Compile()<CR>
  4. func! CompileRun()
  5.         exec "w"        
  6.         exec "!gcc % -o %< && ./%<"
  7. endfunc
  8. func! Compile()
  9.         exec "w"
  10.         exec "!gcc % -o %<"
  11. endfunc
  12.  

След това докато редактирате .с файл цъкате F5 и файла се компилира, F9 и се компилира и изпълнява. Евентуално може да бъде добавена и функцийка за make с Makefile.

Мониторинг качеството на нета

Wednesday, March 11th, 2009

Терминът “качество на нета” по-скоро е взет от някой тинейджърски журнал, но уцелва точно нуждите на крайния клиент. Аз като клиент на моя ISP се нуждая от две неща – ниска (по възможност – никаква) загуба на пакети и ниско (по възможност – никакво) забавяне на пакетите. Това трябва да ми се поднесе разбираемо, с картинка.
Нужен софтуер:

  • RRDtool – има страхотни възможности за представяне на числова информация. За примерни графики вижте галерията им.
  • ping – резултата от изпълнението на ping съдържа всичко необходимо за изграждане на статистиката ни – Round trip time и Packet loss
  • Perl – или друг удобен ви език. Трябва ви за парсване на изхода от ping
  • crontab – искаме статистиката да се събира през определен интервал от време

Системата може да бъде разделена на две части: част за събиране на статистика и част за графично представяне на данните.
Събиране на статистика
На всеки 5 минути ще се пуска ping до няколко избрани хоста в различни зони на пиъринга. Естествено върнатите резултати ще са субективни, защото зависят от параметрите на отсрещната точка. Все пак цялото задание “качество на нета” е субективно, така че да продължаваме :) Избрал съм единия хост да бъде шлюза на доставчика ми, втория хост да бъде dir.bg (тест на bg пиъринга) и третия хост да бъде ivanatora.info (за тест на международната свързаност).
Логът се изгражда от следния скрипт:
/home/ivanatora/perl_razni/ping_stats.pl

  1.  
  2. #!/usr/bin/perl
  3. $target = $ARGV[0]; # тук ще идва адреса на целта
  4. $db = $ARGV[1]; # тук ще идва в коя база ще се записва
  5. $dump = "/home/ivanatora/stats_ping/$target.log"; # лога с крайните резултати
  6. $rrd_path = "/home/ivanatora/rrd/temps/pings"; # директорията с RRD базите
  7. open (FH, ">>", $dump) or die "$!";
  8. ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime(time);
  9. $mon++;
  10. $year += 1900;
  11. $time = sprintf("%02d/%02d/%4d %02d:%02d:%02d", $mday, $mon, $year, $hour, $min, $sec);
  12. $output = `/bin/ping -q -c100 -w100 $target`; # пуска ping със 100 пакета и чака максимално 100 секунди за изпълнението на командата
  13.  
  14. if ($output =~ /(\d+?)% packet loss/){
  15.         $loss = $1;
  16.         $percent = sprintf("%3d", $1);
  17. }
  18. if ($output =~ /rtt min\/avg\/max\/mdev = .+?\/(.+?)\//){
  19.         $avg = $1;
  20.         print FH "$time : $percent% loss to $target Average: $1 ms\n";
  21.         # update RRD
  22.         $ts = time;
  23.         $mod = $ts % 300;
  24.         $ts -= $mod;
  25.         $avg =~ /^(.+?)\./;
  26.         $rtt = $1;
  27.         `/home/ivanatora/rrd/bin/rrdtool update $rrd_path/$db.rrd $ts:$loss:$rtt`; # командата за ъпдейт на базата; TODO: да направя пътя до изпълнимия файл на rrdtool в променлива
  28. }
  29. close (FH);
  30.  

Малко изпреварвам времето, защото още не сме създали RRD базите. Каква е идеята на RRD? Round Robin Database е способ за запазване на постоянно изменяща се информация във времето, като всяка промяна се регистрира в цикличен буфер. Ако имаме един буфер със 12 слота и ъпдейтваме базата през 5 минути, във всеки момент ще имаме данните от предния час. Какво става с по-старите данни – губят ли се? Да. Ако ни трябват ще направим още един буфер, който ще се ъпдейтва на всяко цялостно извъртане на часовия буфер – ще взима средната стойност на всички измервания и ще го записва в един негов слот. Така ако този буфер има 24 слота ще имаме статистика на средната часова стойност на измерванията. Може да имате колкото си искате вторични буфери и всички се съхраняват в една и съща база и се ъпдейтват автоматично. Освен това в един буфер може да пазите стойностите на няколко променливи. Предимствата на RRD е че всяка промяна се регистрира, като размера на базата не нараства линейно във времето.
До тук вероятно имаме лог с нещо такова:
/home/ivanatora/stats_ping/dir.bg.log

11/03/2009 00:05:01 : 0% loss to dir.bg Average: 7.271 ms
11/03/2009 00:10:01 : 0% loss to dir.bg Average: 9.091 ms
11/03/2009 00:15:01 : 0% loss to dir.bg Average: 7.466 ms
11/03/2009 00:20:01 : 1% loss to dir.bg Average: 7.152 ms
11/03/2009 00:25:01 : 0% loss to dir.bg Average: 8.273 ms
11/03/2009 00:30:01 : 0% loss to dir.bg Average: 6.863 ms
11/03/2009 00:35:01 : 0% loss to dir.bg Average: 11.690 ms

Този лог може да използваме за каквото си искаме, а може и въобще да не го правим. Горния скрипт работи ъпдейтва директно rrdtool, така че ако не искате излишни логове да се пазят на машината ви насочете $dump = “/dev/null”; :)

Създаване на RRD бази.
За всеки изследван хост ще направим по една база. В тази база ще се съхраняват стойностите за Round Trip Time и Packet Loss.
Правим си следното bash скриптче (освен ако не ви мързи да го пишете на ръка за всяка база – може да имате и повече от три бази):

  1.  
  2. #!/bin/bash
  3. NOW=`date +%s`
  4. rrdtool create $1.rrd –start $NOW –step 300 \
  5. DS:PacketLoss:GAUGE:300:0:100 \
  6. DS:RTT:GAUGE:300:0:10000 \
  7. RRA:LAST:0.5:1:288 \
  8. RRA:AVERAGE:0.5:6:336 \
  9. RRA:AVERAGE:0.5:24:360 \
  10. RRA:AVERAGE:0.5:288:365
  11.  

Подробностите за синтаксиса можете да намерите в документацията на RRDtool. На кратко – създаваме база с 2 източника на данни (променливи, които ще следим): PacketLoss и RTT. Задават се интервалите на ъпдейт на всеки източник,минимални и максимални допустими стойности. След това се правят 4 Round Robin Archives (буферите, за които говорихме по-рано).
Създаваме трите бази:

[ivanatora@~/rrd/temps/pings]$ sh create_script.sh bg
[ivanatora@~/rrd/temps/pings]$ sh create_script.sh gw
[ivanatora@~/rrd/temps/pings]$ sh create_script.sh int

Слагаме cronjob за изпълнение на ъпдейтващия скрипт на 5 минути:

*/5 * * * * perl /home/ivanatora/perl_razni/ping_stats.pl 87.120.194.1 gw
*/5 * * * * perl /home/ivanatora/perl_razni/ping_stats.pl dir.bg bg
*/5 * * * * perl /home/ivanatora/perl_razni/ping_stats.pl ivanatora.info int

Както видяхме скрипта приема два аргумента: адрес за ping и име на базата, която ъпдейтва.
Рисуване на графиките
Ще имаме отделна графика за всяка следена величина. Може да комбинираме няколко от графиките на една, но само ако очаквате там приблизително еднакви резултати. Големите отклонения на величините карат rrdtool да измества разделителната способност на графиката и една от графиките в общата картинка не се вижда добре. Ще имаме два скрипта за чертане на графики – един за Round Trip Time и един за Packet Loss.
/home/ivanatora/rrd/temps/pings/loss_graph.sh

  1.  
  2. #!/bin/bash
  3. PATH=$PATH:/home/ivanatora/rrd/bin
  4. DIR=/home/ivanatora/rrd/temps/pings/
  5. rrdtool graph $DIR/img/loss-$1.png \
  6. title="<$1> Packet loss" \
  7. –color CANVAS#000000 \
  8. –color BACK#000000 \
  9. –color GRID#006600 \
  10. –color MGRID#003300 \
  11. –color AXIS#00ff00 \
  12. –color FONT#00ff00 \
  13. –color SHADEA#000000 \
  14. –color SHADEB#000000 \
  15. –slope-mode \
  16. –upper-limit 100 \
  17. –rigid \
  18. –width 480 \
  19. –height 300 \
  20. –font DEFAULT:10:Arial \
  21. DEF:loss=$DIR/$1.rrd:PacketLoss:LAST \
  22. DEF:rtt=$DIR/$1.rrd:RTT:LAST \
  23. AREA:loss#00FF00:"Packet loss (%)"
  24.  

/home/ivanatora/rrd/temps/pings/rtt_graph.sh

  1.  
  2. #!/bin/bash
  3. PATH=$PATH:/home/ivanatora/rrd/bin
  4. DIR=/home/ivanatora/rrd/temps/pings/
  5. rrdtool graph $DIR/img/rtt-$1.png \
  6. title="<$1> Round trip time" \
  7. –color CANVAS#000000 \
  8. –color BACK#000000 \
  9. –color GRID#006600 \
  10. –color MGRID#003300 \
  11. –color AXIS#00ff00 \
  12. –color FONT#00ff00 \
  13. –color SHADEA#000000 \
  14. –color SHADEB#000000 \
  15. –slope-mode \
  16. –width 480 \
  17. –height 300 \
  18. –font DEFAULT:10:Arial \
  19. DEF:loss=$DIR/$1.rrd:PacketLoss:LAST \
  20. DEF:rtt=$DIR/$1.rrd:RTT:LAST \
  21. AREA:rtt#00FF00:"Round trip time (ms)"
  22.  

Тук можем да си поиграем с цветовете и крайния резултат да е доста eye-candy. Важните редове са DEF – където се извличат стойностите на променливите от базата и AREA – самото изчертаване. За повече подробности – документацията на RRDtool.
След това правим един скрипт, който да задейства изчертаване на всички графики:
/home/ivanatora/rrd/temps/pings/graph_all.sh

  1.  
  2. #!/bin/bash
  3. DIR=/home/ivanatora/rrd/temps/pings/
  4. $DIR/loss_graph.sh int
  5. $DIR/loss_graph.sh bg
  6. $DIR/loss_graph.sh gw
  7. $DIR/rtt_graph.sh int
  8. $DIR/rtt_graph.sh bg
  9. $DIR/rtt_graph.sh gw
  10.  

И поставяме съответната задача в crontab:

*/5 * * * * sh /home/ivanatora/rrd/temps/pings/graph_all.sh

В резултат всичките изображения се намират в директорията pings/img/. Остава да направим красива HTML страничка, която да събира всичко в едно.
Резултата можете да го видите тук.

Ах този фреймрейт…

Tuesday, February 3rd, 2009

Не ми харесва когато се окаже че субтитрите за някой филм не съвпадат с кадрите на филма. Резултата е постоянно избързване или изоставане на субтитрите спрямо действието, което с течение на времето се увеличава все повече и повече. Някой от умните съвременни плеъри имат опция за смяна на framerate на субтитърния файл. Но повечето го нямат.
По-неприятното е когато всички български сайтове за субтитри имат само една версия на субтитрите, които ви трябват, и то тази версия е за фреймрейт, който е различен от този на филма ви. Тогава или постоянно коригирате субтитрите (бутони Z и X в mplayer) или ги зарязвате и гледате филма в оригинал. Поздрави на хората, които могат от първо слушане да разбират говорим диалектен и жаргонен английски език. Завиждам им.
Алтернативата е да си оправите субтитрите – в нета има доста програмки, които нагласят фреймрейта. Всъщност цялата философия е да се смени времето на появяване на всяка реплика по една проста формула, за това реших да се поупражня и да си напиша моя програмка.
Представям ви – subconv.c. Програмата за сега работи само със субтитри във формат MicroDVD, а в кода има инструкции за експлоатация. Много неща трябва да се пипнат там, което ще направя когато отново ме стегне шапката че не мога да гледам нещо :)