Python / Django

JIT Just-in-time compilation динамическая компиляция. Технология увеличения производительности программ, использующих байт-код, путём компиляции байт-кода в машинный код непосредственно во время работы. Так достигается высокая скорость выполнения по сравнению с интерпретируемым байт-кодом (сравнимая с компилируемыми языками) за счёт увеличения потребления памяти (для хранения результатов компиляции) и затрат времени на компиляцию. Из-за того что компиляция произходит во время исполнения можно проводить различные оптимизации, например, компиляция может осуществляться непосредственно для целевого CPU и операционной системы (SSE, MMX), profile-guided optimizations - cреда может собирать статистику о работающей программе и производить оптимизации с учётом этой информации; cреда может делать глобальные оптимизации кода (встраивание библиотечных функций в код, pseudo-constant propagation или indirect/virtual function inlining); перестраивание кода для лучшего использования кэша.

Tracing JIT в отличие от классического JIT записывает линейную последовательность наиболее часто используемых операций, компилирует их в нативные машинные инструкции, а затем выполняет. Этим он отличается от классического JIT, который компилирует методы целиком.

AOT Ahead-of-time compilation. Процесс компиляции полностью выполняется перед выполнением программы. АОТ не требует выделения дополнительной памяти. АОТ компиляция проходит с минимальной нагрузкой на систему. Хорошо подходит для встроенных систем или mobile устройств.

Примеры

Python, Ruby - интерпретируемый байт-кодом (минимальные оптимизации)

PyPy (via RPython), HOPE, Dalvik (Android), Java, .Net - JIT

ART (заменит Dalvik), Mono AOT, GNU Compiler for Java - AOT

Lua, Pyston, JavaScript V8 - Tracing JIT

Misc

Just-In-Time Compilation Using GCC: Video, Slides, Wiki

	import string

	# In [1]: string.punctuation
	# Out[1]: '!"#$%&\'()*+,-./:;<=>?@[\\]^_`{\|}~'

	# In [2]: string.uppercase
	# Out[2]: 'ABCDEFGHIJKLMNOPQRSTUVWXYZ'

	# In [3]: " " * len(string.punctuation) + string.lowercase
	# Out[3]: ' abcdefghijklmnopqrstuvwxyz'

	# translation table maps upper case to lower case and punctuation to spaces
	translation_table = string.maketrans(string.punctuation+string.uppercase,
	" " * len(string.punctuation) + string.lowercase)

	line = ""
	line = line.translate(translation_table)

	# In [4]: line
	# Out[4]: 'foo bar bizz'

	word_list = line.split()

	# In [5]: word_list
	# Out[5]: ['foo', 'bar', 'bizz']

	/*
	https://en.wikipedia.org/wiki/Time_Stamp_Counter
	https://ru.wikipedia.org/wiki/Rdtsc
	*/

	#include <stdio.h>

	typedef unsigned long long uint64;

	int main() {
	uint64 val;
	unsigned int h, l;
	for (int i=0; i<=10; i++) {
	__asm__ __volatile__("rdtsc" : "=a" (l), "=d" (h));
	val = ((uint64)l) \| (((uint64)h) << 32);

	printf("%llu \n", val);
	}
	}

	// http://developers.redhat.com/blog/2016/03/11/practical-micro-benchmarking-with-ltrace-and-sched/

	/* One drawback of the RDTSC instruction is that the CPU is allowed to reorder
	it relative to other instructions, which causes noise in our results. Fortunately,
	Intel has provided an RDTSCP instruction that’s more deterministic. We’ll pair
	that with a CPUID instruction which acts as a memory barrier, resulting in this: */

	static __inline__ int64_t rdtsc_s(void)
	{
	unsigned a, d;
	asm volatile("cpuid" ::: "%rax", "%rbx", "%rcx", "%rdx");
	asm volatile("rdtsc" : "=a" (a), "=d" (d));
	return ((unsigned long)a) \| (((unsigned long)d) << 32);
	}

	static __inline__ int64_t rdtsc_e(void)
	{
	unsigned a, d;
	asm volatile("rdtscp" : "=a" (a), "=d" (d));
	asm volatile("cpuid" ::: "%rax", "%rbx", "%rcx", "%rdx");
	return ((unsigned long)a) \| (((unsigned long)d) << 32);
	}

	. . .

	clocks_before = rdtsc_s ();
	p = malloc (i); /* Test goes here */
	clocks_after = rdtsc_e ();
	clocks_per_malloc = clocks_after - clocks_before;

	// let the OS use CPU #0
	// boot options:
	// linux . . . isolcpus=1,2,3,4,5,6,7

	// check:
	// taskset -p $$

	// Interrupt affinity:
	// cd /proc/irq
	// for i in */smp_affinity; do echo 1 > $i; done

Aug 26, 2019

Urllib: disable SSL sertificates check

Oct 11, 2018

Compile tensorflow and opencv from source

Tensorflow

cuDNN

Bazel

Opencv

Feb 26, 2018

Extract lemmas

Oct 12, 2017

Байки от Фихтенгольца

Анекдот от разработчиков Алисы

Dec 13, 2016

Oct 25, 2016

Compile and run Postgres with debug symbols

Apr 16, 2016

String translation table

Mar 12, 2016

Using RDTSC instruction that returns CPU TSC (Time Stamp Counter)

Feb 4, 2016

JIT vs AOT

Примеры

Misc