Дэвид Хэнд — новинки

Человечество научилось собирать, обрабатывать и использовать в науке, бизнесе и повседневной жизни огромные массивы данных. Но что делать с данными, которых у нас нет? Допустимо ли игнорировать то, чего мы не замечаем?

Британский статистик Дэвид Хэнд считает, что это по меньшей мере недальновидно, а порой крайне опасно. В своей книге он выделяет 15 влияющих на наши решения и действия видов данных, которые остаются в тени. Например, речь идет об учете сигналов бедствия, которые могли бы подать жители бедных районов, если бы у них были смартфоны, о результатах медицинского исследования, которые намеренно утаили или случайно исказили, или о данных, ставших темными из-за плохого набора критериев для включения в выборку. Хэнд также рассказывает о том, какие меры могут сгладить эффект темных данных и как их можно обратить себе на пользу.

Книга будет интересна широкому кругу читателей, интересующихся дата-сайенс, программированием и статистикой.

Человечество научилось собирать, обрабатывать и использовать в науке, бизнесе и повседневной жизни огромные массивы данных. Но что делать с данными, которых у нас нет? Допустимо ли игнорировать то, чего мы не замечаем?
Британский статистик Дэвид Хэнд считает, что это по меньшей мере недальновидно, а порой крайне опасно. В своей книге он выделяет 15 влияющих на наши решения и действия видов данных, которые остаются в тени. Например, речь идет об учете сигналов бедствия, которые могли бы подать жители бедных районов, если бы у них были смартфоны, о результатах медицинского исследования, которые намеренно утаили или случайно исказили, или о данных, ставших темными из-за плохого набора критериев для включения в выборку. Хэнд также рассказывает о том, какие меры могут сгладить эффект темных данных и как их можно обратить себе на пользу.

Статистические идеи и методы лежат в основе любого аспекта современной жизни. Начиная с рандомизированных клинических испытаний, применяемых в медицинских исследованиях, и заканчивая использованием статистических моделей для оценки риска банками и хедж-фондами, а статистических методов — для исследования огромных астрономических баз данных. Таким образом, статистика стала жизненно необходимой наукой для понимания окружающего нас мира. Однако та статистика, о которой пойдет речь, не совпадает с бытующим стереотипом о занудной дисциплине. Времена, когда арифметические операции приходилось производить вручную, давно канули в Лету. После революции, произошедшей в статистике с появлением компьютеров, наука изменилась и на данный момент являет собой динамично развивающуюся дисциплину, которая использует продвинутые программные средства для поиска структур, шаблонов и взаимосвязей, скрытых в численных данных. Это «Очень краткое введение» предлагает взгляд на статистику с точки зрения описания ее истории, приводит примеры того, как статистика влияет на окружающий мир. В книге кратко описаны методы сбора и анализа данных, а также объясняется роль, которую играет теория вероятности в современной статистике. Данная книга также исследует крайне важный философский вопрос, касающийся индукции: каким образом статистика помогает разглядеть в ограниченном множестве наблюдений истинную природу исследуемого феномена.

In The Improbability Principle, the renowned statistician David J. Hand argues that extraordinarily rare events are anything but. In fact, they’re commonplace. Not only that, we should all expect to experience a miracle roughly once every month.
But Hand is no believer in superstitions, prophecies, or the paranormal. His definition of “miracle” is thoroughly rational. No mystical or supernatural explanation is necessary to understand why someone is lucky enough to win the lottery twice, or is destined to be hit by lightning three times and still survive. All we need, Hand argues, is a firm grounding in a powerful set of laws: the laws of inevitability, of truly large numbers, of selection, of the probability lever, and of near enough.
Together, these constitute Hand’s groundbreaking Improbability Principle. And together, they explain why we should not be so surprised to bump into a friend in a foreign country, or to come across the same unfamiliar word four times in one day. Hand wrestles with seemingly less explicable questions as well: what the Bible and Shakespeare have in common, why financial crashes are par for the course, and why lightning does strike the same place (and the same person) twice. Along the way, he teaches us how to use the Improbability Principle in our own lives—including how to cash in at a casino and how to recognize when a medicine is truly effective.
An irresistible adventure into the laws behind “chance” moments and a trusty guide for understanding the world and universe we live in, The Improbability Principle will transform how you think about serendipity and luck, whether it’s in the world of business and finance or you’re merely sitting in your backyard, tossing a ball into the air and wondering where it will land.

The collation of large electronic databases of scienti?c and commercial infor- tion has led to a dramatic growth of interest in methods for discovering struc- res in such databases. These methods often go under the general name of data mining. One important subdiscipline within data mining is concerned with the identi?cation and detection of anomalous, interesting, unusual, or valuable - cords or groups of records, which we call patterns. Familiar examples are the detection of fraud in credit-card transactions, of particular coincident purchases in supermarket transactions, of important nucleotide sequences in gene sequence analysis, and of characteristic traces in EEG records. Tools for the detection of such patterns have been developed within the data mining community, but also within other research communities, typically without an awareness that the - sic problem was common to many disciplines. This is not unreasonable: each of these disciplines has a large literature of its own, and a literature which is growing rapidly. Keeping up with any one of these is di?cult enough, let alone keeping up with others as well, which may in any case be couched in an - familiar technical language. But, of course, this means that opportunities are being lost, discoveries relating to the common problem made in one area are not transferred to the other area, and breakthroughs and problem solutions are being rediscovered, or not discovered for a long time, meaning that e?ort is being wasted and opportunities may be lost.

What is national wellbeing and what is progress? Why measure these definitions? Why are measures beyond economic performance needed and how will they be used? How do we measure national wellbeing & turn the definitions into observable quantities? Where are we now and where to next? These questions are asked and answered in this much needed, timely book. The Wellbeing of Nations provides an accessible and comprehensive overview of the measurement of national well-being, examining whether national wellbeing is more than the sum of the wellbeing of everyone in the country, and identifying and reviewing requirements for new measures. It begins with definitions, describes how to operationalize those definitions, and takes a critical look at the uses to which such measures are to be put. The authors examine initiatives from around the world, using the UK ‘measuring national wellbeing programme’ as a case study throughout the book, along with case studies drawn from other countries, as well as discussion of the position in some countries not yet drawn into the national wellbeing scene.

Человечество научилось собирать, обрабатывать и использовать в науке, бизнесе и повседневной жизни огромные массивы данных. Но что делать с данными, которых у нас нет? Допустимо ли игнорировать то, чего мы не замечаем? Британский статистик Дэвид Хэнд считает, что это по меньшей мере недальновидно, а порой – крайне опасно. В своей книге он выделяет 15 влияющих на наши решения и действия видов данных, которые остаются в тени. Например, речь идет об учете сигналов бедствия, которые могли бы подать жители бедных районов, если бы у них были смартфоны, результатах медицинского исследования, которые намеренно утаили или случайно исказили, или данных, ставших «темными» из-за плохого набора критериев для включения в выборку. Хэнд также рассказывает о том, какие меры могут сгладить эффект «темных данных» и как их можно обратить себе на пользу. Книга будет интересна широкому кругу читателей, интересующихся дата-сайенс, программированием и статистикой.