Алексей Николаевич Крылов родился 3 (15) августа 1863 в селе Висяга Алатырского уезда Симбирской губернии (ныне село Крылово Порецкого района Чувашии) в семье артиллерийского офицера. Отец А. Н. Крылова получил образование за казенный счет, как сын ветерана, раненого под Бородино.

В 1878 году Крылов поступил в Морское училище, которое окончил с отличием в 1884 году. После окончания училища А. Н. работал в компасной мастерской Гидрографического управления под руководством И. П. Колонга, где провел свое первое научное исследование по девиации магнитных компасов. Теория магнитных и гирокомпасов прошла через всю его жизнь. Много позже, в 1938—1940 годах А. Н. опубликовал ряд работ, в которых дал полное изложение теории девиации магнитного компаса, исследовал вопросы теории гироскопических компасов, разработал теорию влияния качки корабля на показания компаса:

• «Основания теории девиации компаса»
• «Возмущения показаний компаса, происходящие от качки корабля на волнении»
• «О теории гирокомпаса»

В 1941 году эти исследования были отмечены Сталинской премией. А. Н. Крылов предложил также новую систему дромоскопа, автоматически рассчитывающего девиацию компаса.

В 1887 году А. Н. Крылов перешел на Франко-русский завод, а затем продолжил учебу на кораблестроительном отделении Морской Академии. После окончания курса (в 1890 году) остался в Академии, где вел практические занятия по математике а впоследствии курс теории корабля. По воспоминаниям самого А. Н. Крылова, с 1887 года его «главной специальностью стало кораблестроение, или, лучше сказать, приложение математики к разного рода вопросам морского дела». С этого началась преподавательская деятельность А. Н., продолжавшаяся почти до самой его смерти.

В 1890-е годы мировую известность приобрел труд Крылова «Теория качки корабля», значительно расширивший теорию Фруда. Работа А. Н. Крылова была первым всеобъемлющим теоретическим трудом в этой области. В 1898 году А. Н. был награжден золотой медалью Британского Общества Корабельных Инженеров, причем это был первый случай в истории, когда медали удостаивался иностранец. Продолжая эти работы, А. Н. Крылов создал теорию демпфирования (умирения) бортовой и килевой качки. Он первый предложил гироскопическое демпфирование (успокоение) бортовой качки, что сегодня является наиболее распространенным способом умирения бортовой качки.
 
С 1900 года А. Н. Крылов активно сотрудничает со Степаном Осиповичем Макаровым, адмиралом и ученым-кораблестроителем, работая над проблемой плавучести корабля. Результаты этой работы вскоре стали классическими и до сих пор широко используются в мире. Много лет спустя Крылов напишет о ранних идеях Макарова по борьбе с креном или дифферентом поврежденного корабля затоплением неповрежденных отсеков: «Это казалось морским чиновникам большой чушью. Потребовалось 35 лет … на то, чтобы их убедить, что идеи 22-летнего Макарова имеют большое практическое значение»

А. Н. Крылов был талантливым консультантом по делам флота. Сам он отмечал, что его советы сэкономили правительству больше стоимости самого современного дредноута. При этом А. Н. славился острым языком и его меткие ответы правительству и Думе становились легендами.

В 1916 Крылов возглавлял Главную физическую обсерваторию и Главное военно-метеорологическое управление. В 1917 был назначен директором физической лаборатории Академии наук, позже — начальником Морской академии.

В 1917 году А. Н. Крылов был руководителем Русского общества пароходостроительства и торговли. После Великой Октябрьской социалистической революции он передал все суда Советскому правительству и продолжал работать на развитие Отечественного флота. В 1921 году А. Н. был направлен в Лондон, как представитель Советского правительства для восстановления зарубежных научных связей страны. В 1927 году он вернулся в Советский Союз.

А. Н. Крылов знаменит своими работами по гидродинамике, в том числе и по теории движения корабля на мелководье (он был первым, кто смог объяснить и рассчитать значительное увеличение гидродинамического сопротивления при небольших глубинах) и теорией единичных волн.

А. Н. Крылов — автор около 300 книг и статей. Они покрывают большой диапазон человеческого знания, включая судостроение, магнетизм, артиллерийское дело, математику, астрономию и геодезию. Широко используются его знаменитые таблицы непотопляемости.
 

В 1931 году Крылов опубликовал работу на тему, известную теперь, как подпространство Крылова или методы подпространства Крылова. Работа касалась проблем собственных значений, а именно, вычисления коэффициентов характеристического полинома заданной матрицы. Крылов коснулся эффективности вычислений и, как настоящий ученый-вычислитель, подсчитал вычислительные затраты как количество «отдельных операций перемножения» — явление не типичное для математической публикации 1931 года. Крылов начал с тщательного сравнения существующих методов, что включает оценку худшего сценария вычислительных затрат в методе Якоби. После этого, он представил свой собственный метод, который был лучшим из известных к тому времени методов и широко используется до сих пор.

А. Н. Крылов перевел на русский язык «Математические начала натуральной философии» Ньютона (1915).

А. Н. Крылов умер 26 октября 1945. Похоронен на «Литераторских мостках» Волкова кладбища неподалеку от И. П. Павлова и Д. М. Менделеева.