Господа, нам надо создать схемы сетей предприятий, если их нет, и предоставить в ОИТ АПК, если они есть.
Схемы предлагается создавать в программе DIA (http://live.gnome.org/Dia/) с использованием трёхмерных схем cisco. Разные линии должны быть по разному оформлены (xDSL, оптика... и даже есле провод прокинут через окно - это должно быть отражено)
Все чертежи должны быть оформлены аккуратно и разборчиво. Схемы должны быть представлены как в формате DIA так и в формате png с разрешением не ниже 1280х800.
Хочется увидеть следующие схемы:
1) логическая схема сети предприятия (тут показано что и куда идёт, сервера, свитчи)
2) схемы рабочих мест (покабинетная отрисовка кто где сидит и как они подключены)
Для примера вот картинка, которую рисовал я
Сеть АПК Стойленская Нива
Схемы ИТ инфраструктуры
- Вложения
-
- Схема корпоративной сети
- web.png (238.16 КБ) 14581 просмотр
Re: Схемы ИТ инфраструктуры
проверьте, поправьте, где не прав
Обновил схему. скажите мне адреса ваших ldk300, которые используются для управления
Обновил схему. скажите мне адреса ваших ldk300, которые используются для управления
- Вложения
-
- телефон.png (226.08 КБ) 14541 просмотр
Сеть АПК Стойленская Нива
Предыстория:
В ходе внедрения системы мониторинга Zabbix столкнулся с тем, что зачастую админы на местах не понимают структуру сети. Данный раздел призван устранить это не понимание.
Теория:
В глобальном понимании наша сеть делится на несколько уровней:
1) Уровень ядра сети - это маршрутизаторы, которые знаю всё обо всех и занимаются"разруливанием" пакетов и сервисов в глобальных масштабах
2) Уровень локальных маршрутизоторов - это ваша cisco на предприятии и её взаимодействие с уровнем ядра сети
3) Локальная сеть предприятия - это то, что находится за вашим маршрутизатором
В свою очередь на уровне Локальная сеть предприятия так же можно выделить следующие уровни, но уде локальные для вашего предприятия, это:
1) Уровень маршрутизации - это ваша cisco
2) Уровень центра сети - это ваш гиговый свитч, сервера
3) Уровень пользователя - конечная точка сети - пользователи
Может быть где-то эти уровни и не чётко разделяются, и сервера воткнуты просто в гиговые порты тех же телесинов, куда включены и пользователи, но тем не менее надо понимать и выделять эти уровни, что бы оперативно и правильно решать задачи.
В ходе внедрения системы мониторинга Zabbix столкнулся с тем, что зачастую админы на местах не понимают структуру сети. Данный раздел призван устранить это не понимание.
Теория:
В глобальном понимании наша сеть делится на несколько уровней:
1) Уровень ядра сети - это маршрутизаторы, которые знаю всё обо всех и занимаются"разруливанием" пакетов и сервисов в глобальных масштабах
2) Уровень локальных маршрутизоторов - это ваша cisco на предприятии и её взаимодействие с уровнем ядра сети
3) Локальная сеть предприятия - это то, что находится за вашим маршрутизатором
В свою очередь на уровне Локальная сеть предприятия так же можно выделить следующие уровни, но уде локальные для вашего предприятия, это:
1) Уровень маршрутизации - это ваша cisco
2) Уровень центра сети - это ваш гиговый свитч, сервера
3) Уровень пользователя - конечная точка сети - пользователи
Может быть где-то эти уровни и не чётко разделяются, и сервера воткнуты просто в гиговые порты тех же телесинов, куда включены и пользователи, но тем не менее надо понимать и выделять эти уровни, что бы оперативно и правильно решать задачи.
Концепт сети АПК СН
Как должно быть?
На сегодняшний день понимание построения сети следующее
В левой части схемы показана сеть АПК СН с центральными маршрутизаторами с Старом Осколе (Здание АПК СН) и минимальное взаимодействие с другими предприятиями
В правой части указано конкретное предприятие и его внутренняя составляющая. Давайте детально рассмотрим что там есть
1) Первое что мы видим, войдя в сеть предприятия со стороны интернета - это маршрутизатор, который обеспечивает связь с внешним миром (интернет) и связь с глобальной сетью АПК СН (шифрованные туннели). В качестве оборудования используется cisco не ниже 890 серии (870 по старой линейке) - верхний предел мощности зависит от размеров и деятельности конкретного предприятия
2) Маршрутизатор соединяется с гигабитным свитчем - это свитч центра сети - через него происходит коммутация соединений. В него включены сервера, свитчи, осуществляющие коммутацию конечных пользователей и прочее оборудование серверной. В качестве оборудования используется гигабитный свитч Allied Telesis 8000GS
3) Вычислительный кластер. Это сервера IBM System x3550 M3 подключенные к хранилищу IBM DS3512 Express Dual Controller Storage System в качестве корневой системы используется VmWare ESXi 5. И вот на этой платформе крутятся все сервера, которые нужны для работы предприятия, такие как 1С, сервер обнровлений, приложений, и так далее.
4) Отдельно стоит сервер на платформе ASUS RS 300 - это сервер с FreeBSD 9 в качестве корневой операционной системы, на котором крутятся основные сервисы сети, такие как DHCP, DNS, прокси, веб, контролер домена, АТС предприятия и так далее
5) Так же к гигабитному свитчу подключены транками коммутаторы Allied Telesis 8000S - это 100 мегабитные свитчи, которые осуществляют коммутацию конечных пользователей
6) Ну и замыкает всю эту цепочку конечный пользователь
Для чего всё это?
Мы стремимся к правильному построению сети для того, что бы в перспективе:
1) снизить время простоя сети при поломке (а то и свести на нет)
2) улучшить производительность сети (не хватает уже...)
3) структуировать, что бы быть проще и быстрей найти злоумышленника (не исключено)
4) сократить затраты на поддержание сети
Важно понимать, что ЛВС предприятия, это не просто "какие-то проводки" а это "инструмент" для управления предприятием, и "сердце предприятия" в глобальном масштабе. Глупо и безответственно подходить к сети "по остаточному принципу" и делать её "лиш бы работало"
Какие планы на будущее?
1) привести сеть предприятия в порядок (кабельканалы, органайзеры - внешняя красота)
2) составить схему как логическую так и физическую и поддерживать её в актуальном состоянии
3) подписать все порты на свитчах - надо знать кто за каким портом находится (это можно сделать в управлении свитча)
4) дотянуть сеть до концепта (модернизировать)
5) Разделить сеть на вланы (каждый отдел в своём vlan'е)
6) настроить систему мониторинга и систему обнаружения вторжений
На сегодняшний день понимание построения сети следующее
- Network-Concept.png (238.79 КБ) 14788 просмотров
В правой части указано конкретное предприятие и его внутренняя составляющая. Давайте детально рассмотрим что там есть
1) Первое что мы видим, войдя в сеть предприятия со стороны интернета - это маршрутизатор, который обеспечивает связь с внешним миром (интернет) и связь с глобальной сетью АПК СН (шифрованные туннели). В качестве оборудования используется cisco не ниже 890 серии (870 по старой линейке) - верхний предел мощности зависит от размеров и деятельности конкретного предприятия
2) Маршрутизатор соединяется с гигабитным свитчем - это свитч центра сети - через него происходит коммутация соединений. В него включены сервера, свитчи, осуществляющие коммутацию конечных пользователей и прочее оборудование серверной. В качестве оборудования используется гигабитный свитч Allied Telesis 8000GS
3) Вычислительный кластер. Это сервера IBM System x3550 M3 подключенные к хранилищу IBM DS3512 Express Dual Controller Storage System в качестве корневой системы используется VmWare ESXi 5. И вот на этой платформе крутятся все сервера, которые нужны для работы предприятия, такие как 1С, сервер обнровлений, приложений, и так далее.
4) Отдельно стоит сервер на платформе ASUS RS 300 - это сервер с FreeBSD 9 в качестве корневой операционной системы, на котором крутятся основные сервисы сети, такие как DHCP, DNS, прокси, веб, контролер домена, АТС предприятия и так далее
5) Так же к гигабитному свитчу подключены транками коммутаторы Allied Telesis 8000S - это 100 мегабитные свитчи, которые осуществляют коммутацию конечных пользователей
6) Ну и замыкает всю эту цепочку конечный пользователь
Для чего всё это?
Мы стремимся к правильному построению сети для того, что бы в перспективе:
1) снизить время простоя сети при поломке (а то и свести на нет)
2) улучшить производительность сети (не хватает уже...)
3) структуировать, что бы быть проще и быстрей найти злоумышленника (не исключено)
4) сократить затраты на поддержание сети
Важно понимать, что ЛВС предприятия, это не просто "какие-то проводки" а это "инструмент" для управления предприятием, и "сердце предприятия" в глобальном масштабе. Глупо и безответственно подходить к сети "по остаточному принципу" и делать её "лиш бы работало"
Какие планы на будущее?
1) привести сеть предприятия в порядок (кабельканалы, органайзеры - внешняя красота)
2) составить схему как логическую так и физическую и поддерживать её в актуальном состоянии
3) подписать все порты на свитчах - надо знать кто за каким портом находится (это можно сделать в управлении свитча)
4) дотянуть сеть до концепта (модернизировать)
5) Разделить сеть на вланы (каждый отдел в своём vlan'е)
6) настроить систему мониторинга и систему обнаружения вторжений
Уровень ядра сети
В этой статье мы поговорим об Уровне ядра сети.
Как видно из рисунка ядро стостоит из 4х маршрутизаторов cisco 2821. Два из них находятся в здании АПК СН в Старом Осколе. Ещё один находится в московском представительстве АПК СН. Последний маршрутизатор находится в г. Волгоград на ЗАО "Хлебозавод №5"
В Старом Осколе у каждого маршрутизатора есть свой независимый провайдер, идущий через разные оптики и так далее. В Москве и Волгограде в один маршрутизатор входит сразу несколько независимых линка интернет, через которые и строятся туннели
- Network-Co.png (272.19 КБ) 14788 просмотров
В Старом Осколе у каждого маршрутизатора есть свой независимый провайдер, идущий через разные оптики и так далее. В Москве и Волгограде в один маршрутизатор входит сразу несколько независимых линка интернет, через которые и строятся туннели
DNS
Введение:
Важно понять следующее - зоны могут быть внутренними и внешними.
Внешние зоны:
Внешние зоны всех предприятий, входящих в структуру холдинга, держат три сервера, подконтрольные отделу ИТ ООО "АПК "Стойленская Нива" - это:
Таким образом все внешние прямые зоны предприятий могут располагаться только на этих 3х серверах. Первый из этих серверов является мастером, остальные слейвом. Внешние обратные зоны заполняет каждый провайдер, кому принадлежат данные ИП адреса.
Внутренние зоны:
Внутренние прямые зонны располагаются на серверах предприятия в качестве мастер-зоны. Слейвы отдаются на ДНС сервера 192.168.1.7 и 192.168.1.1. Таким образом каждый домен держится тремя серверами - в качестве мастера сервер предприятия, и в качестве слейва два сервера АПК.
Для внутренних обратных зон это правило тоже действует - мастер обратной зоны на сервере предприятия, слейвы на 192.168.1.7 и 192.168.1.1
на картинке это будет выглядеть так
Теперь поговорим о конечном пользователе - пользователь должен получать три ДНС сервера - на картинке это зелёные линии. Первый ДНС - это сервер на предприятии, слейвы - это 192.168.1.7 и 192.168.1.1 и 192.168.28.2
То, что говорилось выше относилось к зонам второго уровня. Но бывает что у предприятия есть только зона третьего уровня - в этом случае зона второго уровня мастером хранится на сервере 192.168.1.7, а слейвом на 192.168.1.1 и 192.168.28.2. На самом же предприятии находится зона третьего уровня - для неё будет справедливо всё что писалось выше
Технические вопросы:
Во избежание всяких недопониманий озвучу технические аспекты:
1) Мастера зон крутятся на юниксовых серверах
2) Содержание зоны должны соответствовать действующим стандартам
Важно понять следующее - зоны могут быть внутренними и внешними.
Внешние зоны:
Внешние зоны всех предприятий, входящих в структуру холдинга, держат три сервера, подконтрольные отделу ИТ ООО "АПК "Стойленская Нива" - это:
Выглядит это следующим образом:nserver: inet.stniva.ru. 83.221.166.33
nserver: ns-msk.stniva.ru. 89.179.169.242
nserver: voip.stniva.ru. 94.230.34.22
- ДНС-Внешний.jpg (114.91 КБ) 14757 просмотров
Внутренние зоны:
Внутренние прямые зонны располагаются на серверах предприятия в качестве мастер-зоны. Слейвы отдаются на ДНС сервера 192.168.1.7 и 192.168.1.1. Таким образом каждый домен держится тремя серверами - в качестве мастера сервер предприятия, и в качестве слейва два сервера АПК.
Для внутренних обратных зон это правило тоже действует - мастер обратной зоны на сервере предприятия, слейвы на 192.168.1.7 и 192.168.1.1
на картинке это будет выглядеть так
- ДНС-Общая.jpg (85.72 КБ) 14757 просмотров
То, что говорилось выше относилось к зонам второго уровня. Но бывает что у предприятия есть только зона третьего уровня - в этом случае зона второго уровня мастером хранится на сервере 192.168.1.7, а слейвом на 192.168.1.1 и 192.168.28.2. На самом же предприятии находится зона третьего уровня - для неё будет справедливо всё что писалось выше
Технические вопросы:
Во избежание всяких недопониманий озвучу технические аспекты:
1) Мастера зон крутятся на юниксовых серверах
2) Содержание зоны должны соответствовать действующим стандартам
Очередной вариант
За последнее время в целях оптимизации сеть претерпела ряд изменений и сейчас выглядит следующим образом:
(тут модели cisco выделены размером - от большой к маленькой: cisco 2821, cisco 2811, cisco 1841, cisco 877)
Что же изменилось?
Плохие новости:
1) Мы потеряли ряд предприятий - это грустно. Так с нами больше нет свинокомплекса.
2) Нам так и не удалось добиться по 2 линии интернета на ВСЕХ предприятиях. В основном из-за отсутствия разумной альтернативы
Теперь о хорошем, которое стало возможным это исключительно благодаря покупке новых, более производительных, маршрутизаторов cisco:
1) Сеть перешла на новую технологию - теперь маршруты между заводами строятся, минуя узел АПК. Это значит что связь между заводами стала быстрей и качественней. Давайте посмотрим как это выглядит на практике.
2) Вместе с изменением сети изменилась и телефония - теперь не только моя центральная цсика знает о соседних телефонных станциях - теперь все голосовые циски знают сами, куда лучше отправить звонок, что бы было ближе. То есть в плане телефонии каждая циска, а, следовательно, и завод стали более самомстоятельными
3) Не явно, но из второго пункта вытекает третий - телефония стала использовтаь локальные линии заводов для выхода в город, так, например, если с Саратовского завода заходят заказхать гостиницу в Москве, то звонок, повинуясь правилам, пойдёт не через ИТ телефонию, а по корпоративной сети до москвоского представительства, где и выйдет в город через наземные телефонные линии представительства. Таким образом мы имеем дополнительную экономию.
(тут модели cisco выделены размером - от большой к маленькой: cisco 2821, cisco 2811, cisco 1841, cisco 877)
Плохие новости:
1) Мы потеряли ряд предприятий - это грустно. Так с нами больше нет свинокомплекса.
2) Нам так и не удалось добиться по 2 линии интернета на ВСЕХ предприятиях. В основном из-за отсутствия разумной альтернативы
Теперь о хорошем, которое стало возможным это исключительно благодаря покупке новых, более производительных, маршрутизаторов cisco:
1) Сеть перешла на новую технологию - теперь маршруты между заводами строятся, минуя узел АПК. Это значит что связь между заводами стала быстрей и качественней. Давайте посмотрим как это выглядит на практике.
На примере хорошо видно как изначально сигнал пошёл через Оскол, но уже следующий раз он изменил маршрут и пошёл напрямую - длина маршрута изменилась.%traceroute 192.168.15.2
traceroute to 192.168.15.2 (192.168.15.2), 64 hops max, 40 byte packets
1 cisco.stoilyanka.ru (192.168.54.1) 1.319 ms 1.352 ms 1.292 ms
2 oskol-30.tun.cisco.stniva.ru (192.168.255.1) 27.396 ms 24.066 ms 24.949 ms
3 alexeevka.tun.cisco.stniva.ru (192.168.255.7) 77.829 ms 59.408 ms 62.512 ms
4 hz (192.168.15.2) 60.441 ms 64.569 ms 59.900 ms
%traceroute 192.168.15.2
traceroute to 192.168.15.2 (192.168.15.2), 64 hops max, 40 byte packets
1 cisco.stoilyanka.ru (192.168.54.1) 1.428 ms 1.321 ms 1.302 ms
2 alexeevka.tun.cisco.stniva.ru (192.168.255.7) 84.119 ms 81.974 ms 79.937 ms
3 hz (192.168.15.2) 80.263 ms 76.648 ms 77.477 ms
%
2) Вместе с изменением сети изменилась и телефония - теперь не только моя центральная цсика знает о соседних телефонных станциях - теперь все голосовые циски знают сами, куда лучше отправить звонок, что бы было ближе. То есть в плане телефонии каждая циска, а, следовательно, и завод стали более самомстоятельными
3) Не явно, но из второго пункта вытекает третий - телефония стала использовтаь локальные линии заводов для выхода в город, так, например, если с Саратовского завода заходят заказхать гостиницу в Москве, то звонок, повинуясь правилам, пойдёт не через ИТ телефонию, а по корпоративной сети до москвоского представительства, где и выйдет в город через наземные телефонные линии представительства. Таким образом мы имеем дополнительную экономию.