Use left margin to hold "=>" to indicate current error in fringeless windows

This applies to compilation-mode.  It amends the fix for bug #36832.

* lisp/progmodes/compile.el (compilation-arrow-overlay): renamed from
overlay-arrow-overlay.
(compilation-margin-string, compilation--dummy-string): New variables.
(compilation-set-up-arrow-spec-in-margin)
(compilation-tear-down-arrow-spec-in-margin): New functions.
(compilation-set-overlay-arrow): Rewritten to use the new variables/functions.

Fix Bug#37202

* lisp/shadowfile.el (shadow-debug): New defvar.
(shadow-read-files): Suppress error if there's no TODO file.

* test/lisp/shadowfile-tests.el (shadow-debug): Set to nil.
(shadow--tests-cleanup): New defun.  Apply to all tests.  (Bug#37202)
(shadow-test06-literal-groups): Cleanup temp buffer.
(shadow-test08-shadow-todo): Add debug messages.
(top): Cleanup initially.

Update from Gnulib

This incorporates:
2019-08-25 intprops.h, verify.h: port better to clang
2019-08-21 New strip-trailing-space option for srclist-update
* .gitattributes: Remove doc/misc/texinfo.tex special case,
which is no longer needed now that Gnulib trims blank-at-eol.
* build-aux/install-sh, doc/misc/texinfo.tex, lib/intprops.h:
* lib/regex_internal.c, lib/verify.h: Copy from Gnulib.

* doc/lispref/files.texi (Standard File Names): Mention .emacs.d too.

Reword documentation markup description

* etc/NEWS: Reword temporary note about documentation updates.

Add 'nsm-trust-local-network' to NEWS

* etc/NEWS: Describe 'nsm-trust-local-network', and warn against its
use.

* admin/admin.el (set-version): Check for empty NEWS sections.

Fix load-theme bug with user-emacs-directory

* lisp/custom.el (custom-theme-directory): Delay initialization,
since the value depends on user-emacs-directory (Bug#37256).

; Auto-commit of loaddefs files.

Clarify what counts as whitespace in `string-blank-p'

* lisp/emacs-lisp/subr-x.el (string-blank-p): Expand doc string.

package.el: Allow Package-Requires to span multiple lines (Bug#36301)

* lisp/emacs-lisp/package.el (lm-header-multiline): Declare
function.
(package-buffer-info): Parse Package-Requires with
lm-header-multiline instead of lm-header.
(Bug#36301)

Co-authored-by: Noam Postavsky <npostavs@gmail.com>

Make user-emacs-directory a variable

This is in response to Eli’s review here:
https://lists.gnu.org/r/emacs-devel/2019-07/msg00712.html
* lisp/subr.el (user-emacs-directory): defvar, not defconst

Improve documentation for recent XDG-related changes

Adjust documentation in the light of Eli’s review here:
https://lists.gnu.org/r/emacs-devel/2019-07/msg00712.html
* doc/emacs/custom.texi (Init File, Find Init):
* doc/lispref/files.texi (Standard File Names):
* doc/lispref/os.texi (Init File):

* doc/lispref/customize.texi: Fix typo.

Calculate user-emacs-directory on startup

Problem reported by Glenn Morris (Bug#583#56).
* lisp/startup.el (startup--xdg-config-default): New constant.
(startup--xdg-config-home-emacs): New var.
(startup--xdg-or-homedot): New function.
(normal-top-level): Use it to set user-emacs-directory early on.
(command-line): Also use it to determine the startup init directory.
* lisp/subr.el (user-emacs-directory): Just initialize to nil.

Check instead of relying on NOTREACHED

NOTREACHED was designed for traditional lint decades ago,
and _Noreturn now normally subsumes its function.
In the one case in Emacs where NORETURN might help and _Noreturn does
not, check for NOTREACHED instead of assuming it.
* lib-src/etags.c (main):
* src/xterm.c (x_connection_closed):
Remove NOTREACHED after a call to a _Noreturn function, as NOTREACHED
is no longer needed there.  Also, one of the NOTREACHEDs was
misplaced, which defeated traditional lint checking anyway.
* lib-src/pop.c (pop_getline): Redo so as to not need NOTREACHED.
* src/emacs.c (main): Use eassume (false) rather than NOTREACHED,
so that running with ENABLE_CHECKING catches any internal error
causing the toplevel Frecursive_edit to return.

* test/lisp/net/tramp-tests.el (tramp-test21-file-links): More cleanup.

Fix compilation with CHECK_STRUCTS

* src/pdumper.c (dump_hash_table): Update hash of Lisp_Hash_Table.

; * src/floatfns.c: Don't use non-ASCII characters in comments.

Avoid signaling errors from ls-lisp--insert-directory on macOS

* lisp/ls-lisp.el (ls-lisp-sanitize): Don't assume the
directory entries for ".." and "." will either both be present
or both absent.  (Bug#37236)

* src/floatfns.c: Check against __FINITE_MATH_ONLY__ (bug#37140)

Extend tramp--test-check-files  (Bug#37228)

* test/lisp/net/tramp-tests.el (tramp--test-check-files): Test also
`directory-files-and-attributes'.  (Bug#37228)

Fix Tramp's directory-files-and-attributes-with-stat  (Bug#37228)

* lisp/net/tramp-sh.el
(tramp-do-directory-files-and-attributes-with-stat): Handle file
names with spaces.  (Bug#37228)

Copyright-paperwork-exempt: yes

emacsclient: adjust to new config file location

* lib-src/emacsclient.c (open_config): New arg XDG, to respect
XDG_CONFIG_HOME, consistently with Emacs proper.  Caller changed.
Use XDG convention if available, falling back on the old names
if not.

Prefer ~/.config/emacs to ~/.emacs.d if neither exists

That way, when Emacs starts in a fresh home directory,
it prefers the new (XDG) convention rather than the old one.
* lisp/files.el (locate-user-emacs-file): Make the parent
directories of user-emacs-directory if needed.  This is useful
if user-emacs-directory is "~/.config/emacs" and "~/.config"
does not yet exist.
* lisp/startup.el (command-line):
* lisp/subr.el (user-emacs-directory):
Prefer XDG_CONFIG_HOME to ~/.emacs.d if neither exists.

Minor copyedits in ido.texi

* doc/misc/ido.texi (Overview)
(Interactive Substring Matching, Prefix Matching)
(Regexp Matching, Hidden Buffers and Files)
(Changing List Order, Find File At Point, Misc)
(All Matching, Replacement): Fix wording, markup and punctuation.
(Bug#37225)

Merge from origin/emacs-26

1af1240 (origin/emacs-26, emacs-26) ; Remove empty NEWS sections
96dd019 (tag: emacs-26.3-rc1, tag: emacs-26.3) * etc/HISTORY: Add Ema...

# Conflicts:
# etc/NEWS

; Merge from origin/emacs-26

The following commit was skipped:

4e59ad5 Bump Emacs version to 26.3

Merge from origin/emacs-26

70829f8 ; ChangeLog.3 update

# Conflicts:
# ChangeLog.3

; Merge from origin/emacs-26

The following commit was skipped:

a6d0172 * etc/AUTHORS: Update.

Merge from origin/emacs-26

290fe4d * ; ChangeLog.3 update
e8f176b * etc/NEWS: Delete temporary markup.

# Conflicts:
# ChangeLog.3
# etc/NEWS

; Fix earlier NEWS merge

; Remove empty NEWS sections

Add new "make help" target

* GNUmakefile: Add new "help" target that shows a brief summary of
common make targets.  (Bug#12411)
* INSTALL
* etc/NEWS: Announce it.

Tweak shr background colour handling

* lisp/net/shr.el (shr-fill-line): Extend the background to the
end of the line when folding lines.

Clarify meaning of <filename> in test/README

Don't worry about pre-1.0.0 alsa-lib include

Problem reported by Ergus in:
https://lists.gnu.org/r/emacs-devel/2019-08/msg00563.html
* configure.ac (ALSA_SUBDIR_INCLUDE): Do not define.
* src/sound.c: Assume ALSA_SUBDIR_INCLUDE.

; Improve and clarify wording of recent commit in NEWS.

Use XDG conventions more consistently

Fit in better with the XDG conventions.
Something like this was suggested in 2008 (Bug#583)
and the XDG conventions seem to have settled down by now.
* doc/emacs/custom.texi (Init File, Init Syntax, Find Init):
* doc/lispref/files.texi (Standard File Names):
* doc/lispref/os.texi (Init File):
* doc/misc/url.texi (Customization):
* etc/NEWS:
Adjust accordingly.
* lisp/startup.el (startup--load-user-init-file):
If init-file-name is nil, do not load from it; instead
just use the alt-file.
(find-init-path): Remove; no longer used.
(command-line): Don't check twice for XDG.
Look at XDG_CONFIG_HOME instead of assuming it's ~/.config.
Prefer XDG configuration if it exists; the user can disable
this by setting XDG_CONFIG_HOME to some other place.
* lisp/subr.el (user-emacs-directory):
Prefer XDG configuration if it exists.

Port recent gnutls fixes to gcc -Wpointer-sign

* src/gnutls.c (Fgnutls_format_certificate):
Fix pointer signedness problem.

Browser-like Info-history button menu (bug#37184)

* doc/misc/info.texi (Help-Int): Using tool-bar to navigate history.

* lisp/info.el (Info-history-menu): New function.
(Info-history-back-menu, Info-history-forward-menu): New commands.
(Info-mode-map): Bind Info-history-back-menu and
Info-history-forward-menu to tool-bar on C-key.

Deactivate part of tramp--test-check-files on macOS (Bug#36940)

* test/lisp/net/tramp-tests.el (tramp--test-check-files): Do not
search for environment variables on macOS.  (Bug#36940)

; Fix commentary of last change.

Fix crashes on MS-Windows when using GnuTLS connections

* src/gnutls.c (init_gnutls_functions) [WINDOWSNT]: Define and
load gnutls_free by an explicit call to GetProcAddress.
(gnutls_free) [WINDOWSNT]: Define as a macro that dereferences
a function pointer.  (Bug#31946)
(Fgnutls_format_certificate): Use make_string_from_bytes
instead of going through an intermediate malloc'ed buffer.

Fix filename completion in shell mode buffers

* lisp/shell.el (shell-dynamic-complete-functions): Move
pcomplete-completions-at-point down the list so that filename
completion has a chance to complete before pcompletion.

Fixes bug#34330

* test/Makefile.in (test_template): Declare target FOO.log.

Fix completion in `read-library-name'

* lisp/emacs-lisp/find-func.el (read-library-name): Only list
.el/.el.gz files when completing (bug#36945).

Make link widgets obey mouse-1-click-follows-link

* lisp/wid-edit.el (widget-link-keymap): New variable, a keymap to use
inside a link widget.
('link widget): Restore the :follow-link property and add
widget-link-keymap as the :keymap property (bug#15682).

Adapt recentf.el to the change in the Widget Library

* lisp/recentf.el (recentf-open-files-item): Stop overriding
:follow-link property of the link widgets, since now it should
work as expected (bug#15682).

Create push-button widgets instead of links in epa *Keys* buffer

* lisp/epa.el (epa--select-keys): Make OK and Cancel into buttons
(bug#15682).

Fix Tramp rounding of file sizes and inode numbers

* lisp/net/tramp-sh.el (tramp-perl-file-attributes)
(tramp-perl-directory-files-and-attributes)
(tramp-do-file-attributes-with-stat)
(tramp-do-directory-files-and-attributes-with-stat):
Format file sizes and inode numbers without trailing ".0",
to avoid rounding errors when absolute values exceed 2**53
(Bug#36940#94).  This fixes the problem for Emacs 27 and later,
and doesn't hurt in earlier Emacs.

Prefer display-line-numbers over linum in docs and one defcustom

* doc/misc/efaq.texi: Replace linum with display-line-numbers.
* lisp/progmodes/prog-mode.el (prog-mode-hook): Replace linum-mode
with display-line-numbers-mode in :options.  (Bug#37120)

* src/keyboard.c (parse_tool_bar_item): Use CAPTION when HELP is unavailable

while adding equivalent key binding to the tooltip. (Bug#36156)

Fix crashes in networking with GnuTLS on MS-Windows

* src/gnutls.c (init_gnutls_functions) [WINDOWSNT]: Define and
load gnutls_free.
(Fgnutls_format_certificate): Use gnutls_free instead of
xfree.  This prevents crashes on MS-Windows, since the memory
being released was allocated inside GnuTLS.  (Bug#31946)

; Continued attempt to fix Bug#36940

* test/lisp/net/tramp-tests.el (tramp--test-file-attributes-equal-p):
Handle link number.
(tramp--test-check-files): Encode search string on macOS.  (Bug#36940)

Allow finding gpg2 binaries when gpg2 has an "unknown" version string

* lisp/epg-config.el (epg-find-configuration): Allow finding a
usable configuration even if the version string looks like "gpg
(GnuPG) 2.2.15-unknown" (bug#35629).

Only use --sender for gpg when gpg supports it

* lisp/epg-config.el (epg-required-version-p): New function (bug#37025).

* lisp/gnus/mml-sec.el (mml-secure-epg-sign):
* lisp/epg.el (epg-start-sign):
(epg-start-encrypt): Use it to only use --sender when the gpg
binary supports it.

Fix ede-proj-project class

* lisp/cedet/ede/proj.el (ede-proj-project): Make class inherit
from eieio-named to get object-name slot (bug#37181).

Fix bug with non-paletted transparent PNGs

Adapted from a fix by YAMAMOTO Mitsuharu (Bug#37153#77).
* src/image.c (png_load_body): Fix bug with non-paletted
transparent images.

Fix misdisplay of PNG paletted images

Problem reported by Roland Winkler (Bug#37153).
Derived from a patch suggested by YAMAMOTO Mitsuharu (Bug#37153#62).
* src/image.c (png_get_valid) [WINDOWSNT]:
Do not dynamically link this function.
(png_get_tRNS) [WINDOWSNT && PNG_tRNS_SUPPORTED]:
Dynamically link this function instead.
(png_load_body): Do not assume that every paletted image supplies
only transparency data.  Fix typo in use of transparent_p.

Fix a further part of Bug#36940

* lisp/net/tramp-sh.el (tramp-perl-file-attributes)
(tramp-perl-directory-files-and-attributes)
(tramp-do-file-attributes-with-stat)
(tramp-do-directory-files-and-attributes-with-stat): Return size
and inode as floating number.  (Bug#36940).

Introduce new value t for compilation-context-lines to eliminate scrolling

In particular, to prevent scrolling in a window lacking a left fringe.
Instead, a visible arrow "=>" is inserted before column zero.  This fixes
bug #36832.

* lisp/progmodes/compile.el (compilation-context-lines): Add the new value t.
(compilation-set-window): Amend to handle compilation-context-lines being t.
(overlay-arrow-overlay): New variable holding an overlay with before-string
property "=>".
(compilation-set-overlay-arrow): New function which manipulates
overlay-arrow-overlay.
(compilation-goto-locus, compilation-find-file): In addition to calling
compilation-set-window, also call compilation-set-overlay-arrow.

* doc/emacs/building.texi (Compilation Mode): Document the new value t which
compilation-context-lines can take.

* etc/NEWS: Add an entry for this change.

Fix minor problems in TUTORIAL.ru

This fixes wording and avoids visiting the tutorial in
Ruby mode.

Fix a recent change in coding.c

This partially reverts the changes in "extern function cleanup".
* src/coding.c (encode_string_utf_8, decode_string_utf_8): Now
extern again.  They should NOT be static, as they are intended
to be used by the likes of json.c, where we need
highly-optimized code for processing UTF-8 strings.  E.g.,
decode_string_utf_8 beats make_string_from_utf8 by a factor of
2 to 5 in a large number of scenarios.

; Improve a recent change.

* src/frame.c (Fx_parse_geometry): Improve the comment about
non-initialization of some locals.

Use ' instead of ` in NEWS

Use `autoconf-mode' for Autoconf .m4 files

* lisp/files.el (auto-mode-alist): Use `autoconf-mode' (instead of
`m4-mode') for acinclude.m4/aclocal.m4/acsite.m4 files (bug#37133).

The `gnus*-1' functions shouldn't be interactive

* lisp/gnus/gnus-start.el (gnus-no-server-1): This function
shouldn't be interactive (bug#37022).
(gnus-1): Ditto.

Disallow just hitting RET in gnus-mime-replace-part

* lisp/gnus/gnus-art.el (gnus-mime-replace-part): Don't replace
the part if the file to replace it with doesn't exist (bug#36864).

Clarify Fx_parse_geometry initialization

* src/frame.c (Fx_parse_geometry): Clarify why local init
isn’t needed.

Tweak time arithmetic performance

* src/timefns.c (time_arith): Prefer mpz_divexact to mpz_tdiv_q
when either will do.

Speed up % and mod with fixnum denom

* src/data.c (integer_remainder): New function.  When the
numerator is a bignum and the denominator is small, this function
uses mpz_tdiv_ui, which should be faster than mpz_tdiv_r.
(Frem, Fmod): Use it.

Tweak integer mod performance

* src/data.c (integer_mod): Use mpz_tdiv_r not mpz_mod, as that’s
more similar to the fixnum case, is a bit more efficient, and
otherwise the later ‘sgn_r < 0’ code is useless anyway.

Make (mod 1.0 0) consistent with (/ 1.0 0)

* src/data.c (Fmod): Do not signal an error for (mod 1.0 0), for
the same reason (/ 1.0 0) does not signal an error.
* test/src/data-tests.el (data-tests-mod-0): New test.

extern function cleanup

Most of these functions can be static.  A few are unused.
* src/coding.c (encode_string_utf_8, decode_string_utf_8):
Define only if ENABLE_UTF_8_CONVERTER_TEST, as they're
not needed otherwise.
* src/coding.c (encode_string_utf_8, decode_string_utf_8):
* src/data.c (integer_mod):
* src/fns.c (base64_encode_region_1, base64_encode_string_1):
* src/ftfont.c (ftfont_get_fc_charset):
Now static.
* src/sysdep.c (verrprintf): Remove; unused.

Fix non-deterministic process test

* test/src/process-tests.el (set-process-filter-t): Don't assume
subprocess output will come in a single chunk, keep waiting for more
data until next "prompt" is read from subprocess.

Merge branch 'master' of git.savannah.gnu.org:/srv/git/emacs

Revert "Recompute user-emacs-directory-relative defcustoms one more time"

This reverts commit bb5cd7c4caf415e40836edbbc4e62b0dd411d73f.
See bug#37173.

Fix DNS tests

* test/src/process-tests.el: (lookup-family-specification,
lookup-unicode-domains, unibyte-domain-name, lookup-google,
non-existent-lookup-failure): Skip on Hydra, which doesn't have DNS.
Fix buggy test condition.  (Bug#37165)

Fix some problems of Bug#36940

* test/lisp/net/tramp-tests.el (tramp-test22-file-times): Do not
compare time value lists by `equal'.  (Bug#36940).
(tramp-test30-make-process): Adapt "kill" message to match on macOS.

Tweak gnutls-peer-status reporting

* src/gnutls.c (Fgnutls_peer_status): Report :compression and
:encrypt-then-mac only if the underlying GnuTLS library has
the corresponding features.  This give the Elisp caller a bit
more information about the peer status.
* lisp/net/nsm.el (nsm-protocol-check--compression):
Don’t worry about compression in newer GnuTLS versions
that do not support compression.

Mention new usage of `invalid-read-syntax' in the manual

* doc/lispref/errors.texi (Standard Errors): Document "trailing
garbage" use of `invalid-read-syntax' (bug#24649).

Clarify compiler-pacifier in frame.c

* src/frame.c (Fx_parse_geometry): Pacify the compiler in a
different way, so that the human reader can more easily see
that the initializations are unnecessary.

Fix compilation --without--x

* src/xdisp.c (extend_face_to_end_of_line): Fix a recent
change that moved the initialization of default_face.
Reported by Glenn Morris <rgm@gnu.org>.

Avoid a compilation warning in w32.c

* src/w32.c (logon_network_drive): Avoid compilation warning
about strncpy arguments.

Avoid compilation warning in frame.c

* src/frame.c (Fx_parse_geometry): Avoid compilation warning
about x and y being used without initializing them.

; Fix references to log-edit-generate-changelog-from-diff

* doc/emacs/maintaining.texi (Log Buffer):
* etc/NEWS: Replace log-edit-generate-changelog (an old name which was
changed during editing) to log-edit-generate-changelog-from-diff.

Print macro modified macro keys as characters not integers

* lisp/macros.el (macros--insert-vector-macro): Pass all elements to
'prin1-char', not just those that satisfy characterp (because characters
which have modifier bits set wouldn't qualify otherwise).
'prin1-char' will return nil if it can't handle the argument (e.g.,
for symbols representing function keys).

; Fix last change.

* src/process.c (network_lookup_address_info_1): A better fix for
compilation on platforms without HAVE_GAI_STRERROR.  (Bug#37158)

Fix compilation of process.c

* src/process.c (network_lookup_address_info_1): [!HAVE_GAI_STRERROR]:
Use make_fixnum instead of make_number.  (Bug#37158).

Hi-lock lines up to right margin (Bug#15934)

* lisp/hi-lock.el (hi-lock-line-face-buffer): Change used regexp so
that a line terminating newline character is included in the match.

Rename renamed nsm.el variables and functions back

* doc/emacs/misc.texi (Network Security): Start working on
updating the NSM bits, but it's unclear how much of the new stuff
to document.

* lisp/net/nsm.el: Rename all nsm-tls-check-* functions to
nsm-protocol-check--* to bring them back into line with the
documentation.
(network-security-protocol-checks): Renamed back again from
`nsm-tls-checks', as this variable is documented and can't just go
away.

Move all NSM tests away from the `low' level

* lisp/net/nsm.el (network-security-level, nsm-tls-checks): Make
`low' a "check nothing" setting again, and move all the `low'
checks back to `medium'.  This makes the test suite work again.

Tweak previous tar-mode time stamp code

* lisp/tar-mode.el (tar-header-block-summarize): Tweak previous
commit to output the time stamp in the exact same way that GNU tar
does.

; * lisp/emacs-lisp/cl-lib.el (cl-pushnew): Doc fix.

Get the Gnutls code compiling on Fedora 30

The recent changes caused the build to fail on Fedora 30 when built
with --enable-gcc-warnings, among other things with diagnostics that
gnutls_compression_get and gnutls_compression_get_name are deprecated
(this started with GnuTLS 3.6).  Fix this by refusing to call these
obsolescent and now-dummy functions in GnuTLS 3.6 and later.  However,
this is just a temporary workaround to get the build working; a real
fix is needed, as network-stream-tests fail.
* src/gnutls.c (HAVE_GNUTLS_COMPRESSION_GET): New macro.
(gnutls_compression_get, gnutls_compression_get_name):
Define only if HAVE_GNUTLS_COMPRESSION_GET.
(init_gnutls_functions): Load the two functions only if
HAVE_GNUTLS_COMPRESSION_GET.
(emacs_gnutls_certificate_export_pem): Use alloca instead of xmalloc.
(Fgnutls_peer_status): Just return "NULL" if the functions
are deprecated.
(Fgnutls_format_certificate): Fix pointer signedness glitches.
* src/process.c: Fix spacing.

Put error output from M-! at the end of the error buffer

* lisp/simple.el (shell-command-on-region): Put the error output
at the end of the buffer instead of wherever point is (bug#7513).
This avoids interleaving error output.

Move default face lookup

* src/xdisp.c (extend_face_to_end_of_line): Move default face
lookup lower.

Correct description of network-lookup-address-info

* doc/lispref/processes.texi (Misc Network): Remove erroneous text
  about port numbers

Remove debugging from previous shr.el patch